Articles (Medical Education)

CBME로 전환과정에서의 교수개발(Med Teach, 2010)

Meded. 2017. 1. 24. 14:15

2017. 1. 24. 14:15

CBME로 전환과정에서의 교수개발(Med Teach, 2010)

The importance of faculty development in the transition to competency-based medical education

DEEPAK DATH1 & WILLIAM IOBST2, FOR THE INTERNATIONAL CBME COLLABORATORS

1McMaster University, Canada, and Royal College of Physicians and Surgeons of Canada, 2American Board of Internal Medicine, USA

도입

Introduction

임상 평판, 연구 기록 또는 관리 기술에 근거하여 의과 대학에 recruit된 교수들은 그들이 배운 것과 거의 같은 방식으로 학부 및 대학원생을 가르칩니다. 이 전통적인 접근 방법은 CBME (competency-based medical education)의 출현으로 인해 의사의 실제 치료를위한 새로운 모델을 제공합니다.

Faculty recruited to medical schools on the basis of their clinical reputation, research record, or administrative skills teach undergraduate and graduate trainees in much the same way as they were taught. This traditional approach is challenged by the advent of competency-based medical education which (CBME), offers a new model for preparing physicians for practice.

아마도 CBME의 새로운 구현은 교사와 평가자가 콘텐츠 및 시간 기반 시스템content- and time-based systems에 의해 요구되는 것과 다른 교육 이론 및 실천을 유지할 것을 요구합니다.
Arguably, the implementation of CBME new under- requires teachers and evaluators to gain a standing of the theory and practice of education, one that is different from that demanded of them by content- and time-based systems.

FD란?

What is faculty development?

Sheets and Schwenk (1990)은 교수 개발을 'deparment 또는 residency 프로그램에서 교수 구성원의 수행에 필수적인 것으로 간주되는 영역에서 개인의 지식과 기술을 향상시키기위한 계획된 활동으로 정의합니다 (예 : 교수법, 관리 기술, 연구 기술, 임상 기술). "최근에는 지식과 기술과 함께 태도를 강조하고 개별 학습자에서 전체 교육 시스템으로의 도달 범위를 넓히고 학부수업부터 펠로우십까지 전체 스펙트럼을 포괄하는 교수 개발에 대한 광범위한 정의가 제안되었습니다. 교수 개발에 대한 폭 넓은 이해는 특히 CBME와 관련이 있습니다.
Sheets and Schwenk (1990) define faculty development as ‘‘any planned activity to improve an individual’s knowledge and skills in areas considered essential to the performance of a faculty member in a department or a residency programme (e.g., teaching skills, administrative skills, research skills, clinical skills).’’ More recently, broader definitions of faculty development have been proposed that emphasize attitudes along with knowledge and skills, extend its reach from the individual learner to the entire educational system, and encompass the whole spectrum of teaching from under- graduate classes to the end of the last fellowship program and into teaching in practice. This broad understanding of faculty development is particularly pertinent to CBME.

CBME의 교수 개발을위한 이론적 근거
A rationale for faculty development in CBME

교수 개발의 어려움은 크며, 가장 중대하고 즉각적인 것은 front-line 교사들의 수준에서의 도입입니다 (Sectish 외 2004).

The challenges of faculty development are great, and the greatest and most immediate of these is implementation at the level of front-line medical teachers (Sectish et al. 2004).

패러다임: Medical teacher는 먼저 역량에 기반한 새로운 의학 교육 패러다임을 이해해야합니다. 그들은 또한 임상 실습이 의료 콘텐츠 영역 밖의 역량을 포함하고 있음을 인식하고 이러한 다른 실무 영역에서 역량을 평가하고 가르치는 전략을 개발해야합니다.

이러한 인식을 갖는 것은 임상의에게 더 쉬울 수 있는데, 임상의는 그들이 일하는 곳에서 가르치고, 그들의 태도와 신념으로 그들의 가르침을 imbue하며, 학습자에게 임상 기술을 직접 보여주기 때문이다.
그러나 학부 교육을 제공하는 기초 과학자들은 그들의 자료가 환자 치료와 어떤 관련이 있는지 보여주기 위해 추가 조치를 취해야 할 수도 있습니다 (Albanese 외 2008; Harris 외. 2010).

Medical teachers will first need to understand a new medical education paradigm based on competencies. They will also need to recognize that clinical practice includes competencies outside the domain of medical content and to develop strategies for teaching and assessing competence in these other domains of practice. This recognition may come easier to clinicians who teach where they work, imbue their teaching with their attitudes and beliefs, and demonstrate their clinical skills to learners; however, basic scientists who deliver undergraduate education may need to take extra steps to show how their material relates to patient care (Albanese et al. 2008; Harris et al. 2010).

교수법: CBME 시스템에서 일하는 Medical teacher는 또한 새로운 교수법을 개발해야합니다. 교수진 개발 이니셔티브는 이러한 새로운 전략을 토의하고, 명확히하고, 발전시키고, 최상의 실천과 이론에 가르침을 연계시키는 포럼을 제공 할 수 있습니다 (Steinert & Mann 2006). .
Medical teachers working in a CBME system will also need to develop new teaching techniques. Faculty development initiatives can provide a forum to discuss, clarify, and develop these new strategies and to link teaching to best practice and theory (Steinert & Mann 2006).

평가: 마지막으로, 교사는 global한, 로테이션 종료 후의 인상보다는 반복 관찰에 근거한 지속적이고 기준에 근거한 형성 평가를 제공하는 것에 익숙해 져야합니다

Finally, teachers will need to become accustomed to providing continual, criterion-referenced, formative assessment based on repeated observation rather than global, end-of-rotation impressions.

CBME 시스템의 교수진 개발
Faculty development in CBME systems

교수진 개발은 CBME를 세 가지 수준에서 필수적입니다.

Faculty development is essential to the adoption of CBME on three levels.

시스템 수준에서 CBME의 원칙에 대한 이해와 확신은 새로운 credential 및 accreditation standards과 같은 필요한 변경 사항을 도출합니다. 인식을 촉진시키기 위해 새로운 개념과 기술을 적극적으로 보급 할 필요가 있습니다. CBME의 교리에 대한 비판적인 이해는 임상 배치의 대학원 수준이든 학급 수준의 학부 수준이든간에 (Scheele 외. 2008),이 새로운 패러다임에서 가르치기 위해 준비하는 개별 교사 모두에게 필요합니다. .
On a systems level, understanding of and confidence in the principles of CBME will pave the way to necessary changes, such as new credentialing and accredita- tion standards. To foster awareness, active dissemination of new concepts and techniques will be needed across institu- tions. A critical understanding of the tenets of CBME is also needed by the individual teacher preparing to teach in this new paradigm, whether at the postgraduate level in clinical placements or at the undergraduate level in the ‘‘classroom’’ (Scheele et al. 2008).

시스템 차원의 참여의 한 예는 1996 년 캐나다의 CanMEDS 프레임 워크의 도입이었다. 처음에는 대학원 교육에 중점을 두 었으며, 4 가지 구현 영역 중 하나 인 교수 개발을 포함했다 (Frank & Danoff 2007). 교수진 중심의 이니셔티브는 범위와 이해면에서 광범위했으며 워크샵 프레젠테이션 (on-demand)과 같은 활동이 포함되었습니다. 지난 2 년 동안보다 공식적인 '훈련 강사'워크샵 시리즈가 제공되었습니다. 워크샵은 캐나다 전역의 의과 대학에서 다양한 CanMEDS 역할 (의료 전문가 제외)을 위한 지역의 '챔피언'을 교육하고 홍보하는 역할을합니다. 워크샵 형식에는 지역 챔피언이 역할을 구현하는 최선의 방법을 이해하고 자체 기관에서 구현을위한 자원으로 행동 할 수 있도록 돕기위한 교육 디자인 연습이 포함됩니다 (Sherbino 외. 2007).

One example of system-level engagement was the intro- duction of the CanMEDS Framework in Canada in 1996. Initially focused on postgraduate education, it included faculty development as one of four domains of implementation (Frank & Danoff 2007). Faculty-oriented initiatives were extensive in their scope and uptake, and included activities such as and workshops presentations-on-demand. In the last two years a more formal ‘‘train-the-trainer’’ workshop series has been offered. Workshops serve to educate and promote local ‘‘champions’’ for the various CanMEDS Roles (other than Medical Expert) at each of the medical schools across Canada. The workshop format includes practice in educational design to help the local champions understand how best to implement the Roles and to act as a resource for their implementation at their own institutions (Sherbino et al. 2007).

개별 기관 수준에서, 의학 학습자의 교육에서 CanMEDS 역할의 일관된 구현에 대한 당면 과제가 계속되고 있습니다. 변화에 대한 저항을 해결하려면 의대 수준의 행동이 요구된다. CBME의 가치에 대한 확신을 갖기 위해서, late adopter들과 개선 결과의 증거를 요구하는 사람들에게는 개인별 관심과 접근이 필요할 수도 있습니다. 또는 새로운 시스템을 채택하는 데 모든 clinician이 도움이 되는 것은 아니라는 것을 이해하는 것이 중요 할 수 있습니다. 예를 들어 행정이나 연구에 포함되지 않은 원래의 비 임상 적 초점을 가진 사람들은 교육과 평가의 더 복잡한 방법을 이해하고 흡수하고 채택하기에 약간의 시간이 필요할 수있다. (Inui et al. 1998). 다수의 비 임상 역할을 가진 임상의는 좋은 선생이 되는 것에 대한 기대자체가 없기도 하다. 확실히 기관들은 전반적인 계획에서 이를 고려할 필요가 있으며 교수진 개발이 모든 임상의를 CBME 시스템에서 동일한 수준의 교수법으로 이끌 수 있다는 기대가 완화되어야 할 수도 있습니다.
At the level of individual institutions, there continue to bechallenges to the uniformimplementation of CanMEDS roles inthe teaching of medical learners. Some of the resistance to change identified by Frank & Danoff (2007) seems to require action at the level of the medical school. Late adopters and those who require evidence of improved outcomes, forareinstance, may need individual attention before they convinced that CBME is worthwhile. Alternatively, it may be important to understand that not all clinical teachers will excelat adopting a new system. Those whose original non-clinical focus included administration or research, for example, mayhave little time to understand, absorb, and adopt a more complex method of teaching and assessment (Inui et al. 1998).The clinician with multiple non-clinical roles may not even aspire to be a good teacher. Certainly, institutions need to take this into account in their overall plans, and the expectation that faculty development can bring all clinicians to the same level of proficiency in teaching in a CBME system may need to be tempered.

CBME 교수진 개발 과제 해결
Overcoming challenges to CBME faculty development

CBME 패러다임으로 전환을 위한 FD과정은 느릴 수도 있습니다. 예를 들어 왕립 대학은 CanMEDS 도입 초기에 교수 개발 과정을 시작했지만 많은 일선 의사들도 CBME에 대한 깊이있는 이해와 학습자를 잘 가르치고 평가할 수있는 능력이 부족합니다 (Frank et al 2003; Chou 외. 2008).

FD에 대한 인센티브는 CBME 시스템의 채택을 촉진하는 데 도움이 될 수 있습니다.
교육 일, 혁신 또는 장학금에 대한 recognition은 교사가 교수진 개발 및지도에 참여하도록 장려하는 한 가지 방법입니다.
교수진 개발 이니셔티브에 쉽게 접근 할 수 있도록함으로써 참여를 용이하게 할 것입니다.
얼리 어답터는 다른 사람들에게 새로운 가르침을 운영하는 방법을 보여줄 수 있습니다.
새로운 교육 제도를 도입 한 지도자leader들은 CBME 참여를 용이하게하기 위해 local factor을 변경할 수있다 (Mennin & Krackov 1998).

Faculty development to help teachers make the transition to a CBME paradigm will likely be slow. For example, although the Royal College began the process of faculty development early in the introduction of CanMEDS, many front-line medical teachers still lack a depth of understanding of CBME and the capacity to teach and evaluate learners well (Frank et al. 2003; Chou et al. 2008). Incentives for faculty development might help to promote the adoption of a CBME system. Recognition of educational work, innovation, or scholarship is one way to encourage teachers to participate in faculty development and teaching. Ensuring that faculty development initiatives are easily accessible will facilitate participation. Early adopters can be encouraged to show others how to operationalize new ways of teaching. Leaders who embrace a new system of education can change local factors to facilitate participation in CBME (Mennin & Krackov 1998).

임상 교사들은 몇 가지 핵심 역량을 실천에 옮겨서 이미 훌륭한 의술을 실천하고 있습니다. 일상 업무에서 이러한 역량을 identify하는 방법을 제시하면 새롭고 복잡한 교육 시스템을 채택하면서 최소한의 임상 적 혼란으로 CBME 시스템에서 교육하고 평가할 수 있습니다. 마지막으로, CBME에서 direct observation과, 즉각적 피드백과 평가는 교사가 학습자의 진도를 추적하는 데 도움이됩니다. 사실상 교사는 교사들에게 교사로서의 능력을 향상시키고 (Zimmerman 2006) 그들의 업무에 대한 즉각적인 피드백을 제공 할 것이며 CBME를 실천하도록 격려 할 것이다.
Clinical teachers already practise good medicine by incorporating several core compe- tencies into their practices. Showing them how to identify these competencies in their daily work will allow them to teach and evaluate in a CBME system with a minimum of clinical disruption as they adopt a new and more complex system of education. Finally, direct observation in CBME and the immediacy of feedback and assessment will help teachers to track the progress of their learners. This, in effect, will give teachers immediate feedback on their work, possibly improv- ing their competence as teachers (Zimmerman 2006) and encouraging them to practise CBME.

CBME를 가능하게하는 교수진 개발
Faculty development to enable CBME

다양한 수준의 CBME는 이전의 time- and process- 기반의 의학 교육 시스템을 전 세계적으로 점차 대체 해 왔습니다. CBME는 훌륭한 의사를 만드는 역량을 신중하게 정의해야하는 복잡한 시스템입니다. 그것은 일선의 의과 대학 선생님들에게 의료 전문 분야를 넘어선 실천 영역을 이해하고, 받아들이고, 가르치고, 평가할 것을 요구합니다. 교사 자신을 받아들이고 지지하지 않으면 CBME는 생존하지 못할 것입니다. 적절한 교수 개발 활동은 역량에 대한 이해를 높이고 의학 교육자가 직장에서 이러한 역량을 가르치고 평가할 수 있도록 지원합니다.
CBME, to varying degrees, has been slowly replacing older time- and process-based systems of medical education around the world. It is a complex system that requires careful definition of the competencies that make a good doctor. It requires front-line medical teachers to understand, accept, teach, and evaluate domains of practice beyond medical expertise. Without the acceptance and support of teachers themselves, CBME will not survive. Appropriate faculty development activities will ensure a greater understanding of competencies and support medical educators as they teach and assess these competencies in the workplace.

Harris P, Snell L, Talbot M, Harden RM; the International CBME Collaborators. 2010. Competency-based medical education: Implications for undergraduate programs. Med Teach 32(8):646–650.

Steinert Y, Mann KV. 2006. Faculty development: Principles and practices. J Vet Med Educ 33(3):317–324.

2010;32(8):683-6. doi: 10.3109/0142159X.2010.500710.

The importance of faculty development in the transition to competency-based medical education.

Dath D1, Iobst W.

Author information

1McMaster University, Canada. dathd@mcmaster.ca

Abstract

Medical teachers trained in conventional educational systems need faculty development to prepare them to function effectively in a competency-based medical education (CBME) system. Faculty development can provide knowledge about CBME, training in new teaching techniques in different domains of medical practice, and new strategies for providing the authentic and regular assessment that is an essential aspect of CBME. A systems-wide approach as well as efforts to provide training in CBME to individual teachers in both the undergraduate and postgraduate systems will be important. The wide implementation of CBME will be challenging and slow, and will meet with resistance, but various strategies can be used address these challenges. Faculty development is fundamental to the effectiveness of those strategies.

PMID:: 20662581
DOI:: 10.3109/0142159X.2010.500710

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

가나의 수련병원에서 산부인과 수련생의 Retention관련 요인(Acad Med, 2010) (0)	2017.02.01
왜 의사들은 교육을 하는가: 받은 것을 돌려주기 (Med Educ, 2015) (0)	2017.01.25
TTT(TOT)프로그램의 가장 효과적인 방법: A Systematic Review (J Contin Educ Health Prof. 2012) (0)	2017.01.24
TTT(TOT)코스의 단기 효과와 장기 효과(Med Educ, 2008) (0)	2017.01.24
교수개발에서 교수정체성, 교수성장, 교수권한부여로 (Acad Med 2016) (0)	2017.01.24

의학교육자를 위한 질적연구설계 소개(12 tips, Med Teach, 2016)

Meded. 2017. 1. 24. 13:59

2017. 1. 24. 13:59

의학교육자를 위한 질적연구설계 소개(12 tips, Med Teach, 2016)

Introducing medical educators to qualitative study design: Twelve tips from inception to completion

SUBHA RAMANI1 & KAREN MANN2

1Harvard Medical School, USA, 2Dalhousie University, Canada

도입

Introduction

의학교육자는 행동, 태도, 상호 작용, 학습 환경 및 전문성과 같은 프로세스와 결과를 탐색합니다. 이러한 데이터는 수치 데이터를 통해 제대로 이해 될 수 없습니다 (Pope & Mays 2006, Holliday 2007, Hanson 외 2011, Sullivan & Sargeant 2011; 하딩 2013). 인류학, 인문학 및 기타 사회 및 행동 과학 분야와 같은 분야에서 잘 정립 된 질적 연구 전통은 의학 교육의 연구에서 가치있는 도구로 받아 들여지고 있으며, 엄격함을 추구 할 수 있다는 인식이 커지고 있습니다.

Medical educators explore processes and outcomes such as behaviours, attitudes, interactions, learning environments and professionalism, which cannot always be understood ade- quately through numerical data (Pope & Mays 2006; Holliday 2007; Hanson et al. 2011, Sullivan & Sargeant 2011; Harding 2013). Qualitative research traditions, well established in fields such as anthropology, humanities and other social and behavioural sciences, are gaining acceptance as a valuable tool in the study of medical education, with a growing recognition that they can be pursued with rigour.

질적 인 연구는 자연스러운 환경에서 이루어지기 때문에 경험자, 제도 문화 및 관행, 변화의 barrier와 facilitator, 개입의 성공 여부 등에 관한 인식과 의미에 대한 깊이있는 탐구가 가능합니다 (Starks & Trinidad 2007; Hanson 외 2011, Sullivan & Sargeant 2011, Creswell 2013, 2014). 연구자가 자신의 이론이나 관찰을 바탕으로 연구 내용을 디자인 할 수도 있지만 참가자의 경험, 이해 및 해석에 대한 탐구가 주요 목표입니다 (Tavakol & Sandars 2014a).

Qualitative research is conducted in the ‘‘natural’’ setting, allowing educators to delve deeply into perceptions and meaning of experiences, institutional culture and practices, barriers and facilitators to change, and reasons for success or failure of interventions (Starks & Trinidad 2007; Hanson et al. 2011; Sullivan & Sargeant 2011; Creswell 2013, 2014). Though researchers may design their study informed by existing their own theories or observations, the primary goal is exploration of participants’ experiences, understanding and interpretations of their experiences (Tavakol & Sandars 2014a).

교육 연구의 패러다임

Educational research paradigms

패러다임은 연구를 안내하고

연구자가 현실을 보는 방법, 얻을 지식의 중요성 (인식론) 및
그 지식을 습득하는 체계적인 접근법 (방법론)으로 구성된 세계관입니다.

이들은 차례 차례로 채택되는 연구 방법, 즉 샘플링, 데이터 수집, 분석 등을 guide합니다.

Paradigms are world views that guide research and consist of how reality is viewed by a researcher, the importance of the knowledge to be gained (epistemiology) and a systematic approach to acquiring that knowledge (methodology). These in turn guide what research methods are employed—sampling, data collection, analysis, etc.

실증주의 패러다임에서 가설은 연역 분석을 사용하는 연구원에 의해 시험되고, 결과는 객관적이고 측정 가능하며, 결과는 다른 상황에 일반화 될 수있는 것으로 간주됩니다 (Denzin & Lincoln 2011, Tavakol & Sandars 2014a).
포스트 실증주의는 위의 원칙을 따르지만 연구자와 연구 주제 간의 상호 작용을 가능케하며 조사 연구, 상호 관찰, 참여자 관찰 등을 포함한다.
해석적 또는 구성 주의적 패러다임에서 그룹 내 및 사람과 환경 간의 사회적 상호 작용은 기존 지식을 향상시키는 데 중요하다 (Carter & Little 2007, Creswell2014). 이 전통은 귀납적 분석을 주로 사용하며 연구원은 참가자의 경험, 행동, 토론 및 의견으로 시작합니다. 출현하는 해석이나 이론은 참가자의 경험에 근거합니다 (Sullivan & Sargeant 2011).

In a positivist para-digm, a hypothesis is postulated, tested by a researcher using deductive analysis, outcomes are objective and measurable,results are seen as generalizable to other situations (Denzin &Lincoln 2011, Tavakol & Sandars 2014a).
Post-positivism follows above principles but allows more interaction between researchers and subjects and includes survey research, inter-viewing, participant observation, etc.
In the interpretive or constructivist paradigm, social interactions within groups andbetween people and their environment are vital in enhancing existing knowledge on a subject (Carter & Little 2007; Creswell2014). This tradition mostly uses inductive analysis, where the researcher begins with participants’ experiences, behaviours,discussions and opinions. Interpretations or theories that emerge are grounded in participants’ experiences (Sullivan &Sargeant 2011).

실증주의 패러다임은 양적 연구를 안내합니다.

구성주의자 패러다임은 가장 질적 인 연구 설계의 중추를 형성하지만 몇 가지 예외가 있습니다.
The positivist paradigm guides quantitative research. The constructivist paradigm forms the backbone of most qualitative research design, however, there are some exceptions.

질적 연구 준비

Preparation for qualitative research

연구 관심 분야는 일반적으로 지역 교육 환경이나 새로운 규제 지역에서 발생하는 문제로 인해 발생합니다 (Hale 외 2007, Hanson 외 2011, Tavakol & Sandars 2014a). 그 주제는 기관 외부의 의학 교육자들에게 관심을 집중시킬 수있는 검색 가능한 질문으로 변형된다 (Ringsted et al. 2011). 질적 연구 설계를 통해 가장 잘 탐색 된 영역에는 요구 평가, 프로그램 평가, 교사, 학습자의 의견, 태도 및 행동; 도전 과제 및 장벽에 대한 교육 과정 또는 평가 방법의 구현 (Hanson et al. 2011; Ringsted et al. 2011).

Areas of research interest are usually triggered by problems within local educational environments or new regulatory mandates (Hale et al. 2007; Hanson et al. 2011; Tavakol &Sandars 2014a). The topic is then transformed into a focussedresearchable question of interest to medical educators outsidetheir institutions (Ringsted et al. 2011). Areas best exploredthrough qualitative study design include:

needs assessment;
programme evaluation;
opinions, attitudes and behaviours of teachers or learners;
challenges and barriers to implementation of curricula or assessment methods (Hanson et al. 2011;Ringsted et al. 2011).

질적 연구는 탐구적이고 연구는 개방적이며 선험적 가설을 필요로하지 않으며 "what"질의보다는 "how"와 "why"에 특징이있다. 잘 정립 된 연구 질문은 무엇을 이해하고자 하는지를 결정하고 고용 된 연구 설계 및 방법에 직접적인 영향을 미친다 (Carter & Little 2007). 모든 교육 연구에서 문학 검토는 문제의 중요성, 알려진 것, 기존 지식 격차, 다른 의학 교육자에게 더 많은 연구와 잠재적 이익을 보증해야하는 문제에 집중해야한다 (Hanson et al.2011; Ringsted et al. 2011 ).

Qualitative studies are exploratory, studyquestions are open-ended, do not require a priori hypothesesand characterised by ‘‘how’’ and ‘‘why’’ rather than ‘‘what’’questions. A well-formulated study question determines what understanding is to be gained and directly influences the studydesign and methods employed (Carter & Little 2007). In allforms of educational research, literature review should con-centrate on the importance of the problem, what is known,existing knowledge gap, issues that warrant further study and potential benefits to other medical educators (Hanson et al.2011; Ringsted et al. 2011).

목적

Objectives

Fig 1.

팁 1 적절한 질적 인 틀을 선택하십시오.

Tip 1 Choose an appropriate qualitative framework

전체 목록은 아니지만, 연구 inmedical 교육에 가장 적용 가능한 네 가지 주요 접근법은 아래에 설명되어 있습니다 (Creswell 2013, 2014).
Though not a complete list, four key approaches most applicable to research inmedical education are described below (Creswell 2013, 2014):

민족 지학은 문화 집단 구성원의 신념과 행동을 이해하는 것을 목표로합니다. 연구는 자연 환경에서 이루어지며 민속 학자들은 집단 구성원이 (언어), 행동 (행동) 및 사용 (인공물)에 관심이 있습니다 (Creswell 2013). 연구원은 활동적인 참가자 또는 참가자가 아닌 관찰자로 그룹에 머무르며 세부 관찰을 수행하고 현장 노트를 보완하고 인터뷰를 통해 내부자의 견해를 얻습니다 (Atkinson & Pugsley 2005, Collingridge & Gantt 2008, Reeves 외 2008, 2013, Hanson 외 2011 년 Creswell 2013). 직업 간 교과 과정에 관여하는 독창적 인 전문 집단 (학생, 의사 및 간호사)의 사회적 상호 작용, 유사점 및 차이점 또는 제도 문화에 대한 관측 연구는 의학 교육에서 민족지학의 적용이다.

Ethnography aims to understand beliefs and behavioursof members of a cultural group. Studies are performed ina natural environment and ethnographers are interested inwhat group members say (language), do (behaviours)and use (artefacts) (Creswell 2013). Researchers immersethemselves within the group either as active participantsor non-participant observers and carry out detailedobservations, supplemented by field notes and interviewsto obtain an insider’s view (Atkinson & Pugsley 2005;Collingridge & Gantt 2008; Reeves et al. 2008, 2013;Hanson et al. 2011; Creswell 2013). The social inter-actions, and similarities and differences in practices ofdistinct professional groups (students, physicians andnurses) engaged in an interprofessional curriculum, orobservational studies of institutional culture are applica-tions of ethnography in medical education.

현상학은 다른 사람들의 시각을 통해 세계를 이해하려고 시도하고 사람들의 주관적인 경험과 그들이 의미하는 의미를 탐구한다. 이러한 연구는 또한 경험에 대한 잘못된 가정을 폭로expose 할 수있다 (Hale et al 2007, Starks & Trinidad 2007, Hanson et al. 2011 년 Creswell 2013). 사건의 해석은 종종 다양하며 사회적 상호 작용에 따라 더 변할 수 있습니다. 예를 들어, 현상학은 고식적 인 치료 순환을 완료하고 말기 환자와 상호 작용하는 학습자 그룹에 대한 반영, 감정 및 이해를 조사하는 데 적합합니다.

Phenomenology attempts to understand the worldthrough the lens of others and explores people’s subject-ive experiences and the meaning they attribute to them.Such studies can also expose false assumptions about theexperience (Hale et al. 2007; Starks & Trinidad 2007; Hanson et al. 2011; Creswell 2013). Interpretations of an event are often varied and may further change with social interactions. For example, phenomenology is appropriate to explore the reflections, emotions and understanding of a group of learners who have completed a palliative care rotation and interacted with terminally ill patients.

근거 이론 연구는 교육 과정의 설명 이론이나 모델을 개발하고자하며, 이러한 환경은 학습 환경 (Kennedy & Lingard 2006, Starks & Trinidad 2007, Lingard 외 2008, Watling & Lingard 2012, Creswell 2013)에서 공부합니다. 이론이나 이론이 연구자의 가설이 아닌 참가자의 인식, 토론 및 상호 작용에서 출현하는 것이 중요합니다. 이러한 이론이나 모델은 미래의 교육 개입을 개선하기 위해 적용될 수 있습니다. 침대 옆에서 효과적으로 학생들을 가르치는 모델은 연구자들의 침대 옆 가르침에 대한 도전과 효과적인 전략에 대한 관점에 기초하여 개발 될 수 있습니다.

Grounded theory studies seek to develop an explanatory theory or model of an educational process, studied in the environments inwhichtheytakeplace(Kennedy &Lingard 2006; Starks &Trinidad 2007; Lingard et al. 2008; Watling & Lingard 2012; Creswell 2013). It is essential that the theory or theories emerge from participant perceptions, discus- sions and interactions and not from researchers’ hypoth- eses. These theories or models may be applied to improve future educational interventions. A model for teaching students effectively at the bedside may be developedbased on study participants’ perspectives on the challenges to and effective strategies for bedside teaching.

담론 분석은 교육 또는 환자 상호 작용과 같은 사람들 간의 의사 소통 방식을 탐구하며 구두 및 비언어적 의사 소통을 포함합니다 (Starks & Trinidad 2007; Hodges 외 2008, Kuper 외. 환자와의 상호 작용 동안 유사한 목적을 달성하기 위해 학생들이 사용하는 다양한 행동과 언어를 탐색하는 것이 그 예입니다. 담화 분석은이 차이를 탐구하고 궁극적으로 의미를 공유하는 것을 목표로합니다.

Discourse analysis, explores modes of communication between people such as during educational or patient interactions and includes verbal and non-verbal commu- nication (Starks &Trinidad 2007; Hodges et al. 2008; Kuper et al. 2013). Exploring different actions and language used by students to achieve similar objectives during their interactions with patients provides an example. The same words may be used and interpreted differently by different people: discourse analysis aims to explore this difference and eventually create shared meaning.

팁 2 Reflexivity 보장

Tip 2 Ensure reflexivity

구성주의자 또는 질적 연구에서 연구자와 참여자 간의 상호 작용을 통한 지식 구축이 이루어 지므로 두 그룹의 경험, 편견 및 가정이 데이터 수집 및 해석에 영향을 미친다 (Tavakol & Sanders 2014b). 연구원은 중립적인 방관자가 아닌 연구에 적극적으로 참여하므로 주제에 대한 의견은 면담 기법, 토론에 대한 반응, 내러티브 및 결론의 해석에 영향을 미칩니다. 주관과 중립성 부족은 종종 전통적인 연구자들에 의해 비판을받습니다. 주관성은 귀납적 연구의 필수 부분이지만 중립성은 데이터 분석에서 중요합니다. 사회 과학자들은이 과제를 해결하기 위해 Reflexivity의 개념을 설명했습니다. Reflexivity은 질적 연구에서 데이터 수집 및 분석에 대한 연구원 및 연구 프로세스의 영향을 인정하는 것을 의미합니다 (Pope & Mays 2006).

In the constructivist or qualitative approach to research, construction of knowledge results from interactions between researchers and participants: thus experiences, biases and assumptions of both groups influence data collection and interpretation (Tavakol & Sanders 2014b). As researchers are active participants in the research rather than neutral bystanders, their opinions on a subject will influence interview techniques, reaction to discussions, interpretation of narratives and conclusions. Subjectivity and lack of neutrality are often criticised by traditional researchers. Though subjectivity is an essential part of inductive research, neutrality is important in data analysis. Social scientists have described the concept of reflexivity to address this challenge. Reflexivity refers to the acknowledgement of influence of the researcher and research process on data collection and analysis in qualitative research (Pope & Mays 2006).

연구원의 역할은 다음과 같이 reflexive한 것입니다 : 자신의 의견에 대한 이해와 인정, 개인적이고 지적인 편향; (Carter & Little 2007; Hanson et al., 2011; Sullivan & Sargeant 2011, Creswell 2014). 연구자는 또한 모호성을 용인해야하며 자신의 의견과 충돌 할 수도 있고 여러 현실을 발견 할 수도 있다고 생각합니다. Reflexivity은 데이터에 대한 중립적 인 해석과 결과보고를 향상시킴으로써 연구의 신뢰성을 높입니다.
The role of the researcher is to be reflexive, which involves the following: understanding and acknowledgement of

their own opinions,
personal and intel- lectual biases;
‘‘distance’’ between them and participants, and
how these may affect data collection and interpretation (Carter & Little 2007; Hanson et al. 2011; Sullivan & Sargeant 2011; Creswell 2014).

Investigators also need to tolerate ambiguity, opinions that may conflict with their own and accept that they may discover multiple realities. Reflexivity increases the credibility of the study by enhancing more neutral interpret- ations of data and reporting of results.

팁 3 윤리적 문제를 해결하십시오.
Tip 3 Address ethical concerns

정보에 입각 한 동의, 위험 및 이익, 개인 정보 보호 및 비밀 유지와 같은 윤리적 인 우려는 모든 연구에 공통적입니다. 그러나 질적 연구자들은 민감한 주제를 탐구하고 개인 서술을 대면 할 수 있다는 점을 인식해야합니다. 교사의 질, 교과 과정, 교육 경험 또는 기관 문화와 같은 주제에 관해 참가자들의 감정과 의견을 이끌어 냈다 (Hewitt 2007, Morse 2007, Hanson 외 2011, Sullivan & Sargeant 2011). 본질적으로 관측 연구는 방해가 될 수 있습니다. 수사관은 대개 그룹 구성원 (게이트 키퍼)이 그룹에 소개하고 자신의 자연스러운 환경에서 과목을 관찰합니다. 연구 참가자와 친숙해지면서 개인적인 대화가 가능하고 기밀성에 대한 위협이 될 수 있습니다 (Cote & Turgeon 2005). 포커스 그룹 참가자의 선택은 그룹 구성의 계층 구조 또는 서로 친숙함과 같은 요소를 고려해야합니다. 감독자 또는 동료가 연구자로서 존재할 경우 참여자는 의견을 공유하기를 꺼릴 수있다(Kuper et al., 2008a, Stalmeijer et al., 2014) . 연구원과 연구 참가자 간의 힘 관계power relationship는 데이터 수집에 영향을 줄 수 있습니다.

Ethical concerns such as informed consent, risks and benefits, privacy and confidentiality are common to all research. However, qualitative researchers should be aware that they may be exploring sensitive topics and obtaining personal narratives face-to-face; eliciting feelings and opinions of participants about issues such as patient interactions, quality of teachers, curricula, educational experiences or institutional culture (Hewitt 2007; Morse 2007; Hanson et al. 2011; Sullivan & Sargeant 2011). Observational studies by their very nature can be intrusive. Investigators are usually introduced to the group by a group member (a gate keeper) and observe subjects in their ‘‘natural’’ environment. Familiarity with a study participant might lead to private conversations and be a threat to confidentiality (Cote & Turgeon 2005). Selection of focus group participants should consider factors such as hierarchy of group composition or their familiarity with each other. their Participants may be unwilling to share opinions if supervisors or colleagues in a position of authority are also present (Kuper et al. 2008a; Stalmeijer et al. 2014). Power relationships between the researcher and research participants might shape data collection.

참여자의 개인 정보는 수집 된 내러티브, 개인의 인구 통계가 아닌 그룹, 결과를 보급하고 참가자가 특정 견적을 비 보급하도록 요청할 수있는 계획을 공개함으로써 보호 할 수 있습니다 (Atkinson & Pugsley 2005, Starks & Trinidad 2007, Reeves et al., 2008, 2013; Hanson et al., 2011).

Privacy of participants can be protected by

reporting aggregate narratives, group rather than individual demograph- ics,
disclosure of investigators’ plans to disseminate findings and
allowing participants to request non-dissemination of specific quotes (Atkinson & Pugsley 2005; Starks & Trinidad 2007; Reeves et al. 2008, 2013; Hanson et al. 2011).

팁 4 샘플링 전략 결정 및 정당화
Tip 4 Determine and justify sampling strategy

질적 연구자들은 일반적으로 의도적 샘플링, 쿼터 샘플링 또는 편의 샘플링 기술을 사용합니다 (Starks & Trinidad 2007, Collingridge & Gantt 2008, Sargeant 2012).

의도적 샘플링에서 선택된 피험자는 관심있는 사건을 경험했거나 풍부한 시각을 제공 할 수있는 가장 적합한 자격을 갖춘 사람을 선택한다
할당량 샘플링에서 연구원은 데이터에 의미있게 기여할 수있는 하위 인구를 선택하고 참가자 그룹 (성별 및 연수생 수준) 간의 적절한 대표성을 보장합니다.
편의 샘플링에서는 피험자가 액세스 할 수 있기 때문에 피실험자가 선택됩니다.

Qualitative researchers typically employ purposive sampling, quota sampling or convenience sampling techniques (Starks & Trinidad 2007; Collingridge & Gantt 2008; Sargeant 2012).

In purposive sampling, selected subjects have experienced the event of interest or are most qualified to provide rich perspectives.
In quota sampling, researchers select sub-popu- lations that could meaningfully contribute to the data and ensure appropriate representation among participant groups (gender and level of trainees).
In convenience sampling, subjects are selected because of available access to them.

표본 추출 전략은 그룹에서 정보가 필요한지 또는 특정 특성을 나타내는 그룹이 필요한지에 따라 선택된다 (Kennedy & Lingard 2006; Kuper et al., 2008a; Hanson et al., Watling & Lingard 2012).

Purposive sampling strategies are selected depending on whether information is needed from a group or a group representative of certain characteristics is needed (Kennedy & Lingard 2006; Kuper et al. 2008a; Hanson et al. 2011; Watling & Lingard 2012):

일반적인 경우 - 공통적이고 유사한 시각을 제공 할 가능성이있는 대상.
극단적이거나 비정상적인 경우 - 전형적인 경우와 가장 다른 의견을 가진 과목.
중요 사례 - 주제에 대한 가장 자세한 정보를 제공 할 가능성이있는 주제
극도로 다양한 사례 - 가장 다양한 경험과 관점을 포함하는 그룹.
이론적 샘플링 - 초점은 이론적으로 데이터에서 나온다. 샘플링 전략은 데이터가 수집되고 해석 될 때 진화 할 수 있으며 일반적으로 여러 비교 그룹이 필요합니다.
눈굴리기 추출 - 주제와 비슷한 경험을 가지며 의미있는 데이터를 제공해줄 수 있는 이전 참가자가 언급 한 사람.

Typical cases—subjects likely to provide common and similar perspectives.
Extreme or deviant cases—subjects whose opinions differ the most from typical cases.
Critical cases—subjects likely to yield the most detailed information on the subject.
Maximally diverse cases—groups that include the most varied experiences and perspectives.
Theoretical sampling—focus is on theory that emerges from the data; sampling strategies may evolve as data are collected and interpreted, and multiple comparison groups are usually needed.
Snowball sampling—subjects referred by previous par- ticipants, with similar experiences and likely to provide meaningful data.

각 개인이 몇 가지 개념과 관점을 생성할 수 있기 때문에, 질적 연구에는 큰 샘플이 필요하지 않습니다 (Starks & Trinidad 2007). 풍부한 정보는 10-20 명의 개별 면담, 현상학 연구에서 총 10-60 명의 참가자 또는 1-10 명의 주제를 가진 세 가지 포커스 그룹 (Starks & Trinidad 2007, Hanson et al. 2011)에서 얻을 수 있다고 명시되어 있습니다. "데이터 포화 (data saturation)"라는 용어는 연구자가 새로운 개념이 데이터에서 나타나지 않을 때까지 계속해서 샘플 참가자를 계속해서 언급하는 곳에서 언급되어야한다 (Kuper 등, 2008a; Sargeant 2012; Watling & Lingard 2012). 이 개념은 기초 이론 연구 또는 주제 분석이 수행되는 일반적인 질적 연구에서 특히 중요합니다.

As each individual can generate several concepts and perspectives, large samples are not required in qualitative research (Starks & Trinidad 2007). It has been stated that rich information can be obtained from 10–20 individual interviews, three focus groups with a total of 10–60 participants or 1–10 subjects in phenomenological studies (Starks & Trinidad 2007; Hanson et al. 2011). The term ‘‘data saturation’’ should also be mentioned, where investigators continue to sample partici- pants until no new concepts emerge from the data (Kuper et al. 2008a; Sargeant 2012; Watling & Lingard 2012). This concept is particularly important in grounded theory studies or general qualitative studies where thematic analysis is performed.

팁 5 연구 결과에 부합하는 데이터 소스 정의
Tip 5 Define sources of data to match study outcomes

질적 연구의 서술 데이터Narrative data에는 녹음 된 대화의 성적표, 개인의 이야기와 반성, 자유로운 질문에 대한 응답, 현장 노트의 형태로 연구자에 의한 관찰, 워크샵에서의 참가자 토론의 사본, 사진, 저널 및 문서가 포함됩니다. (Hanson et al., 2011; Sullivan & Sargeant 2011, Creswell 2013). 연구 결과에는 태도, 행동, 장벽, 도전, 언어 사용 및 이론 개발이 포함됩니다.
Narrative data in qualitative research include: transcripts of recorded conversations, personal stories and reflections, responses to open-ended questions, observations by research- ers in the form of field notes, transcripts of participant discussions at workshops, photographs, journals and docu- ments such as syllabi or mission statements (Hanson et al. 2011; Sullivan & Sargeant 2011; Creswell 2013). Study outcomes include attitudes, behaviours, barriers, challenges, use of language and development of theory.

조사자가 문화적 집단의 행동과 상호 작용을 이해하려고 시도하는 민족 지학 연구에서 현장 기록과 관찰 기록은 주요 데이터 출처를 형성하지만 아카이브 문서 및 인터뷰 (Atkinson & Pugsley 2005)로 보완 될 수 있습니다.
In ethnographic studies, where investigators attempt to understand the behaviour and interactions of ‘‘cultural’’ groups, field notes and recordings from observations form the primary data source but can be supplemented by archival documents and interviews (Atkinson & Pugsley 2005).

현상학 연구에서 연구자가 사건 (새로운 교과 과정, 도전적인 임상 순환)을 경험 한 사람들의 관점을 탐구하며, 결과는 참가자의 렌즈를 통해 본 경험의 의미가 된다. 자료의 출처에는 인터뷰와 포커스 그룹이 포함됩니다 (Starks & Trinidad 2007, Creswell 2013).
In phenomenological studies, where researchers explore perspectives of those who have experienced an event (new curriculum, challenging clinical rotation), the outcome would be the meaning of the experience viewed through the lens of participants. Sources of data include interviews and focus groups (Starks & Trinidad 2007; Creswell 2013).

연구자가 주제를 발견하거나 데이터로부터 이론적 구성을 만들려고하는 근거 이론 연구에서 문서, 참가자 인터뷰, 연구원 노트, 시청각 데이터 등과 같은 여러 데이터 소스가 사용됩니다 (Kennedy & Lingard 2006; Watling & Lingard 2012, Creswell 2013).
In a grounded theory study, where researchers attempt to discover themes or create theoretical constructs from data, multiple data sources such as documents, interviews of participants, researcher notes, audio-visual data, etc. are used (Kennedy & Lingard 2006; Watling & Lingard 2012; Creswell 2013).

담론 분석은 사회적 상호 작용에서 행동, 사용 및 언어 의미를 포착하는 것을 목표로합니다. 데이터 소스에는 참여자 대화 또는 문서가 포함됩니다. 인터뷰는 참가자가 사용하는 단어의 의도 된 의미를 명확히하고 오해를 피하기 위해 사용될 수 있습니다 (Starks & Trinidad 2007).
Discourse analysis aims to capture actions, use and language meaning of in social interactions; data sources include participant conversations or documents. Interviews may be used to clarify the intended meaning of words used by participants and to avoid misinterpretations (Starks & Trinidad 2007).

팁 6 적절한 데이터 수집 방법 결정
Tip 6 Decide appropriate data collection methods

질적 인 데이터는 관찰, 개별 또는 포커스 그룹 인터뷰, 필드 노트, 오디오 또는 비디오 녹음 및 아카이브 문서에 대한 심층적 인 검토를 통해 또는 조합하여 수집 할 수 있습니다 (Denzin & Lincoln 2011; Creswell 2013). 이 과정에서 연구자들은 객관성을 극대화하기 위해 개인적인 가정, 가설 및 의견을 제쳐 놓을 필요가 있으며, 브라케팅 (bracketing)이라고 불리는 과정 (Tavakol & Sandars 2014b)이 필요합니다. 질적 연구에서 관찰되거나 인터뷰 대상자는 연구 대상이 아닌 참여자이다. 그들은 연구자보다도 대화의 방향에 영향을 줄 수 있습니다. 이것은 양적 연구와 질적연구가 가장 다른 점이다.
Qualitative data can be collected through observation, indi- vidual or focus group interviews, field notes, audio or video recordings and in-depth review of archival documents indi- vidually, or in combination (Denzin & Lincoln 2011; Creswell 2013). During this process, researchers need to set aside their personal assumptions, hypotheses and opinions in order to maximise objectivity, a process called bracketing (Tavakol & Sandars 2014b). In qualitative research, individuals being observed or interviewed are participants rather than subjects of the study; they may influence the direction of the conversation rather than investigators. This is a major departure from quantitative research.

일대일 인터뷰에서 면접자는 면밀한 안내와 탐구를 통해 참가자 의견을 조사하고 자세한 내러티브를 장려하며 해석의 정확성을 확인합니다 (Hanson 외, 2011, Creswell 2013). 인터뷰가 구성되는 정도는 연구 목표에 따라 다르지만 연구원은 직접 인터뷰보다는 촉진합니다.
In one-on-one interviews, interviewers use open-ended prompts and probe skilfully to explore participant opinions, encourage detailed narratives and confirm the accuracy of their interpretations (Hanson et al. 2011; Creswell 2013). The degree to which the interview is structured depends on the study objectives, however, researchers facilitate rather than direct interviews.

구조화 된 인터뷰는 연구자가 토론을 특정 방향으로 유도 할 수 있도록 고정 된 질문 집합을 사용합니다. 질적 인 연구가 대개 탐험 적으로 사용되기 때문에 이것이 가장 일반적으로 사용되는 방법은 아닙니다.
구조화되지 않은 인터뷰는 연구가가 주제를 소개하지만 참가자가 방향을 선택하고 토론을 안내 할 수있는 개방형입니다.
반 구조화 된 인터뷰는 질문 목록을 프레임 워크로 사용하지만 참가자는 대화를 직접 할 수 있습니다. 면접관은 모든 핵심 주제를 탐구하기 위해 면담을 수시로 리디렉션합니다.

Structured interviews use a fixed set of questions to allow the researcher to guide the discussion in a specific direction. This is not the most commonly used method as qualitative research is usually exploratory.

Unstructured interviews are open-ended, where a topic is introduced by the researcher but participants are allowed to choose the direction and guide the discussion.

Semi structured interviews use a list of questions as a framework, but participants have the freedom to direct the conversation. The interviewer redirects the discussion from time to time to ensure that all key topics are explored.

포커스 그룹 토론에서 중요한 목표는 참여자 간의 상호 작용을 활용하고, 이것으로부터 학습하는 것입니다 (Barbour 2005, Stalmeijer 외 2014). 이상적인 참가자 수는 6-10 명입니다.

연구자가 고위 참가자 또는 권위있는 지위의 사람들을 포함시켜 토론을 방해 할 수 있다고 생각하면 homogeneous 그룹이 사용됩니다.
연구자가 서로 다른 견해가 토론을 자극하여 다양한 시각을 제공 할 수 있다고 생각하면 heterogeneous 그룹을 사용할 수 있습니다.

인터뷰에서와 같이, 이러한 논의는 구조화 된 구조에서 구조화되지 않은 구조로 다양 할 수 있지만, 대부분의 질적 연구 전문가들은 트리거로서 "구조적 도청 (Structured eavesdropping)"이 뒤 따르는 몇 가지 자유로운 질문을 권장한다. (Kitzinger 1995).
In focus group discussions, a key goal is to tap into and learn from the interactions between participants (Barbour 2005; Stalmeijer et al. 2014). The ideal number of participants is 6–10. Homogeneous groups are used if researchers believe that discussion can be hampered by inclusion of senior participants or those in a position of authority. Heterogeneous groups can be used if investigators believe that differing opinions could stimulate discussion to provide a variety of perspectives. As in interviews, these discussions can vary from more structured to less structured, but most qualitative research experts recom- mend a few open-ended questions as triggers followed by ‘‘structured eavesdropping’’ (Kitzinger 1995).

팁 7 질적 분석을위한 데이터 준비
Tip 7 Prepare data for qualitative analysis

질적 연구는 내용 분석 과정 (Hale et al.2008; Harding 2013; Sullivan & Sargeant 2011; Sargeant 2012)을 통해 체계적으로 전사, 읽기, 분류 및 해석되어야하는 많은 양의 서술 데이터를 제공한다. 일부 연구는 횟수와 빈도를 제시하지만 (Pope & Mays 2006)에 의하면 정량화는 특히 중요한 의미를 갖는 것으로 간주되지 않는다. 텍스트 데이터는 코드화되어 관찰되고 현상을 묘사하기 위해 분류되고 해석됩니다.
Qualitative studies provide large volumes of narrative data thatneed to be systematically transcribed, read, sorted andinterpreted through a process of content analysis (Hale et al.2008; Harding 2013; Sullivan & Sargeant 2011; Sargeant 2012).Although some studies present counts and frequencies ofstatements or themes, quantification is not considered particu-larly meaningful by many experts (Pope & Mays 2006). Textualdata are coded, categorised and interpreted to describe orexplain observed phenomena.

데이터 수집 및 분석이 동시에 이루어지므로 연구원은 추가 샘플링 전략을 수립하고 질문을 형식화하고 새로운 주제를 추구pursue합니다 (Pope & Mays 2006, Sargeant 2012, Harding 2013). 동시 수집 및 분석을 통해 연구자는 데이터 수집을 중단하거나 데이터 포화가 발생했을 때v이를 결정할 수 있습니다.
Data collection and analysis occur concurrently, allowingthe researcher to plan additional sampling strategies, formulatenew questions and pursue emerging themes in greater depth(Pope & Mays 2006; Sargeant 2012; Harding 2013). Concurrentcollection and analysis allows researchers to determine whento stop data collection or when data saturation has occurred.

software packages include

Atlas Ti (http://atlasti.com/),
NVivo (http://www.qsrin-ternational.com/products_nvivo.aspx),
MAXQDA (http:// www.maxqda.com/) and
the web-based dedoose www.dedoose.com/).

팁 8 기본 데이터 분석 수행
Tip 8 Perform basic data analysis

데이터는 deductive approach가 아닌 inductive를 사용하여 분석됩니다. 이론과 개념은 참여자 관점에서 나타난다 (Pope 외 2000; Barbour & Barbour 2003; Pope & Mays 2006; Hanson 외, 2011; Tavakol & Sandars2014b). 내용 분석 중에 축어적인 읽기verbatim read는 연구자가 데이터를 이해하고 토론의 톤과 내용을 흡수하는 데 도움이됩니다. 해 석 해석, 해석 및 재건 (Sargeant 2012; Watling & Lingard 2012)의 세 해석 단계가 해석 분석을 위해 제시되었다.
Data are analysed using an inductive rather than deductiveapproach; theories and concepts emerge from participantperspectives (Pope et al. 2000; Barbour & Barbour 2003;Pope & Mays 2006; Hanson et al. 2011; Tavakol & Sandars2014b). During content analysis, a verbatim read helps researchers to make sense of the data and absorb the toneand content of the discussion. Three stages have been described for interpretive analysis to occur:

deconstruction,
interpretation and
reconstruction (Sargeant 2012; Watling &Lingard 2012).

데이터 분해 단계에서의 기본 코딩은 연구자 해석이 아닌 참여자 서술에 초점을 맞 춥니 다. 참여자의 관점을 가장 잘 전달하는 텍스트는 여백에 기록 된 조사자 노트로 강조 표시됩니다. 주요 단어, 사건, 상호 작용 및 조사자가 언급 한 행동은 초기 코드를 형성합니다 (Creswell 2013). 문맥상 유사한 코드는 대용량의 데이터를 작은 의미있는 단위로 나누기 위해 코딩 범주로 그룹화됩니다 (Starks & Trinidad 2007; Hanson 외 2011; Sargeant 2012; Tavakol & Sandars 2014b). 그룹 규범에 관련되거나 그에 반대하는 흥미롭고 독특한 용어는 범주 범주를 형성 할 수도 있습니다. 초기 분석 단계에서는 데이터의 뉘앙스를 반영하기 위해 필요한 만큼 범주가 추가되며, 데이터를 설정된 수의 코드 또는 범주로 데이터를 축소하는 것이 목적이 아니다.
Basic coding during data deconstruction phase focusesentirely on participant narratives, not researcher interpret-ations. Text that best communicates participant perspectivesare highlighted with investigator notes written on the margin. Key words, incidents, interactions and behaviour as noted by the investigators form the initial codes (Creswell 2013). Codes similar in context are then grouped into coding categories tobreak down large volumes of data into small meaningful units(Starks & Trinidad 2007; Hanson et al. 2011; Sargeant 2012;Tavakol & Sandars 2014b). Interesting or unique terms,relating to or opposing the group norm, can also form thebasis of categories. In the initial analytic step, categories are added as needed to reflect the nuances in the data, the aim is not to reduce the data to a set number of codes or categories.

해석 단계에서 각 범주와 관련된 데이터는 분석 범주를 확립하기 위해 나머지 텍스트와 비교된다. 프로세스는 constant comparison라고 불린다 (Hanson et al. 2011; Sargeant 2012). 데이터 수집 중에 데이터와 관찰 내용에 대한 해석을 사용하여 전체 검색 팀은 비슷한 범주를 적절한 하위 범주가있는 주요 범주의 축소 된 목록으로 결합합니다.
During the interpretation phase, data relevant to eachcategory are compared with the rest of the text to establishanalytic categories, a process termed constant comparison(Hanson et al. 2011; Sargeant 2012). Using their interpretations of data and observations during data collection, the entire research team combines similar categories into a reduced list of main categories with appropriate subcategories.

팁 9 추가 데이터 분석
Tip 9 Additional data analysis

thematic analysis가 적절한지 여부는 연구 목표가 결정합니다. 이전 단계에서 논의 된 주요 범주는 주제별 분석의 기초를 형성합니다. 테마는 참가자의 관점뿐만 아니라 연구자의 해석과 중복되는 범주 (종양학 회전, 새로운 커리큘럼 노출 등의 경험)에서 적절하게 적절하게 포착하는 핵심 개념입니다. 주요 주제의 결합은 이론 이론의 생성이나 침략 이론 연구 (Sargeant 2012; Watling & Lingard2012; Creswell 2013)에서 미래 교육 이니셔티브를위한 틀의 개발로 이어질 수있다.

The study objectives determine whether thematic analysis is relevant. The main categories, discussed in the previous step,form the foundation of thematic analysis. Themes are key concepts that adequately and appropriately capture the meaning of the experience from the perspective of the participants as well as researcher interpretations and overlap multiple categories (trainees’ experiences on an oncologyrotation, exposure to a new curriculum, etc.). Combination of key themes might lead to generation of theories or develop-ment of a framework for future educational initiatives in agrounded theory study (Sargeant 2012; Watling & Lingard2012; Creswell 2013).

재구성 단계에서 주제는 주요 테마와 부 테마로도 축소 될 수있다 (Hale et al. 2008). 다른 주제는 그들 사이의 관계를 탐색하기 위해 비교되고 대비된다. 연구자는 다수 의견에 부합하지 않는 의견도 보고해야 합니다 (Sargeant2012). 전체 연구 팀은 주제별 분석을 논의하고 코딩 및 해석에 있어서 내부 갈등을 해결해야합니다. 수사관의 관찰, 데이터의 해석 및 이전의 연구 또는 이론과의 비교는 질적 연구에서 "의미"에 크게 기여합니다 (Sargeant 2012, Creswell 2014).
During the reconstruction phase, themes may also beconsolidated into major and minor themes (Hale et al. 2008).Different themes are compared and contrasted to explorerelationships between them; the team should also report opinions that do not conform to the majority opinion (Sargeant2012). The entire research team should discuss thematic analysis and resolve internal conflicts in coding and interpret-ations. Investigators’ observations, interpretation of data and comparison with previous studies or theories contribute greatly to the ‘‘meaning’’ in qualitative studies (Sargeant 2012; Creswell 2014).

분석이 categorical 수준 (개념과 의미의 탐구)에서 conceptual 수준 (범주 간의 관계 탐구와 의미 이해)으로 이동하면 연구 과정을 설명하고 이해할 수 있는 이론을 개발할 수 있습니다 (Kennedy & Lingard2006; Watling & Lingard 2012) .
When analysis moves from the categorical level (exploring perceptions and their meaning) to the conceptual level(exploring relationships between categories and understand-ing meaning), theory can be developed to explain and understand the process being studied (Kennedy & Lingard2006; Watling & Lingard 2012).

팁 10 연구의 엄격함 유지하기
Tip 10 Maintaining rigour in the study

질적 연구는 생물 의학 연구자와 정량적 연구 방법이 지배하는 분야에서 과학적 rigour가 부족한 것으로 비난 받아왔다. 질적 전문가들은 확인 가능성, 신뢰도, 의존성 및 이전 가능성을 포함한 질적 연구에서 질을 보장하기위한 몇 가지 기술을 기술했다 (Pope & Mays 2006, Collingridge & Gantt 2008, Kuper 등, 2008a, b, Hale et al.2008, Hanson et. 2011 년 Sargeant, Tavakol & Sandars2014b). 이러한 기준을 엄격하게 적용해야만 연구자가 모든 상자에 체크 표시를 할 수 있다는 점을 강조해야합니다. 교육자는 연구 설계가 연구 조사와 일치하는지 여부와 그 결과가 의미있는지를 평가하기 위해 지식과 지혜를 사용해야합니다 (Carter & Little2007).
Qualitative research has been accused of lacking scientific rigour in a field dominated by biomedical researchers and quantitative research methods. Qualitative experts have described several techniques to ensure quality in qualitativeresearch described below, including: confirmability, credibility,dependability and transferability (Pope & Mays 2006;Collingridge & Gantt 2008; Kuper et al. 2008a, b; Hale et al.2008; Hanson et al. 2011; Sargeant 2012; Tavakol & Sandars2014b). It needs to be emphasised that overly rigid application of these criteria only ensures that investigators have ticked all the boxes; educators need to use their knowledge and wisdom to evaluate whether study design is consistent with study questions and if the results are meaningful (Carter & Little2007).

연구원은 자신의 연구 질문 인 Turgeon and2005에 답하기 위해 가장 적합한 프레임 워크와 연구 설계를 선택하고 그들의 방법을 자세히 기술해야합니다 (Cote & Carter & Little 2007). 그들은 또한 그들의 연구대상자의 선택을 정당화해야한다; 연구 질문과 관련있는 참가자 특성에 대한 상세한 설명, 풍부한 관점 획득 또는 이론 개발을 위한 참가자의 적합성 (Starks & Trinidad 2007; Kuper et al. 2008a). 연구원의 역할과 참가자와의 관계를 언급해야합니다.
Researchers should select the most appropriate framework and study design to answer their study questions Turgeon and2005;describe their methods in detail (Cote & Carter & Little 2007). They should also justify the selection of their study population; with detailed descriptions of partici-pant characteristics relevant to the study question and appropriateness to obtain rich perspectives or developtheory (Starks & Trinidad 2007; Kuper et al. 2008a). The role of the researcher and any relationship to the participantsshould be mentioned.

확인 가능성은 결과가 다른 연구자에 의해 확인 될 수있는 정도를 나타냅니다. ''두꺼운 '설명은 독자가 연구 설정의 내용을 이해할 수 있도록 자세한 정보를 제공합니다. observer의 존재로 인한 참여자 행동과 행동의 변화 인 Hawthorne 효과는, 데이터 수집이 주로 관찰을 통해 이루어지는 경우에 특히 중요합니다 (Kuper et al. 2008a). As observers는 그들의 의견과 가설을 삽입하지 않고 현장에서 더 많은 시간을 보냅니다. Hawthorne 효과는 최소화 될 수 있습니다. 다수 의견과 다수 의견에 반대되는 의견, 즉 부정적인 사례가 데이터 분석에 포함되어야합니다.

Confirmability refers to the extent to which the results canbe confirmed by other researchers. ‘‘Thick’’ descriptionsprovide detailed information for readers to understand thecontext of the research setting. The Hawthorne effect, changesin participant actions and behaviours due to the presence of anobserver, is especially important where data collection isprimarily through observation (Kuper et al. 2008a). Asobservers spend more time in the field without interjectingtheir opinions and hypotheses, the Hawthorne effect can beminimised. Opinions of the majority as well as those that arerun contrary to the majority opinion, that is, negative cases,should be included in data analysis.

내부 유효성과 비교되는 신뢰도는 삼각 측량, 장기간의 관찰 및 숙련 된 인터뷰를 통해 강화 될 수 있습니다. 삼각 측량은 여러 가지 데이터 소스와 데이터 수집 방법을 사용하여 연구 주제에 대해 가장 포괄적 인 정보를 얻는 것을 의미합니다. 연구원은 데이터 소스 (내러티브, 오디오 또는 비디오 레코딩, 현장 기록, 보관 문서), 데이터 수집 방법 (관찰, 인터뷰, 문서 분석) 및 분석 (데이터를 독립적으로 분석하고 불일치를 합의로 해결하는 여러 조사자)을 삼각 화합니다 (Cote & Turgeon 2005; Kuper et al. ). 독자가 신뢰성을 판단 할 수 있도록 분석 프로세스의 세부 사항을 제공해야합니다.

Credibility, comparable with internal validity, can beensured by triangulation, prolonged observations and skilfulinterviews. Triangulation refers to the use of multiple datasources and data collection methods to get the most compre-hensive information on the subject of research. Researcherscan triangulate data sources (narratives, audio or videorecordings, field noted, archival documents), data collectionmethods (observation, interview, document analysis) andanalysis (multiple investigators independently analysing dataand resolving disagreements by consensus) (Cote & Turgeon2005; Kuper et al. 2008a). Details of the analytical process must be provided to enable readers to determine credibility.

신뢰도에 필적하는 신뢰성은 Data sampling을 최대화하고, 관측에 대한 다중 분석 , 체계적인 검증, 데이터 및 응답자 연구자가 정확성을 보장하기 위해 수집 된 데이터와 해석자를 보여줌으로써 최대 샘플링 될 수있다 (Kuper et al., 2008a; Hansonet al., 2011).
Dependability, comparable with reliability, can be max-imised by data sampling and multiple analysis observations, systematic validation, and respondent researchers show where their collected data and interpretations to participants to ensure accuracy (Kuper et al. 2008a; Hansonet al. 2011).

양도 가능성은 외부 타당도 조사와 유사하다 (Kuper et al., 2008a; Hanson et 2011). 문헌 조사와 관련된 연구 설계 및 분석에 대한 자세한 설명은 다른 연구자가 연구가 생생한 환경에서 재현 될 수 있는지 또는 연구 결과가 결과로 전달 될 수 있는지를 평가하는 데 도움이 될 수 있습니다.
Transferability is comparable with external validity in quantitative research (Kuper et al. 2008a; Hanson et al 2011). Detailed descriptions of the study design and analysis along with reference to literature can help other investiga-tors assess whether the study can be reproduced in their own setting or if the results can be transferred to their setting.

팁 11 결과 작성

Tip 11 Write up the results

제목은 연구의 성격, 주제 및 사용 된 틀을 명확하게 반영해야합니다. 초록은 연구의 요약이며 배경, 대상, 방법, 결과 및 결론을 포함합니다. 소개 섹션에서는 연구의 초점, 주제와 그 폭 넓은 배경, 연구실 선택 및 학습 목표 선택에 대한 이유를 설명합니다. 이것은 quantitativeresearch (O'Brien et al. 2014)와 유사합니다.
The title should clearly reflect thenature, subject of the study and framework used. The abstractis a summary of the study and includes background, object-ives, methods, results and conclusions. The the introductionsection outlines the focus of the study, reasons forchoosing the topic and its broader context, choice of studysetting and the study objectives. This is similar to quantitativeresearch (O’Brien et al. 2014).

질적 연구 보고서의 몇 가지 특징은 다음과 같습니다. 질적 연구는 인간 관계, 참가자의 감정과 반응의 연구를 제시하며 따라서 연구자는 예기치 않은 발견을 예상하고 적절하게 예측해야합니다 (Holliday 2007). 방법 섹션은 다음을 포함해야한다 : 사용 된 프레임 워크의 세부 사항과 이유; 연구 설계; 데이터 수집 방법, 분석 전략 및 연구 질문에 대한 답변 주제 선택과 표본 추출 전략, 참여자와의 관계 및 참가자 간의 상호 작용 해당되는 경우 데이터 채도 (Holliday 2007; O'Brien 외 2014).
Some distinctive features of qualitative research reports areemphasised below. Qualitative studies present research interms of human relationships, participants’ feelings andreactopinions, thus investigators need to anticipate and appropriately to unexpected discoveries (Holliday 2007). The methods section should include:

details and reasons for theframework used;
study design;
data collection methods;
analysis strategies and their appropriateness to answer the study questions;
choice of subjects and sampling strategies;
their relationship with participants and interactions between participants;
data saturation if applicable (Holliday 2007;O’Brien et al. 2014).

또한 연구자들은 자신의 주관성, 가설 및 신념 (반사성)을 관리했다는 것을 보고해야 합니다.

In addition, researchers need to reporthow they managed their own subjectivity, hypotheses and beliefs (reflexivity).

결과 섹션은 내러티브, 연구자의 해석 및 참가자의 인용에 의해 확고하게 뒷받침 된 이러한 해석의 논리에서 비롯된 주요 발견 사항 / 주제를 설명해야합니다. 연구팀이 코딩을 어떻게 수행했는지, 코드를 분류하고 발견 된 주제는 충분히 자세하게 설명되어야하며 잘 참조되어야 합니다. 이론 또는 모델이 기술 되었다면, 이것이 데이터로부터 완전히 유추되었는지 (inductive), 연구자의 가설과 참여자 별 추측 (deductive and inductive)의 조합인지 분명해야한다 (Cote & Turgeon 2005; Kuper et al. Creswell 2013, O'Brien 외 2014, Stalmeijer 외 2014).
The results section should describe the key findings/themesthat emerged from the narratives, investigators’ interpretationsand the logic behind these interpretations firmly backed byparticipant quotes. How the research team performed thecoding, categorised the codes and discovered themes shouldbe explained in sufficient detail and well referenced. If a theory or model was described, it should be clear if thisemerged entirely from the data (inductive) or if it is acombination of researchers’ hypothesis and participant per-spectives (deductive and inductive) (Cote & Turgeon 2005;Kuper et al. 2008a; Creswell 2013; O’Brien et al. 2014;Stalmeijer et al. 2014).

팁 12 질적 인 방법의 훈련은 성공을 위해 매우 중요합니다.
Tip 12 Training in qualitative methods is criticalfor success

질적 인 연구에 관심이있는 의학 교육자는 이러한 방법에 대한 훈련을 해야한다. 오직 일반적인 감각과 감각을 소유한다고해서 의학 교육자가 숙련 된 관찰자 또는 질적 인 연구자가되는 것은 아닙니다.
Medical educators interested in qualitative research shouldparticipate in training in these methods; just possessing theusual sense and sensibilities does not make the medicaleducator a skilled observer or qualitative researcher.

Reflexivity 은 질적 연구에서 중요한 개념입니다. 연구자가 자신의 편견을 인식하고 인정하는 훈련이 필요합니다 (Reeves 외. 2008).
Reflexivity is a vital concept in qualitative research; training is needed for researchers to be aware of and acknowledge their biases (Reeves et al. 2008).

첫째, 관찰, 인터뷰, 포커스 그룹 촉진과 같은 데이터 수집 방법에 대한 교육이 필수적입니다. 관측은 단순한 존재 이상을 둘러 보는 것 이상입니다. 참여자 또는 비 참여자로서 그룹에 참여하고 주관적인 편향을 끼우지 않고 대화, 행동 및 상호 작용을 눈에 띄지 않게 기록하는 데 숙련 된 민족 지학자가 필요합니다 (Reeves 외. 2008). 면접 조사는 청취, 조사, 피고용인 확인 및 감정 흡수에 대한 효과적인 적용을 필요로한다 (Hale et al., 2008). 포커스 그룹 토의는 조사관이 소집 한 회의가 아니라 공개 질문 방식, 그룹 참여 촉진, 진술의 의미를 이끌어내는 탐구, 핵심 목표가 연구 목표에 따라 다루어 지도록 보장하는 것입니다 (Stalmeijer 외 2014 ).
First, training in data collection methods such as observa- tion, interviewing and facilitating focus groups is essential. Observation is more than mere presence and looking around. It takes a skilled ethnographer to gain entry into a group as a participant or non-participant, and record conversations, behaviours and interactions unobtrusively without interjecting subjective biases (Reeves et al. 2008). Interviewing requires effective application of the techniques of listening, probing, respondent checking and absorbing the mood and emotional undertones (Hale et al. 2008). Focus group discussions are not meetings convened by the investigator, but involve open- ended questioning techniques, facilitation of group participa- tion, probes to elicit meaning of statements, and ensuring that key points are covered based on study objectives (Stalmeijer et al. 2014).

둘째, 언어 및 담론 분석을 위한 훈련이 필요합니다. 연구자가 자신의 연구 팀에 질적 전문가를 포함 시키기로 결정한 경우에도 교장 및 공동 연구자는 데이터 분석에 참여해야하며 추가 샘플링이 필요한 시점과 그 연구 결과가 연구 질문에 대한 대답인지 결정해야합니다 (Hanson et al. 2011; Watling & Lingard 2012; Creswell 2013, Stalmeijer 외 2014). 내러티브 데이터에서 의미를 도출하려면 정량적 연구자가 요구하는 것보다 현저하게 다른 기술 집합이 필요합니다. 연구자 데이터를 주관적으로 해석하더라도 해석, 주제 및 이론은 원시 데이터로 뒷받침되어야합니다.
Second, training in analysis of language and discourse is required. Even if researchers decide to include qualitative experts on their study team, principal and co-investigators must participate in data analysis, decide when further sampling is required and whether the findings answer their study questions (Hanson et al. 2011; Watling & Lingard 2012; Creswell 2013; Stalmeijer et al. 2014). Deriving meaning from narrative data requires a set of skills that are markedly different than by those required quantitative researchers. Though the interpret researchers data subjectively, their interpretations, themes and theories should be backed by raw data.

마지막으로, 연구원은 현장 노트를 체계적으로 기록하고, 서술 적으로 쓰고, 사소한 세부 사항을 무시하고, 엄격하게 관찰 결과를 검증하는 방법을 배워야합니다 (Creswell 2013).
Finally, researchers will need to learn to record field notes systematically, write descriptively, discard trivial details and validate their observations rigorously (Creswell 2013).

Barbour RS. 2005. Making sense of focus groups. Med Educ 39:742–750.

Hanson JL, Balmer DF, Giardino AP. 2011. Qualitative research methods for medical educators. Acad Pediatr 11:375–386.

Kuper A, Lingard L, Levinson W. 2008a. Critically appraising qualitative research. BMJ 337:a1035.

Kuper A, Reeves S, Levinson W. 2008b. An introduction to reading and appraising qualitative research. BMJ 337:a288.

Starks H, Trinidad SB. 2007. Choose your method: A comparison of phenomenology, discourse analysis, and grounded theory. Qual HealthRes 17:1372–1380.

Sullivan GM, Sargeant J. 2011. Qualities of qualitative research: Part I.J Grad Med Educ 3:449–452.

Sargeant J. 2012. Qualitative research part II: Participants, analysis, andquality assurance. J Grad Med Educ 4:1–3.

2016 May;38(5):456-63. doi: 10.3109/0142159X.2015.1035244. Epub 2015 Apr 21.

Introducing medical educators to qualitative study design: Twelve tips from inception to completion.

Ramani S1, Mann K2.

Author information

1a Harvard Medical School , USA .
2b Dalhousie University , Canada.

Abstract

Many research questions posed by medical educators could be answered more effectively by the application of carefully selected qualitative research design than traditional quantitative research methods. Indeed, in many cases using mixed methods research would expand the scope of a study and yield meaningful qualitative data in addition to quantitative data. Qualitative research seeks to understand people's experiences, the meanings they assign to those experiences, the psychosocial aspects of and language used in interpersonal interactions, and the factors that influence perspectives and interactions. This understanding is vital in exploring learning and teaching styles, learners' experiences and perceptions, implementing and studying the impact of educational interventions and faculty development. This article aims to advance medical educators' understanding and application of qualitative research principles in educational scholarship by summarising and consolidating the fundamental principles of research in medical education described in recent AMEE guides. The 12 tips below offer a systematic, yet practical approach to designing a qualitative research study, particularly targeting educators new to this arena.

PMID:: 25897710
DOI:: 10.3109/0142159X.2015.1035244

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 의학교육연구(Research)' 카테고리의 다른 글

질적연구를 읽고 평가하는 기준에 대한 개요(BMJ, 2008) (0)	2017.04.06
합의 방법론에 대한 합의가 있는가? 묘사와 권고 (Acad Med, 2016) (0)	2017.02.18
심리학에서 Thematic analysis 활용 (Qualitative Research in Psychology 2006) (0)	2017.01.24
질적 연구에서의 현상학적 글쓰기의 전략과 방법의 탐구* (교육문화연구, 2014) (0)	2016.07.01
질적 연구 방법론으로서의 현상학 - 독특성과 보편성 사이의 변증법적 탐구 양식 - (교육인류학연구, 2007) (0)	2016.07.01

심리학에서 Thematic analysis 활용 (Qualitative Research in Psychology 2006)

Meded. 2017. 1. 24. 11:55

2017. 1. 24. 11:55

심리학에서 Thematic analysis 활용 (Qualitative Research in Psychology 2006)

Using thematic analysis in psychology

Virginia Braun1 and Victoria Clarke2

1University of Auckland and 2University of the West of England

주제 분석은 잘 정의되지는 않았지만 심리학 내에서나 그 이상으로 널리 사용되는 질적 분석 방법이다 (Boyatzis, 1998; Roulston, 2001).
Thematic analysis is a poorly demarcated and rarely acknowledged, yet widely used qualitative analytic method (Boyatzis,1998; Roulston, 2001) within and beyond psychology.

질적 접근은 믿을 수 없을 정도로 다양하고 복잡하며 미묘한 차이가 있으며 (Holloway and Todres, 2003), 주제 분석은 질적 분석을위한 기본 방법으로 여겨 져야한다. 그것은 질적 분석의 다른 방법을 수행하는 데 유용한 핵심 기술을 제공하기 때문에 질적 연구자들이 먼저 배우는 것이 좋습니다. 실제로, Holloway and Todres (2003 : 347)는 질적 분석을 통틀어 몇 가지 공통적인 기술 중 하나 인 'thematizing meanings'을 확인했다 .2 이러한 이유 때문에 Boyatzis (1998)는 주제 분석을 특정한 방법이 아니라, 여러 다양한 방법에 걸쳐 사용가능한 도구로서 보았다. 유사하게, Ryan과 Bernard (2000)는 주제별 코딩을 독자적인 접근 방식보다는 '주요한' 분석 전통 (예 : 접지 이론)에서 수행 된 프로세스로 위치 지정합니다. 우리는 주제 분석이 그 자체의 방법으로 간주되어야한다고 주장한다.

Qualitative approaches are incredibly diverse, complex and nuanced (Holloway and Todres, 2003), and thematic analysis should be seen as a foundational method for qualitative analysis. It is the first that re- qualitative method of analysis searchers should learn, as it provides core skills that will be useful for conducting many other forms of qualitative analysis. Indeed, Holloway and Todres (2003: 347) identify ‘thematizing meanings’ as one of a few shared generic skills across qualitative analysis.2 For this reason, Boyatzis (1998) characterizes it, not as a specific method, but as a tool to use across different meth- ods. Similarly, Ryan and Bernard (2000) locate thematic coding as a process per- formed within ‘major’ analytic traditions (such as grounded theory), rather than a specific approach in its own right. We argue thematic analysis should be consid- ered a method in its own right.

주제별 분석의 이점 중 하나는 유연성입니다. 정성적 분석 방법은 대충 두 개의 진영으로 나눌 수 있습니다.

One of the benefits of thematic analysis is its flexibility. Qualitative analytic methods can be roughly divided into two camps.

처음에는 특정한 이론적 또는 인식론적 입장에 묶여 있거나 그 형태소에서 유래 된 것들이있다. 대화 분석 (CA; Hutchby and Wooffitt, 1998)과 해석 적 현상학 분석 (IPA; Smith and Osborn, 2003)과 같은 몇몇의 경우 / (아직까지) 어떻게 그 방법이 적용되는가에 대한 variability가 제한적이다. 본질적으로, 하나의 레시피가 분석을 가이드합니다. 이 외에도 근거이론(Glaser, 1992; Strauss and Corbin, 1998) , 담론 분석 (DA, Burmed and Parker, 1993; Potter and Wetherell, 1987, Willig, 2003) 또는 내러티브 분석 (Murray, 1992; Riessman, 1993)이 있고, 광범위한 이론적 틀 내에서 이 방법의 발현manifestation 양상이 다양하다.
Within the first, there are those tied to, or stemming from, a particular theoretical or epistemological position. For some of these / such as conversation analysis (CA; eg, Hutchby and Wooffitt, 1998) and interpre- tative phenomenological analysis (IPA; eg, Smith and Osborn, 2003) / there is (as yet) relatively limited variability in how the method is applied, within that framework. In essence, one recipe guides analysis. For others of these / such as grounded theory (Glaser, 1992; Strauss and Corbin, 1998), discourse analysis (DA; eg, Burman and Parker, 1993; Potter and Wetherell, 1987; Willig, 2003) or narrative analysis (Murray, 2003; Riessman, 1993) / there are different manifestations of the method, from within the broad theoretical framework.

둘째, 이론과 인식론에 근본적으로 무관 한 방법이 존재하며, 이론적 접근과 인식론적 접근시에 넓은 범위에 걸쳐 적용될 수있다. 현실적 / 경험적 방법 (Aronson, 1994, Roulston, 2001)으로 종종 (묵시적으로) 구성되어 있지만, 주제 분석은 실제로 두 번째 진영에서 확고하게 이루어지며, 심리학 내에서 본질주의자essentialist와 건설주의자constructionist들과 양립 할 수있다. 이론적인 자유로움을 통해 분석은 유연하고 유용하게 사용할 수있는 리서치 툴을 제공하여 풍부하고 상세하면서도 복잡한 데이터에 관한 설명을 제공 할 수 있습니다.
Second, there are methods that are essentially in- dependent of theory and epistemology, and can be applied across a range of theoretical and epistemological approaches. Although often (implicitly) framed as a realist/experi- ential method (Aronson, 1994; Roulston, 2001), thematic analysis is actually firmly in the second camp, and is compatible with both essentialist and constructionist para- digms within psychology (we discuss this later). Through its theoretical freedom, the- matic analysis provides a flexible and use- ful research tool, which can potentially provide a rich and detailed, yet complex, account of data.

주제 분석의 유연성이라는 이점을 감안할 때 이러한 유연성을 제한하려고하지 않는다는 것이 분명합니다. 그러나 주제 분석에 대한 명확하고 간결한 지침이 없다는 것은 'anything goes'라는 질적 연구에 대한 비판(Antaki et al., 2002)이 어떤 경우에는 잘 적용될 수 있다는 것을 의미한다. 이 논문을 통해 우리는 주제 분석을 명확하게 구분하는 것, 즉 그것이 무엇인지 설명하고, 그것을 어떻게 사용하는지에 대한 균형을 맞추기를 희망합니다. 또한 사용 방법에 대한 유연성을 보장하여 제한적이거나 제한적이지 않게 하여, 주요 이점 중 하나를 잃지 않게 하고자 한다.

Given the advantages of the flexibility of thematic analysis, it is important that we are clear that we are not trying to limit this flexibility. However, an absence of clear and concise guidelines around thematic analysis means that the ‘anything goes’ critique of qualitative research(Antaki et al ., 2002) may well apply in some instances. With this paper, we hope to strike a balance between demarcating thematic analysis clearly / ie, explaining what it is, and howto do it / and ensuring flexibility in relation to how it is used, so that it does not become limited and constrained, and lose one of its key advan- tages.

실제로,이 방법의 분명한 경계는 주제별 분석을 사용하는 사람들이 그들이 참여하고있는 특정 형태의 분석에 대해 적극적으로 선택할 수 있도록 보장하는 데 유용 할 것입니다. 따라서 이 논문은 이 방법의 유연성을 축하하고 어휘를 제공하고자 합니다 사람들이 이론적으로나 방법 론적으로 타당한 방식으로 주제별 분석을 수행하는 '방법'을 제시하려고 한다 .3 우리가 보여 주겠지만, 중요한 것은 데이터에 적용한 방법뿐만 아니라 연구자들이 (인식 론적 및 기타의) 질적 심리학자들은 그들이하고있는 일과 그 이유에 대해 명확히 할 필요가 있으며, 종종 보고서에서 어떻게 분석했는지를 포함해야한다 (Attride-Stirling, 2001).
Indeed, a clear demarcation of this method will be useful to ensure that those who use thematic analysis can make active choices about the particular formof analysis they are engaged in. Therefore, this paper seeks to celebrate the flexibility of the and method and provide a vocabulary ‘recipe’ for people to undertake thematic analysis in a way that is theoretically and methodologically sound.3 As we will show, what is important is that as well as apply- ing a method to data, researchers make their (epistemological and other) assump-tions explicit (Holloway and Todres, 2003).Qualitative psychologists need to be clear about what they are doing and why, and toinclude the often-omitted ‘how’ they didtheir analysis in their reports (Attride-Stirling, 2001).

본고에서는 주제별 분석이 무엇인지, 주제별 분석 수행을위한 6 단계 가이드. 주제별 분석을 할 때 잠재적 인 함정은 피할 수 없습니다. 무엇이 좋은 주제별 분석이 되는가? 주제 분석의 이점과 단점.
In this paper we outline: what thematic analysis is; a 6-phase guide to performing thematic analysis; potential pitfalls toavoid when doing thematic analysis; whatmakes good thematic analysis; and advan-tages and disadvantages of thematic analysis.

시작하기 전에 종이 전체에 사용 된 용어 몇 가지를 정의해야합니다. 데이터 코퍼스는 특정 연구 프로젝트에 대해 수집 된 모든 데이터를 말하며 데이터 설정은 특정 분석에 사용되는 코퍼스의 모든 데이터를 나타냅니다. 데이터 세트를 선택하는 주요 방법 (당신이 취하는 접근 방식은 특정 질문이 있는 데이터로 오는지 여부 / 아래의 'Anumber of decisions'참조)에 달려 있습니다.
Before we begin, we need to define a fewof the terms used throughout the paper.Data corpus refers to all data collected fora particular research project, while data setrefers to all the data from the corpus thatare being used for a particular analysis. There are two main ways of choosing the data set (which approach you take depends on whether you are coming to the data with a specific question or not / see ‘A number of decisions’ below).

데이터 항목은 데이터 집합 또는 자료를 구성하는 수집 된 각 데이터를 나타내는 데 사용됩니다. 이 경우의 데이터 항목은 개별적인 외과 의사 인터뷰, 텔레비전 문서 또는 특정 웹 사이트 일 것입니다.
Data item piece is used to refer to each individual of data collected, which together make up the data set or corpus. A data item in this instance would be an indivi-dual surgeon interview, a television docu-mentary, or one particular website.

마지막으로, 데이터 추출은 데이터 항목에서 식별되고 추출 된 데이터의 개별 코드화 된 덩어리를 나타냅니다. 전체 데이터 세트 전체에서 가져온 이들 중 많은 부분이 추출되며, 이러한 추출물 중 하나만 선택하면됩니다. 최종 분석의 특징.
Finally, data extract refers to an individual coded chunk of data, which has been identified within, and extracted from, a data item.There will be many of these, taken from throughout the entire data set, and only a selection of these extracts will feature in the final analysis.

주제 분석이란?

What is thematic analysis?

주제 분석은 데이터 내에서 패턴 (주제)을 식별하고 분석하고 보고하는 방법입니다. 데이터 세트를 최소한으로 구성하고 (풍부한 세부 정보를) 설명합니다. 그러나 빈번하게 그것을 더 멀리 간다면 연구 주제의 다양한 측면을 해석한다 (Boyatzis, 1998). 가능한 다른 주제 분석의 영역은 방법론 (amethod, 아래 참조)과 관련된 많은 결정과 관련하여 더욱 강조 될 것이다.

Thematic analysis is a method for identify-ing, analysing and reporting patterns(themes) within data. It minimally orga-nizes and describes your data set in (rich)detail. However, frequently if goes furtherthan this, and interprets various aspects of the research topic (Boyatzis, 1998). The range of different possible thematic ana-lyses will further be highlighted in relation to a number of decisions regarding it as a method (see below).

주제별 분석은 널리 사용되고 있지만 주제 분석이 무엇인지, 어떻게 진행하는지에 대해서는 명확한 합의가 없습니다 (Attride-Stirling, 2001, Boyat-zis, 1998, Tuckett, 2005, 다른 시험 참조). 다른 방법 (예 : 내러티브 분석, 근거 이론)과 동일한 방식으로 'named' 분석으로 존재하지 않는 것처럼 보이기 때문에 매우 poorly branded 이라고 볼 수 있습니다. 이런 의미에서, 분석의 방법으로 명시적으로 주장되지 않는 경우가 종종 있습니다. 실제로 많은 분석이 본질적으로 thematic 하지만 / 다른 어떤 것으로 주장되는 경우 (DA, 심지어 콘텐츠 분석 ( 예를 들어, Meehan et al., 2000), 또는 특정 방법으로 identified되지 않기도 한다. 예를 들어, 데이터는 일반적으로 반복되는 주제에 대한 정성적 분석을 받았다. 라고 기술되기도 한다 (Braun and Wilkinson, 2003 : 30). 사람들이 데이터를 분석하는 방법을 알지 못했거나 분석에 정보를 제공 한 가정을 알지 못하면, 연구를 평가하고 주제에 대한 다른 연구와 비교 및 / 또는 합성하기가 어렵고 관련 연구를 수행하는 다른 연구자를 방해 할 수 있습니다. 이러한 이유만으로도 방법의 절차와 실행에 대한 명확성이 중요합니다.

Thematic analysis is widely used, butthere is no clear agreement about what thematic analysis is and how you go about doing it (see Attride-Stirling, 2001; Boyat-zis, 1998; Tuckett, 2005, for other exam-ples). It can be seen as a very poorly‘branded’ method, in that it does not appear to exist as a ‘named’ analysis in the same way that other methods do (eg, narrative analysis, grounded theory). In this sense, itis often not explicitly claimed as the method of analysis, when, in actuality, we argue that a lot of analysis is essentially thematic / but is either claimed as some-thing else (such as DA, or even content analysis (eg, Meehan et al ., 2000)) or not identified as any particular method at all /for example, data were ‘subjected to quali-tative analysis for commonly recurring themes’ (Braun and Wilkinson, 2003: 30).If we do not know how people went about analysing their data, or what assumptions informed their analysis, it is difficult to evaluate their research, and to compare and/or synthesize it with other studies onthat topic, and it can impede other research- ers carrying out related projects in the future (Attride-Stirling, 2001). For these reasons alone, clarity on process and prac-tice of method is vital.

이와 관련하여 분석의 과정과 세부 사항을보고하는 데 있어 부족한 세부 사항이 종종 있습니다 (Attride-Stirling, 2001). 이 주제가 주제 분석에 국한되지는 않지만 데이터에서 'emerging' 주제를 읽는 것은 드문 일이 아닙니다. 예를 들어, Singer and Hunter (1999 : 67)는 여성의 조기 폐경 경험에 대한 주제별 담론 분석을 통해 분석 중에 '여러 주제가 나타났습니다.
Relatedly, insufficient detail is often gi-ven to reporting the process and detail of analysis (Attride-Stirling, 2001). It is not uncommon to read of themes ‘emerging’from the data (although this issue is not limited to thematic analysis). For example, Singer and Hunter’s (1999: 67) thematic discourse analysis of women’s experiences of early menopause identified that ‘several themes emerged’ during the analysis.

'떠오르고있는'또는 '발견 된'주제에 대한 설명은 분석 과정에 대한 수동적인 설명이며, 패턴 / 주제를 식별하고, 관심있는 것을 선택하고, 독자에게 보고하는 연구자의 적극적인 역할을 부정합니다 (Taylor and Ussher, 2001) .4
An account of themes ‘emerging’ or being ‘discovered’ is a passive account of the process of analysis, and it denies the active role the researcher always plays in identifying patterns/themes, selecting which are of interest, and reporting them to the readers (Taylor and Ussher, 2001).4

'테마가 떠오른다'는 말은 오해를 불러 일으킬 수 있습니다. 즉, 데이터에서 '다시 떠오르다'는 의미로 해석 될 수 있습니다. 그리고 우리가 열심히 바라본다면 하프 껍질에 금성처럼 나타날 것입니다. 테마가 어디에든 있다면(reside), 우리의 머리 속에도 있을 것이며, 우리가 이해할 때 우리의 데이터에 대한 우리의 생각과 연결 고리를 만들어 내고자합니다. (Ely et al., 1997 : 205 / 6)
The language of ‘themes emerging’: can be misinterpreted to mean that themes ‘re-side’ in the data, and if we just look hard enoughthey will ‘emerge’ like Venus on the half shell. If themes ‘reside’ anywhere, they reside inour heads from our thinking about our data and creating links as we understand them. (Ely et al .,1997: 205 /6)

이 시점에서 질적 연구와 관련하여 우리 자신의 이론적 입장과 가치를 인정하는 것이 중요합니다. 우리는 연구자가 참가자들에게 단순히 'give voice'(Fine, 2002 참조)할 수 있는 자질있는 연구에 대한 현실적인 관점을 거부합니다. As Fine (2002) : 218)은 '음성 제공'접근법조차도 우리가 선택하고, 편집하고, 우리의 주장에 맞도록 전개하는 미확인 증거를 서술하는 것을 포함한다고 주장한다. 물론, 정성적 연구를 수행하기위한 하나의 이상적인 이론적 틀, 또는 실제로는 하나의 이상적인 방법이 있다고 생각하지 않는다. 이론적인 틀과 방법이 연구원이 알고 싶어하는 것과 일치하는 것이 중요하며, 이러한 결정을 인정하고, 결정으로서 인식하는 것이 중요하다.
At this point, it is important to acknowledge our own theoretical positions and values inrelation to qualitative research. We do notsubscribe to a naı¨ve realist view of qualita-tive research, where the researcher cansimply ‘give voice’ (see Fine, 2002) to their participants. As Fine (2002): 218) argues,even a ‘giving voice’ approach ‘involves carving narrative out unacknowledged pieces of evidence that we select, edit, and deploy to border our arguments’. How-ever, nor do we think there is one idealtheoretical framework for conducting quali-tative research, or indeed one ideal method.What is important is that the theoretical framework and methods match what the researcher wants to know, and that they acknowledge these decisions, and recognize them as decisions.

주제 분석은 'thematic'DA, 주제 분해 분석, IPA 이론과 같은 정 성적 데이터 전반에 걸친 패턴을 기술하려는 다른 질적 분석 방법과는 다르다 .5 IPA와 근거이론은 모두 데이터에서 패턴을 찾지만 이론적으로는 경계를 이룬다. IPA는 현상 학적 인식론 (Smith 2003)에 attach되어 있으며, 1999; 스미스와 오스본이 경험 한 가장 원시적 인 경험 (Holloway and Todres, 2003)은 현상의 문제에 대한 이해를 돕기 위해 사람들의 실제 경험을 아주 자세하게 이해하는 것에 관한 것이다 (McLeod, 2001). 문제를 더 복잡하게 만드는 것은, 근거이론이 다양한 버전이 있다는 것이다(Charmaz, 2002). 그럼에도 불구하고, 근거 이론적 이론 분석의 목적은 데이터에 기반한 현상에 대한 그럴듯한 / 유용한 이론을 제시하는 것이다 (McLeod, 2001).

Thematic analysis differs from other ana-lytic methods that seek to describe patterns across qualitative data / such as ‘thematic’ DA, thematic decomposition analysis, IPA theory.5 and grounded Both IPA and grounded theory seek patterns in the data,but are theoretically bounded. IPA is at-tached to a phenomenological epistemology(Smith 2003), et al ., 1999; gives Smith and Osborn, primacy which experience (Holloway and Todres, 2003), and is about understanding people’s everyday experi-ence of reality, in great detail, in order togain an understanding of the phenomenonin question (McLeod, 2001). To complicate matters, grounded theory comes in different versions (Charmaz, 2002). Regardless, the goal of a grounded theory analysis is to generate a plausible / and useful / theory of the phenomena that is grounded in the data (McLeod, 2001).

그러나 우리의 경험에 따르면, 기초 이론은 점차 본질적으로 'grounded theory ‘lite’'처럼 사용되어서, thematic analysis와 매우 유사한 것처럼 보인다. 그러한 분석은 'full-fat' 근거 이론에서 (분석은 이론 개발에 직접적으로 적용되어야한다는) 이론적 공약을 완전히 따르지는 않는 것으로 보여진다 (Holloway and Todres, 2003). 그러므로 우리는 'named and claimed'주제별 분석은 연구자가 (완전히 연구 된 근거이론 분석을 생산하기를 원하지 않는다면) 근거 이론의 암시 적 이론적 약속에 가입 할 필요가 없다는 것을 의미한다고 주장한다.
However, in our ex- perience, grounded theory seems increas- ingly to be used in a way that is essentially grounded theory ‘lite’ / as a set of proce- dures for coding data very much akin to thematic analysis. Such analyses do not appear to fully subscribe to the theoretical commitments of a ‘full-fat’ grounded theory, which requires analysis to be directed to- wards theory development (Holloway and Todres, 2003). We argue, therefore, that a ‘named and claimed’ thematic analysis means researchers need not subscribe to the implicit theoretical commitments of grounded theory if they do not wish to produce a fully worked-up grounded-theory analysis.

'주제별 DA'라는 용어는 사회 구성론적 인식론 내에서의 주제 분석 (즉, 패턴이 사회적으로 생산 된 것으로 확인되었지만 담론 분석은 수행되지 않음)에서부터 패턴 유형 분석에 이르기까지 광범위하게 사용됩니다. 해석 적 레파토리 형식 DA와 매우 유사한 형태의 분석 (Clarke, 2005). 주제별 분해 분석(Thematic decom- position analysis) (예 : Stenner, 1993; Ussher and Mooney-Somers, 2000)은 'thematic DA'의 특정 형태를 가리키는 말로서, 데이터 내에서 패턴 (주제, 이야기)을 식별하고, 언어를 의미의 구성과 사회적 의미로 이론화하는 방법이다.
The term ‘thematic DA’ is used to refer to a wide range of pattern-type analysis of data, ranging from thematic analysis within a social constructionist epistemology (ie, where patterns are identified as socially produced, but no discursive analyse is conducted), to forms of analysis very much akin to the interpretative repertoire form of DA (Clarke, 2005). Thematic decom- position analysis (eg, Stenner, 1993; Ussher and Mooney-Somers, 2000) is a specifically named form of ‘thematic’ DA, which iden- tifies patterns (themes, stories) within data, and theorizes language as constitutive of meaning and meaning as social.

이러한 여러 가지 방법은 내러티브 분석 (예 : Murray, 2003, Riessman, 1993)과 같은 전기 또는 사례 연구 양식의 경우와 같이 개별 인터뷰 또는 한 사람의 인터뷰와 같은 데이터 항목이 아닌 (전체) 데이터 세트 전체에서 특정 테마 또는 패턴을 검색합니다. 이러한 의미에서 주제별 분석과 다소 중복됩니다. 주제 분석은 근거 이론 및 DA와 같은 접근 방식에 대한 자세한 이론 및 기술 지식이 필요하지 않기 때문에 특히 질적 연구 경력 초기에 더욱 접근하기 쉬운 형태의 분석을 제공 할 수 있습니다.

These different methods share a search for certain themes or patterns across an (entire) data set, rather than within a data item, such as an individual interview or interviews from one person, as in the case of biographical or case-study forms of analy- sis, such as narrative analysis (eg, Murray, 2003; Riessman, 1993). In this sense, they more or less overlap with thematic analysis. As thematic analysis does not require the detailed theoretical and technological knowledge of approaches, such as grounded theory and DA, it can offer a more accessible form of analysis, particularly for those early in a qualitative research career.

IPA나 근거 이론 (및 내러티브 분석 DA 또는 CA와 같은 다른 방법)과 달리, 주제별 분석은 기존의 이론적 틀과 결부되어 있지 않으며, 따라서 다양한 이론적 틀 내에서 사용될 수 있으며 그들 안에서 다른 일을 할 수 있다. 주제 분석은

참가자의 경험, 의미 및 실체를보고하는 본질 주의적 또는 현실주의적 방법 일 수 있으며,
사건, 실재, 의미, 경험 등이 사건의 효과 인 방식을 검사하는 구성주의적 방법 일 수있다.
사회 내에서 운영되는 담론의 범위. 그것은 또한 본질주의와 건설의 두 극 사이에 앉아서 개인이 그들의 경험의 의미를 만드는 방법을 인정하는 비판적 리얼리즘 (예 : Willig, 1999)과 같은 이론을 특징으로하는 '상황론적'방법 일 수도있다.
그리고 '현실'의 물질적 그리고 다른 한계에 초점을 맞추면서 넓은 의미의 사회적 맥락이 그러한 의미에 영향을 미치는 방식.

In contrast to IPA or grounded theory (and other methods like narrative analysis DA or CA), thematic analysis is not wedded to any pre-existing theoretical framework, and therefore it can be used within different theoretical frameworks (although not all), and can be used to do different things within them.
Thematic analysis can be an essentialist or realist method, which reports experiences, meanings and the reality of participants,
or it can be a constructionist method, which examines the ways in which events, realities, meanings, experiences and so on are the effects of a range of discourses operating within society.
It can also be a ‘contextualist’ method, sitting between the two poles of essentialism and construction- ism, and characterized by theories, such as critical realism (eg, Willig, 1999), which acknowledge the ways individuals make meaning of their experience, and,
in turn, the ways the broader social context im- pinges on those meanings, while retaining focus on the material and other limits of ‘reality’.

따라서 주제별 분석은 현실을 반영하는 방법일 수도 있고, '현실'의 표면을 풀거나 해명하기 위한 방법이 될 수 있습니다.
Therefore, thematic analysis can be a method that works both to reflect reality and to unpick or unravel the surface of ‘reality’.

그러나 주제 분석의 이론적인 입장은 분명히 밝혀져야 한다. 너무나 자주 숨겨지곤 한다 (그리고 이것은 보통 realist인 경우가 일반적이다.) 모든 이론적 체계에는 데이터의 본질, '세계', '현실'등에서 표현되는 내용에 대한 많은 가정이 포함됩니다. 좋은 주제별 분석은 이것을 투명하게 만듭니다.

However, it is important that the theoretical position of a thematic analysis is made clear, as this is all too often left unspoken (and is then typically a realist account). Any theoretical framework carries with it a number of assumptions about the nature of the data, what they represent in terms of the ‘the world’, ‘reality’, and so forth. A good thematic analysis will make this transparent.

결정할 것들

A number of decisions

주제 분석은 종종 명시적으로 이루어지지 않았거나 (일반적으로 논문의 method section에서 논의되지는 않음) 많은 선택 사항을 포함하지만, 명시적으로 고려되고 논의되어야 할 필요가있는 선택 사항을 연구하게 된다. 실제로 이러한 질문은 데이터 분석 (그리고 때로는 수집조차도)이 시작되기 전에 고려되어야하며, 분석 프로세스 전반에 걸쳐 이러한 문제와 관련하여 연구자 또는 연구원 측에서 진행중인 reflexive 대화가 필요합니다 . 테일러 (Taylor)와 어셔 (Ussher)의 (2001) 주제별 S & M DA 방법론 섹션은 이 과정을 명시 적으로 제시하는 좋은 연구 사례를 제공한다. Braun and Wilkinson (2003)의 방법 절은 그렇지 않다.

Thematic analysis involves a number of choices which are often not made explicit (or are certainly typically not discussed in the method section of papers), but which need explicitly to be considered and dis- cussed. In practice, these questions should be considered before analysis (and some- times even collection) of the data begins, and there needs to be an ongoing reflexive dialogue on the part of the researcher or researchers with regards to these issues, throughout the analytic process. The method section of Taylor and Ussher’s (2001) thematic DA of S&M provides a good example of research which presents this process explicitly; the method section of Braun and Wilkinson (2003) does not.

무엇이 주제가 될 수 있는가?

What counts as a theme?

주제는 연구 질문과 관련하여 데이터에 대해 중요한 것을 포착하고 데이터 세트 내의 패턴 화 된 응답 또는 의미의 일부 수준을 나타냅니다. 코딩 측면에서 다루어야 할 중요한 질문은 "패턴 / 테마로 간주되는 것은 무엇이며"하나의 theme의 '크기'는 얼마나 되어야 하는가 입니다. 이것은 각 데이터 항목 내의 공간과 전체 데이터 세트에 걸친 보급의 측면에서 보급의 문제입니다. 이상적으로는 데이터 집합 전반에 걸쳐 주제의 여러 번 발견되는 instance들이 있을 것이지만 더 많은 instance가 반드시 더 중요하다는 것을 의미하지는 않습니다. 이 정성 분석 결과, 데이터 세트의 비중이 테마로 간주 될 수있는 테마의 증거를 표시해야하는지에 대한 의문에 대한 단호하고 신속한 답은 없습니다. 하나의 데이터 항목 중 50 %에 존재한다면 그것은 주제가 될 것이지만 47 %만이 존재한다면 주제가 아닐 것이라고 볼 수는 없다. 또한 테마는 많은 데이터 항목이 문장이나 두 문장이 아니라 상당한 관심을 기울이는 부분 일뿐입니다. 테마는 일부 데이터 항목에는 상당한 공간이 주어 지거나, 다른 데이터 항목에는 거의 또는 전혀 없거나 데이터 세트 중 비교적 적은 공간에 나타날 수 있습니다. 따라서 연구가의 판단은 주제가 무엇인지 판단하는 데 필요합니다. 이 문제에 대한 초기 지침은 유연성을 유지해야하며 엄격한 규칙은 실제로 작동하지 않는다는 것입니다. (보급 문제는 테마 및 하위 주제와 관련하여 다시 검토됩니다. 분석의 미세 조정 (후술 참조)은 종종 전반적인 주제 및 하위 주제로 이어질 수 있습니다.

A theme captures something important about the data in relation to the research question, and represents some level of patterned response or meaning within the data set. An important question to address in terms of coding is: what counts as a pattern/theme, or what ‘size’ does a theme need to be? This is a question of prevalence, in terms both of space within each data item and of prevalence across the entire data set. Ideally, there will be a number of instances of the theme across the data set, but more instances do not necessarily mean the is theme itself is more crucial. As this qualitative analysis, there is no hard-and- fast answer to the question of what propor- tion of your data set needs to display evidence of the theme for it to be considered a theme. It is not the case that if it was present in 50%of one’s data items, it would be a theme, but if it was present only in 47%, then it would not be a theme. Nor is it the case that a theme is only something that many data items give considerable attention to, rather than a sentence or two. A theme might be given considerable space in some data items, and little or none in others, or it might appear in relatively little of the data set. So, researcher judgement is necessary to determine what a theme is. Our initial guidance around this is that you need to retain some flexibility, and rigid rules really do not work. (The question of prevalence is revisited in relation to themes and sub- themes, as the refinement of analysis (see later) will often result in overall themes, and sub-themes within those.)

더욱이, 주제의 '중요성'은 반드시 계량 적 측정에 의존하지 않고 전체 연구 문제와 관련하여 중요한 것을 취하는 여부에 달려있다. 예를 들어 빅토리아의 26 개 토크쇼 (Clarke and Kitzinger, 2004)에서 레즈비언과 게이 부모의 표상에 관한 연구에서 여섯 가지 '핵심'주제가 확인되었습니다. 이 6 가지 테마는 반드시 데이터 세트에서 가장 중요한 주제는 아니 었습니다. 26 가지 토크쇼 중 2 가지와 22 가지 사이에 등장했지만, 함께 중요한 요소를 포착했습니다.

Furthermore, the ‘keyness’ of a theme is not necessarily dependent on quantifiable measures / but rather on whether it cap- tures something important in relation to the overall research question. For exam- ple, in Victoria’s research on representa- tions of lesbians and gay parents on 26 talk shows (Clarke and Kitzinger, 2004), she identified six ‘key’ themes. These six themes were not necessarily the most pre- valent themes across the data set / they appeared in between two and 22 of the 26 talk shows / but together they captured an important element

우선 순위가 여러 가지 다른 방식으로 결정될 수 있기 때문에 prevalence을 어떻게 측정했는지는 중요합니다. Prevalence은 데이터 항목의 수준에서 계산되었습니다 (즉, 각 개별 토크쇼의 어느 곳에 나 테마가 나타 났습니까?). 또는 전체 데이터 세트에서 테마를 명시한 다른 speaker의 수, 전체 데이터 세트 또는 테마의 개별 발생 (인스턴스가 시작되는 위치에 대한 복잡한 질문을 제기 함)으로 계산했을 수 있습니다. talk / see Riessman, 1993의 확장 된 순서 내에서 끝난다. 유행이 제시된 분석에 중요하지 않았기 때문에 빅토리아는 가장 간단한 형태를 선택했으나 유행을 판별하는 데 옳고 그른 방법이 없다는 점을 유의하는 것이 중요합니다. 주제별 분석의 유연성 중 일부는 여러 가지 방법으로 theme (및 prevalence)를 결정할 수 있다는 것입니다. 중요한 것은 특정 분석 내에서이 작업을 일관되게 수행하는 것입니다.

How she ‘measured’ prevalence is relevant, as pre- valence can be determined in a number of different ways. Prevalence was counted at the level of the data item (ie, did a theme appear anywhere in each individual talk show?). Alternatively, it could have been counted in terms of the number of different speakers who articulated the theme, across the entire data set, or each individual occurrence of the theme across the entire data set (which raises complex questions about where an ‘instance’ begins and ends within an extended sequence of talk / see Riessman, 1993). Because prevalence was not crucial to the analysis presented, Vic- toria chose the most straightforward form, but it is important to note there is no right or wrong method for determining prevalence. Part of the flexibility of thematic analysis is that it allows you to determine themes (and prevalence) in a number of ways. What is important is that you are consistent in how you do this within any particular analysis.

대부분의 content analysis(Wilkinson, 2000)과는 달리 정량화 된 척도를 제공하지 않는 주제별 (그리고 다른 정 성적) 분석에서 유행을 나타내는 다양한 '협약conventions'이있다. 예를 들면

'참가자의 대다수'(Meehan et al 2000 : 372),
'많은 참여자'(Taylor and Ussher, 2001 : 298),
'다수 등의 참여자'(Braun 2003 : 249).

이러한 기술어는 수사적으로 작동하여 데이터에 실제로 존재하는 주제를 제안하고, 우리에게 그들이 데이터에 대해 진실하게보고하고 있음을 납득시킵니다. 그러나 여기서 얻을 수 있는 정보가 있는가? 이것은 아마도 우리가 데이터에서 주제의 유행을 어떻게 그리고 왜 표현할 수 있는지, 그리고 유행이 특히 중요한지 여부, 유행이 특히 중요한지에 대해 더 많은 논쟁이 필요한 한 영역 일 것입니다.
There are various ‘conventions’ for repre- senting prevalence in thematic (and other qualitative) analysis that does not provide a quantified measure (unlike much content analysis, Wilkinson, 2000) / for instance: ‘the majority of participants’ (Meehan et al ., 2000: 372), ‘many participants’ (Taylor and Ussher, 2001: 298), or ‘a number of et al ., participants’ (Braun 2003: 249). Such descriptors work rhetorically to suggest a theme really existed in the data, and to convince us they are reporting truthfully about the data. But do they tell us much? This is perhaps one area where more debate is needed about how and why we might represent the prevalence of themes in the data, and, indeed, whether, if, and why prevalence is particularly im- portant.

데이터 세트에 대한 풍부한 설명 vs 특정 측면에 대한 자세한 설명
A rich description of the data set, or a detailed account of one particular aspect

데이터 유형과 관련하여 수행하려는 분석 유형과 작성하려는 주장을 결정하는 것이 중요합니다.

It is important to determine the type of analysis you want to do, and the claims you want to make, in relation to your data set.

예를 들어, 전체 데이터 세트에 대한 풍부한 주제 설명을 제공하여 독자가 주된 또는 중요한 주제에 대한 이해를 갖도록 할 수 있습니다. 이 경우 식별, 코드화 및 분석하는 테마는 전체 데이터 세트의 내용을 정확하게 반영해야합니다. 그러한 분석에서, 깊이와 복잡성은 반드시 없어지지만 (특히 짧은 단어 또는 엄격한 단어 제한이있는 논문을 쓰는 경우), 전체적으로 풍부한rich 설명이 유지됩니다. 이는 조사가 미흡한 지역을 조사하거나 주제에 대한 의견을 알 수없는 참가자와 함께 일할 때 특히 유용한 방법 일 수 있습니다.
For instance, you might wish to provide a rich thematic description of your entire data set, so that the reader gets a sense of the predominant or important themes. In this case, the themes you identify, code, and analyse would need to be an accurate reflec- tion of the content of the entire data set. In such an analysis, some depth and complex- ity is necessarily lost (particularly if you are writing a short dissertation or article with strict word limits), but a rich overall de- scription is maintained. This might be a particularly useful method when you are investigating an under-researched area, or you are working with participants whose views on the topic are not known.

주제 분석의 또 다른 용도는 데이터 내에서 하나의 특정 주제 또는 주제 그룹에 대해보다 상세하고 미묘한 설명을 제공하는 것입니다. 이는 데이터 내의 특정 질문이나 관심 영역 (의미 론적 접근법 / 아래 참조) 또는 데이터 세트의 전체 또는 대다수에 대한 특정 '잠재 성'주제 (아래 참조)와 관련 될 수 있습니다.
An alternative use of thematic analysis is to provide a more detailed and nuanced account of one particular theme, or group of themes, within the data. This might relate to a specific question or area of interest within the data (a semantic approach / see below), or to a particular ‘latent’ theme (see below) across the whole or majority of the data set.

귀납적 대 이론적 주제 분석
Inductive versus theoretical thematic analysis

데이터 내의 주제 또는 패턴은 주제 분석에서 두 가지 주된 방법 중 하나, 즉 귀납적인 또는 '상향식' 방식 (예 : Frith and Gleeson, 2004) 또는 이론적 또는 연역적 또는 '하향식' (Boyatzis, 1998; Hayes, 1997) 방식.

Themes or patterns within data can be identified in one of two primary ways in thematic analysis: in an inductive or ‘bot- tom up’ way (eg, Frith and Gleeson, 2004), or in a theoretical or deductive or ‘top down’ way (eg, Boyatzis, 1998; Hayes, 1997).

귀납적 접근 방식은 확인 된 주제가 데이터 그 자체와 강하게 연계되어 있음을 의미한다 (Patton, 1990) (주제 분석의 이러한 형태는 근거 이론과 유사 함). 이 접근법에서 데이터가 연구를 위해 특별히 수집 된 것이라면 (예 : 인터뷰 또는 포커스 그룹을 통해), 확인된 주제는 참가자에게 질문 된 특정 질문과 거의 관계가 없을 수 있습니다. 그들은 또한 해당 영역이나 주제에 대한 연구자의 이론적인 관심 때문에 움직이지 않을 것입니다. 귀납적 분석은 기존의 코딩 프레임이나 연구자의 분석적 선입견에 맞추려고 노력하지 않으며 데이터를 코딩하는 과정입니다. 이러한 의미에서 주제별 분석의 이러한 형태는 데이터 중심적data driven입니다.
An inductive approach means the themes identified are strongly linked to the data themselves (Patton, 1990) (as such, this form of thematic analysis bears some simi- larity to grounded theory). In this approach, if the data have been collected specifically for the research (eg, via interview or focus group), the themes identified may bear little relation to the specific questions that were asked of the participants. They would also not be driven by the researcher’s theoretical interest in the area or topic. Inductive analysis is therefore a process of coding the data without trying to fit it into a pre- existing coding frame, or the researcher’s analytic preconceptions. In this sense, this form of thematic analysis is data-driven.

그러나 이전에 논의했듯이 연구자들은 이론적, 데이터 인식론적 commitments로부터 스스로를 자유롭게 할 수 없고, 스스로 인식론적 관점과 전혀 무관하게 코드화할 수는 없다는 점에 유의하는 것이 중요하다.
However, it is important to note, as we discussed earlier, that researchers cannot free themselves of their theoretical and data epistemological commitments, and are not coded in an epistemological va- cuum.

대조적으로, '이론적'주제 분석은 연구자의 이론적 또는 분석적 관심사에 의해 주도되는 경향이 있으며, 따라서 분석가에 의해보다 명확하게 분석된다. 이러한 주제별 분석은 전반적으로 데이터에 대한 상세한 설명이 적고 데이터의 일부 측면에 대한 자세한 분석을 제공하는 경향이 있습니다. 또한 귀납적 인지도와 이론적 인지도 사이의 선택은 어떻게 그리고 왜 당신이 데이터를 코딩하고 있는지에 대한 것입니다. 매우 구체적인 연구 질문 (좀 더 이론적 인 접근법에 매핑)을 코딩하거나 특정 연구 질문을 코딩 프로세스 (진화론 접근법에 매핑)를 통해 진화시킬 수 있습니다.

In contrast, a ‘theoretical’ thematic analy- sis would tend to be driven by the research- er’s theoretical or analytic interest in the area, and is thus more explicitly analyst- driven. This formof thematic analysis tends to provide less a rich description of the data overall, and more a detailed analysis of some aspect of the data. Additionally, the choice between inductive and theoretical maps onto how and why you are coding the data. You can either code for a quite specific research question (which maps onto the more theoretical approach) or the specific research question can evolve through the coding process (which maps onto the in- ductive approach).

시맨틱 테마 또는 잠재 테마

Semantic or latent themes

또 다른 결정은 의미 론적 또는 명시 적 수준에서 또는 잠재적 또는 해석 적 차원에서 (주제 1) 주제가 식별 될 수있는 '수준'을 중심으로 진행된다 .6 주제별 분석은 전형적으로 수평.

Another decision revolves around the ‘le- vel’ at which themes are to be identified: at a semantic or explicit level, or at a latent or interpretative level (Boyatzis 1998).6 A thematic analysis typically focuses exclu- sively or primarily on one level.

시맨틱 접근법을 사용하면 주제가 데이터의 명시 적 또는 표면적 의미 내에서 식별되며 분석가는 참가자가 말한 것 또는 작성된 것을 넘어서는 것을 찾지 않습니다. 이상적으로, 분석 프로세스에는 progression from description가 포함됩니다. 여기에는 데이터가 시맨틱 컨텐트의 패턴을 보여주기 위한 간단한 organize, 요약, 해석, 패턴의 중요성을 이론화하려는 시도 등을 포함됩니다 의미와 함의 (Patton, 1990), 종종 이전 문헌과 관련되어있다. (이것의 훌륭한 예를 들면, Frith and Gleeson, 2004 참조).

With a semantic approach, the themes are identi- fied within the explicit or surface meanings of the data, and the analyst is not looking for anything beyond what a participant has said or what has been written. Ideally, the analytic process involves a progression from description, where the data have simply been organized to show patterns in seman- tic content, and summarized, to interpreta- tion, where there is an attempt to theorize the significance of the patterns and their broader meanings and implications (Patton, 1990), often in relation to previous literature (for an excellent example of this, see Frith and Gleeson, 2004).

이와 대조적으로 잠재적 수준에서의 주제별 분석은 데이터의 의미 적 의미를 뛰어 넘으며, 의미있는 내용을 형성하거나 알려주는 것으로 이론화 된 기본 아이디어, 가정 및 개념화 / 이데올로기를 식별하거나 조사하기 시작합니다. 자료. 우리가 우리의 데이터를 3 차원 적으로 젤리의 얼룩으로 상상한다면, 시맨틱 접근법은 젤리의 표면, 형태 및 의미를 묘사하려고 할 것이고 잠재 접근법은 특정 형태 및 의미를 부여한 특징을 확인하려고 할 것입니다 . 따라서 잠정적 인 주제 분석을 위해서는 주제 자체의 개발 자체가 해석 적 작업을 필요로하며, 생성 된 해석은 단지 설명이 아니라 이미 이론화되어있다.

In contrast, a thematic analysis at the latent level goes beyond the semantic con- tent of the data, and starts to identify or examine the underlying ideas, assumptions, and conceptualizations / and ideologies / that are theorized as shaping or informing the semantic content of the data. If we imagine our data three-dimensionally as blob an uneven of jelly, the semantic approach would seek to describe the surface of the jelly, its form and meaning, while the latent approach would seek to identify the features that gave it that particular formand meaning. Thus, for latent thematic analysis, the development of the themes themselves involves interpretative work, and the ana- lysis that is produced is not just descrip- tion, but is already theorized.

이 후자의 전통에서의 분석은 constructionist 패러다임 (예, Burr, 1995)에서 비롯되는 경향이 있으며,이 형태에서 주제 분석은 'DA'의 일부 형태와 겹치기도합니다 (때로는 '주제 DA' 점점 더 많은 담론 분석가들이 심리 분석적 해석의 방식을 재검토한다 (Hollway and Holter, 1999; Taylor and Ussher, 2001)), 그리고 / 또는 더 많은 의미의 가정들, 구조들은 이론적으로 자료에 실제로 표현 된 기초 이론으로 이론화된다. Jefferson, 2000), 잠재적 인 주제 분석은 그 틀과 호환 될 수있을 것이다.

Analysis within this latter tradition tends to come from a constructionist paradigm (eg, Burr, 1995), and in this form, thematic analysis overlaps with some forms of ‘DA’ (which are sometimes specifically referred to as ‘thematic DA’ (eg, Singer and Hunter,1999; Taylor and Ussher, 2001)), where and/or broader meanings assumptions, structures are theorized as underpinning what is actually articulated in the data. Increasingly, a number of discourse analysts are also revisiting psycho-analytic modes of interpretation (eg, Hollway and Jefferson,2000), and latent thematic analysis would also be compatible with that framework.

인식 론자 : 본질주의자/현실주의자 vs 구성주의자의 주제별 분석

Epistemology: essentialist/realist versus constructionist thematic analysis

우리가 주장한 것처럼, 주제별 분석은 결과와 초점이 각각 다르지만 현실주의 / 본질주의와 건설 주의자 패러다임 모두에서 해결 될 수있다. 인식론의 문제는 일반적으로 연구 프로젝트가 개념화 될 때 결정되지만, episte-mology는 분석 중 초점이 데이터의 다른 측면에 대한 관심으로 옮겨 질 때 다시 드러나게 될 수 있습니다. 연구 인식론은 여러분이 데이터와 의미를 이론화하는 방법을 알려줍니다. As we have argued, thematic analysis can beconducted within both realist/essentialistand constructionist paradigms, althoughthe outcome and focus will be different for each. The question of epistemology is usually determined when a research projectis being conceptualized, although episte-mology may also raise its head again during analysis, when the research focus may shiftto an interest in different aspects of the data.The research epistemology guides what youcan say about your data, and informs howyou theorize meaning.

예를 들어, essentialist/realist 방식을 사용하면 의미와 경험 및 언어 사이에서 단순하고 대부분의 단방향 관계가 그대로 유지되기 때문에 동기 부여, 경험 및 의미를 명확히 할 수 있습니다 (언어는 의미와 경험을 명확하게 표현하고 반영합니다). ) (Potter and Wetherell, 1987; Widdicombeand Wooffitt, 1995).

For instance, with an essentialist/realist approach, you can theo-rize motivations, experience, and meaningin a straightforward way, because a simple, largely unidirectional relationship is as-sumed between meaning and experienceand language (language reflects and enablesus to articulate meaning and experience)(Potter and Wetherell, 1987; Widdicombeand Wooffitt, 1995).

대조적으로, constructionist per-spective에서, 의미와 경험은 생산되고 재생산 된 것보다 소극적이다 (Burr 1995). 따라서 constructionist per-spective 내에서 도출 된 주제 분석은 동기 부여나 개인의 심리에 초점을 둘 수 없으며, 개인의 설명account가 있게 한 사회 문화적 맥락과 구조적 조건을 이론화한다. '잠복'주제에 초점을 맞춘 주제 분석은 좀 더 con-structionist한 경향이 있으며, 이 지점 에서 주제별 DA와 중첩되기 시작하는 경향이있다. 그러나 모든 잠재 성 주제 분석이 건설 론자는 아니다.
In contrast, from a constructionist per-spective, meaning and experience are so-cially than produced and reproduced, individuals rather inhering within (Burr 1995),Therefore, thematic analysis ducted within a constructionist framework can not and does not seek to focus on motivation or individual psychologies, but nstead seeks to theorize the socio cultural contexts, and structural conditions, that are enable the individual accounts that provided. Thematic analysis that focuseson ‘latent’ themes tends to be more con-structionist, and it also tends to start to overlap with thematic DA at this point.However, not all ‘latent’ thematic analysisis constructionist.

질적 연구에 관한 많은 질문들
The many questions of qualitative research

간단히 말해서 질적 연구는 일련의 질문을 포함하고 있으며, 이들 서로 다른 질문들 사이의 관계에 대해 명확히 할 필요가 있음을 간략히 주목할 필요가 있습니다. 먼저, 프로젝트를 추진하는 전반적인 조사 질문지가 있습니다.

It is worth briefly noting that qualitativeresearch involves a series of questions, andthere is a need to be clear about the relation-ship between these different questions.First, there is the overall research questionor questions that drive the project.

연구 질문은 '레즈비언과 게이 육아는 어떻게 construct?'와 같이 매우 광범위하고 (실증적인) 질문 일 수 있습니다.
A re-search question might be very broad (and exploratory), such as ‘how is lesbian and gay parenting constructed?’

더 좁은 연구 질의는 '어떻게 레즈비언과 게이 육아가 normalize 되었는가?'(Clarke and Kitzinger, 2004),
Narrower researchquestions might be ‘how and why is lesbianand gay parenting normalized?’ (Clarke andKitzinger, 2004),

이러한 좁은 질문은 광범위한 포괄적 인 연구 질문의 일부일 수 있으며, 그렇다면 분석 결과는 전반적인 질문에 대한 답을 제공합니다. 모든 프로젝트는 연구 질문에 의해 유도되지만 프로젝트가 진행됨에 따라 정교해질 수도 있습니다.
These narrow questions maybe part of a broader overarching researchquestion, and if so, the analyses they informwould also provide answers to the overallresearch question. Although all projects areguided by research questions, these mayalso be refined as a project progresses.

둘째, 인터뷰 또는 포커스 그룹의 데이터를 수집 한 경우 참가자가 응답 한 질문이 있습니다. 마지막으로, 데이터의 코딩과 분석을 안내하는 질문이 있습니다. 이 세 가지 사이에는 반드시 관계가 있어야 하는 것은 아니며 , 실제로 이들 사이에 disjuncture가 존재하는 것이 종종 더 바람직하다. 우리가 읽은 '주제' 분석의 최악의 사례는 참가자들에게 던진 질문을 그대로 '주제'로 사용하는 것이다. 이것은 실제로 전혀 분석이 이루어지지 않은 것과 같다

Second, if data from interviews or focusgroups have been collected, there are the questions that participants have respondedto. Finally, there are the questions thatguide the coding and analysis of the data.There is no necessary relationship between these three, and indeed, it is often desirablethat there is a disjuncture between them.Some of the worst examples of ‘thematic’analysis we have read have simply usedthe questions put to participants as the /‘themes’ identified in the ‘analysis’ - although in such instances, no analysis has really been done at all!

요약하면, 주제별 분석은 다수의 인터뷰 또는 포커스 그룹 또는 텍스트의 범위 / 반복 된 패턴의 의미를 찾기 위해 데이터 세트를 검색하는 것과 관련됩니다. 위와 같이 주제별 분석의 정확한 형태와 산출물은 다양하므로 주제별 분석 전과 주제 분석 중에 위에 열거 한 질문을 고려하는 것이 중요합니다.

To sumup, thematic analysis involves the searching across a data set / be that a number of interviews or focus groups, or a range of texts / to find repeated patterns of meaning. The exact form and product of thematic analysis varies, as indicated above, and so it is important that the questions outlined above are considered before and during thematic analyses. Those appro- aches which consider specific aspects,

latent themes and are constructionist tend to often cluster together,
while those that consider meanings across the whole data set, semantic themes, and are realist, often cluster together.

그러나 이와 관련하여 엄격하고 엄격한 규칙은 없으며 서로 다른 조합이 가능합니다. 중요한 것은 최종 결과물에는 수행 된 작업의 세부 사항이나, 수행된 작업을 하게 된 이유가 아닌 것들도 포함될 수 있다는 것입니다. 그래서 실제로 무엇을하나요? 이제 주제별 분석을 수행하는 데 필요한 단계별 가이드를 제공합니다.
However, there are no hard- and-fast rules in relation to this, and differ- ent combinations are possible. What is important is that the finished product con- tains an account not necessarily that / detailed / of what was done, and why. So what does one actually do? We nowprovide what is, we hope, a straightforward step- by-step guide to conducting thematic ana- lysis.

주제 분석 수행 : 단계별 가이드
Doing thematic analysis: a step-by-step guide

주제 분석의 일부 단계는 다른 질적 연구의 단계와 유사하므로 이러한 단계가 반드시 주제별 분석에 모두 유일한 것은 아닙니다. 이 프로세스는 애널리스트가 데이터의 잠재적 인 관심과 의미 패턴을 알아 채고 찾아내는 것에서 시작한다 (이 때는 데이터 수집 중일 수 있다). 끝나는 때는 데이터에서 패턴 (테마)의 내용과 의미를 보고하는 것입니다. Analysis는 끊임없이 전체 데이터 세트-분석중인 코드 추출물- 당신이 생산하고있는 데이터를 왔다갔다하게 된다. Some of the phases of thematic analysis are similar to the phases of other qualitative research, so these stages are not necessarily all unique to thematic analysis. The process starts when the analyst begins to notice, and look for, patterns of meaning and issues of potential interest in the data / this may be during data collection. The endpoint is the reporting of the content and meaning of patterns (themes) in the data, Analysis involves a constant moving back and for- ward between

the entire data set,
the coded extracts of data that you are analysing, and
the analysis of the data that you are produ- cing.

작문은 통계 분석과 마찬가지로 끝 부분에서 이루어지는 것이 아니라 분석의 필수적인 부분입니다. 따라서 아이디어는 아이디어와 잠재적 인 코드 체계를 적어두고 1 단계에서부터 작성해야하며 전체 코딩 및 분석 프로세스 동안 계속 진행해야합니다.
Writing is an integral part of analysis, not something that takes place at the end, as it does with statistical analyses. Therefore, writing should begin in phase one, with the jotting down of ideas and potential coding schemes, and continue right through the entire coding/analysis process.

분석과 관련이 있는 문헌 조사를 해야하는 시기와 관련하여 여러 가지 입장이 있습니다.

어떤 사람들은 초반의 문헌 조사가 분석 분야를 좁혀 다른 중요한 요소를 희생하여 데이터의 일부 측면에만 집중하게 만들 수 있다고 주장합니다.
다른 사람들은 문헌에 대한 참여가 당신을 데이터의 좀 더 미묘한 특징에 민감하게하여 분석을 향상시킬 수 있다고 주장합니다 (Tuckett, 2005).

There are different positions regarding when you should engage with the literature with some relevant to your analysis / arguing that early reading can narrow your analytic field of vision, leading you to focus on some aspects of the data at the expense of other potentially crucial aspects. Others argue that engagement with the literature can enhance your analysis by sensitizing you to more subtle features of the data (Tuckett, 2005).

따라서 분석의 문헌 조사와 관한 한 가지 정답만이 있는 것은 아니며, 문헌 조사를 하지 않음으로써보다 inductive한 접근법이 강화 될 것이지만, 이론적인 접근을 하러면 이전 문헌과의 어떤 관련이 있는지를 알 필요가 있다.
Therefore, there is no one right way to proceed with reading for the- matic analysis, although a more inductive approach would be enhanced by not enga- ging with literature in the early stages of analysis, whereas a theoretical approach requires literature engagement with the prior to analysis.

우리는 여섯 단계의 분석을 통해 가이드를 제공하고 처리 할 예제를 제공합니다 .7 다른 단계는 표 1에 요약되어 있습니다. 정성 분석 가이드 라인은 정확히 / 규칙이 아니라는 점을 인식하는 것이 중요합니다. 기본 교훈에 따라 연구 질문 및 데이터에 맞게 유연하게 적용해야합니다 (Patton, 1990). 게다가 분석은 단순히 한 단계에서 다음 단계로 이동하는 선형 과정이 아닙니다. 대신, 이것은 단계를 거쳐 필요한만큼 앞뒤로 움직임이 이루어지는 재귀 적 과정입니다.
We provide an outline guide through the six phases of analysis, and offer examples to process.7 The different demonstrate the phases are summarized in Table 1. It is important to recognize that qualitative ana- lysis guidelines are exactly that / they are not rules, and, following the basic precepts, will need to be applied flexibly to fit the research questions and data (Patton, 1990). Moreover, analysis is not a linear process of simply moving from one phase to the next. Instead, it is more recursive process, where movement is back and forth as needed, throughout the phases.

Table 1 Phases of thematic analysis

1. Familiarizing yourself with your data:

2. Generating initial codes:

3. Searching for themes:

4. Reviewing themes:

5. Defining and naming themes:

6. Producing the report:

1 단계 : 자신의 데이터에 익숙해지기
Phase 1: familiarizing yourself with your data

분석에 참여하면 데이터를 직접 수집했거나 제공되었을 수 있습니다. interactive한 방법을 통해 수집 한 경우 데이터에 대한 사전 지식과 초기 분석 관심사 또는 생각을 사용하여 분석하게됩니다. 그러나 그것과 관계없이 콘텐츠의 깊이와 폭을 잘 알고있는 범위에서 데이터에 몰두하는 것immerse이 중요합니다. 집중Immersion은 일반적으로 데이터의 '반복 된 읽기'를 포함하며, 적극적인 방식으로 데이터를 읽거나 의미, 패턴 등을 검색합니다. 코딩을 시작하기 전에 적어도 한 번 이상 전체 데이터 세트를 읽는 것이 이상적입니다. 읽는 동안 가능한 패턴에 대한 아이디어와 identification가 형성되기 때문입니다.

When you engage in analysis, you may have collected the data yourself, or they may have been given to you. If you collected them through interactive means, you will come to the analysis with some prior knowledge of the data, and possibly some initial analytic interests or thoughts. Regardless, it is vital that you immerse yourself in the data to the extent that you are familiar with the depth and breadth of the content. Immersion usually involves ‘repeated reading’ of the data, and reading the data in an active way / searching for meanings, patterns and so on. It is ideal to read through the entire data set at least once before you begin your coding, as ideas and identification of possible pat- terns will be shaped as you read through.

전반적인 vs 세부적인 분석을 목표로 삼고 있는지, 잠정적 vs 의미론적 주제를 찾고 있는지 또는 데이터 vs 이론 중심으로 진행되는지에 따라 어떻게 읽어야 할지가 결정된다. 그럼에도 불구하고 데이터의 모든 측면을 잘 알고 있어야합니다. 이 단계에서 질적 연구가 설문 조사보다 훨씬 작은 샘플을 사용하는 경향이있는 이유 중 하나는 / 데이터의 읽기 및 읽기가 시간 소모적이라는 것입니다. 그러므로 이 단계를 뛰어 넘거나 선택적으로만 읽고 싶은 유혹이 생긴다. 그러나 우리는 이 단계가 나머지 분석을 위한 기반을 제공하기 때문에 이 문제에 대해 강력히 권고합니다.

Whether or not you are aiming for an overall or detailed analysis, are searching for latent or semantic themes, or are data- or theoretically-driven will inform how the reading proceeds. Regardless, it is impor- tant to be familiar with all aspects of your data. At this phase, one of the reasons why qualitative research tends to use far smaller samples than, for example, questionnaire research will become apparent / the read- ing and re-reading of data is time-consum- ing. It is, therefore, tempting to skip over this phase, or be selective. We would strongly advise against this, as this phase provides the bedrock for the rest of the analysis.

이 단계에서 코딩을 위한 노트나 아이디어를 마킹하기 시작하여 이후 단계에 필요시 되돌아올 수 있도록하는 것이 좋습니다. 이 작업을 완료하면보다 공식적인 코딩 과정을 시작할 준비가 된 것입니다. 본질적으로 코딩은 전체 분석을 통해 계속 개발되고 정의됩니다.

During this phase, it is a good idea to start taking notes or marking ideas for coding that you will then go back to in subsequent phases. Once you have done this, you are ready to begin, the more formal coding process. In essence, coding continues to be developed and defined throughout the en- tire analysis.

구두 데이터의 전사
Transcription of verbal data

인터뷰, 텔레비전 프로그램 또는 정치 연설과 같은 verbal 데이터로 작업하는 경우 주제별 분석을 수행하기 위해 서면으로 데이터를 복사해야합니다. 전사 과정은 시간 소모적이고 좌절하며 때로는 지루할 수 있지만 데이터에 익숙해지기 시작하는 훌륭한 방법이 될 수 있습니다 (Riessman, 1993). 나아가 일부 연구자들은 '해석 적 정량 방법론 내에서 데이터 분석의 핵심 단계'(Bird, 2005 : 227)로 보아야하며 단순히 기계적 의미가 아니라 의미가 만들어지는 해석적 행동으로 인식되어야한다고 주장한다 음성을 종이에 두는 행위 (Lapadat and Lindsay, 1999).
If you are working with verbal data, such as interviews, television programmes or poli- tical speeches, the data will need to be transcribed into written form in order to conduct a thematic analysis. The process of transcription, while it may seen time-con- suming, frustrating, and at times boring, can be an excellent way to start familiarizing yourself with the data (Riessman, 1993). Further, some researchers even argue it should be seen as ‘a key phase of data analysis within interpretative qualita- tive methodology’ (Bird, 2005: 227), and recognized as an interpretative act, where meanings are created, rather than simply a mechanical act of putting spoken sounds on paper (Lapadat and Lindsay, 1999).

구어체 텍스트를 서면 텍스트로 변환하기위한 다양한 관습이 존재한다 (Edwards and Lampert, 1993; Lapadat and Lindsay, 1999). 일부 전사 시스템은 CA의 'Jefferson'시스템 (Atkinson and Heritage, 1984; Hutchby and Wooffitt, 1998 참조)과 같은 특정 형태의 분석을 위해 개발되었습니다. 그러나 주제별 분석, 심지어 구성 주의자 주제별 분석도 대화, 담론 또는 내러티브 분석과 같이 transcript 에서 동일한 수준의 세부 사항을 요구하지 않습니다. 주제별 분석을 수행하는 방법이 유일한 것이 아니므로 transcript 를 작성할 때에도 마찬가지로 따를 지침은 없습니다. 그러나 최소한 모든 구두 (때로는 비언어적 / 예 : 기침) 발언에 대해 엄격하고 철저한 '정형화 된' transcript 증명서 / '축 어적'계정을 요구합니다 .8 중요한 것은 verbal account에서 필요한 정보가 transcript에 original nature를 잘 드러내는 '진실'한 방식으로 담겨야 한다는 점이다(예 : '구두점 추가는 데이터의 의미를 바꿀 수 있습니다 / 예를 들어'나는 그것을 싫어합니다. 알고 있습니다. '대'나는 싫어합니다. 폴란드, 2002 : 632), 필사적 인 표상은 실제로 분석 목적에 부합한다는 것 (Edwards, 1993).
Various conventions exist for transforming spoken texts into written texts (see Edwards and Lampert, 1993; Lapadat and Lindsay, 1999). Some systems of transcription have been developedfor specific forms of analysis / such as the ‘Jefferson’ system for CA (see Atkinson and Heritage, 1984; Hutchby and Wooffitt, 1998). However, thematic analysis, even constructionist thematic analysis, does not require the same level of detail in the transcript as conversation, discourse or even narrative analysis. As there is no one way to conduct thematic analysis, there is noone set of guidelines to follow when producing a transcript. However, at a minimum it re- quires a rigorous and thorough ‘ortho- graphic’ transcript / a ‘verbatim’ account of all verbal (and sometimes nonverbal / eg, coughs) utterances.8 What is important is that the transcript retains the information you need, from the verbal account, and in a way which is ‘true’ to its original nature (eg, punctuation added can alter the meaning of data / for example ‘I hate it, you know. I do’ versus ‘I hate it. You know I do’, Poland, 2002: 632), and that the transcription con- vention is practically suited to the purpose of analysis (Edwards, 1993).

앞서 말했듯이, 전사에 소요 된 시간은 분석의 초기 단계에 알려주기 때문에 낭비되는 것이 아니며, 필사본을 작성함으로써 데이터를 훨씬 더 철저하게 이해할 수 있습니다. 게다가 데이터를 기록하기 위해주의를 기울여야 데이터를 분석하는 데 필요한 긴밀한 읽기 및 해석 기술을 용이하게 할 수있다 (Lapadat and Lindsay, 1999).
As we have noted, the time spent in transcription is not wasted, as it informs the early stages of analysis, and you will develop a far more thorough understanding of your data through having transcribed it. Furthermore, the close attention needed to transcribe data may facilitate the close read- ing and interpretative skills needed to ana- lyse the data (Lapadat and Lindsay, 1999).

2 단계 : 초기 코드 생성
Phase 2: generating initial codes

2 단계는 데이터를 읽고 익히고 데이터에 무엇이 있으며 무엇이 흥미로운 지에 대한 아이디어의 초기 목록을 생성 할 때 시작됩니다. 이 단계는 데이터로부터 초기 코드 생성을 포함합니다. 코드는 애널리스트가 흥미롭게 보이는 데이터의 특징 (의미 적 내용 또는 잠복 성)을 identify하며 '원시 데이터 또는 정보의 가장 기본적인 세그먼트 또는 요소로서, 현상과 관련하여 meaningful way로 평가될 수 있는 것'이다(Boyatzis, 1998 : 63). 짧은 데이터 세그먼트에 적용된 코드 예제는 그림 1을 참조하십시오.

Phase 2 begins when you have read and familiarized yourself with the data, and have generated an initial list of ideas about what is in the data and what is interesting about them. This phase then involves the produc- tion of initial codes from the data. Codes identify a feature of the data (semantic content or latent) that appears interesting to the analyst, and refer to ‘the most basic segment, or element, of the raw data or information that can be assessed in a mean- ingful way regarding the phenomenon’ (Boyatzis, 1998: 63). See Figure 1 for an example of codes applied to a short segment of data.

의미있는 그룹으로 데이터를 구성 할 때 코딩 과정은 분석의 일부입니다 (Miles andHuberman, 1994). (Tuckett, 2005). 그러나 coded data는 unit of analysis(연구자의 theme)와 다르며 (종종) 더 넓습니다. Theme의 개발은 다음 단계(3단계)에서 개발되기 시작하며, Theme은 (조사되는 현상에 대한 어떤 논증이 이루어 졌는지에 관하여) 데이터의 interpretative analysis가 발생하는 곳입니다 (Boyatzis, 1998).
The process of coding is part of analysis (Miles andHuberman, 1994), as you are organising your data into meaningful groups (Tuckett, 2005). However, your coded data differ from the units of analysis (your themes), which are (often) broader. Your themes, which you start to develop in the next phase, are where the interpretative analysis of the data occurs, and in relation to which arguments about the phenomenon being examined are made (Boyatzis, 1998).

코딩은 테마가보다 '데이터 중심'인지 '이론 중심'인지에 따라 어느 정도 좌우 될 것입니다. 예를 들어, 전자에서 주제는 데이터에 따라 달라 지지만, 후자에서는 code를 하려는 특정 질문을 마음에 두고 데이터에 접근 할 수 있습니다. 또한 전체 데이터 세트의 내용을 코딩할지 여부 또는 데이터 세트의 특정한 특징을 (가능하면 제한된) 식별하기 위해 코딩 중인지 여부에 달려 있습니다. 코딩은 수동 또는 소프트웨어 프로그램을 통해 수행 될 수 있습니다 (예 : Kelle, 2004, Seale, 2000, 소프트웨어 프로그램 설명 참조).

Coding will, to some extent, depend on whether the themes are more ‘data-driven’ or ‘theory-driven’ - in the former, the themes will depend on the data, but in the latter, you might approach the data with specific questions in mind that you wish to code around. It will also depend on whether you are aiming to code the content of the entire data set, or whether you are coding to identify particular (and possibly limited) features of the data set. Coding can be a performed either manually or through software programme (see, eg, Kelle, 2004; Seale, 2000, for discussion of software programmes).

전체 데이터 세트를 통해 체계적으로 작업하여, 각 데이터 항목에 완전하고 동등한 관심을 기울이고, 데이터 세트에서 반복되는 패턴 (테마)의 기초를 형성 할 수 있는 데이터 항목의 흥미로운 측면을 identify합니다. Extract을 실제로 코딩하는 데는 여러 가지 방법이 있습니다. 수동으로 코딩하는 경우, 분석중인 텍스트에 노트를 쓰거나 하이라이트 또는 펜을 사용하여 잠재적 인 패턴을 나타내거나 '포스트잇'노트를 사용하여 데이터 세그먼트를 식별함으로써 데이터를 코딩 할 수 있습니다. 처음에 코드를 식별 한 다음 해당 코드를 보여주는 데이터 추출과 일치시킬 수 있지만이 단계에서는 모든 실제 데이터 추출이 코딩되고 각 코드 내에서 한 번에 한 부씩 인쇄되도록하는 것이 중요합니다. 여기에는 개별 성적표의 데이터 추출물을 복사하거나 인쇄 된 데이터의 사본을 복사하여 개별 코드 또는 파일 카드를 사용하여 각 코드를 대조하는 작업이 포함될 수 있습니다. 컴퓨터 소프트웨어를 사용하는 경우 각 데이터 항목의 텍스트 선택에 태그를 지정하고 이름을 지정하여 코딩하십시오.

Work systematically through the entire data set, giving full and equal attention to each data item, and identify interesting aspects in the data items that may form the basis of repeated patterns (themes) across the data set. There are a number of ways of actually coding extracts. If coding manually, you can code your data by writ- ing notes on the texts you are analysing, by using highlighters or coloured pens to indicate potential patterns, or by using ‘post-it’ notes to identify segments of data. You may initially identify the codes, and then match them with data extracts that demonstrate that code, but it is important in this phase to ensure that all actual data extracts are coded, and then collated to- gether within each code. This may involve copying extracts of data from individual transcripts or photocopying extracts of printed data, and collating each code to- gether in separate computer files or using file cards. If using computer software, you code by tagging and naming selections of text within each data item.

이 단계에 대한 주요 조언은 다음과 같습니다 :

(a) 가능한 한 많은 잠재적 인 주제 / 패턴을위한 코드 (시간 허용) / 나중에 재미 있을지 모를;
(b) 데이터 추출물을 포괄적으로 코드화한다. 즉 관련성이있는 경우 주변 데이터를 약간 유지한다. 코딩에 대한 공통적인 비판은 문맥이 손실된다는 것이다 (Bryman, 2001);
(c) 추출물이 코딩되지 않았거나, 한 번 코딩되거나, 여러 번 코딩 될 수 있으므로 관련된 여러 가지 '주제'로 개별 추출물을 코딩 할 수 있음을 기억하십시오.
Key advice for this phase is:

(a) code for as many potential themes/patterns as possible (time permitting) / you never know what might be interesting later;
(b) code extracts of data inclusively / ie, keep a little of the surrounding data if relevant, a common criticism of coding is that the context is lost (Bryman, 2001); and
(c) remember that you can code individual extracts of data in as many different ‘themes’ as they fit into / so an extract may be uncoded, coded once, or coded many times, as relevant.

모순이 없는 data set은 없으며, 최종적으로 생산하게 될 만족스러운 주제의 '지도' 또는 데이터 패턴의 전반적인 개념화 및 그것들 사이의 관계가 반드시 smooth out해야한다거나, tension을 무시해야 한다거나, inconsistency가 없어야 하는 것은 아니다. 분석을 할 때 지배적인 이야기에서 벗어나는 설명을 유지하는 것이 중요합니다. 따라서 코딩에서 이를 무시하지 마십시오.

Note that no data set is without contradiction, and a satisfactory thematic ‘map’ that you will eventually produce / an overall conceptua- lization of the data patterns, and relation- ships between them9 / does not have to smooth out or ignore the tensions and within and across data inconsistencies items. It is important to retain accounts that depart from the dominant story in the analysis, so do not ignore these in your coding.

3 단계 : 테마 검색

Phase 3: searching for themes

3 단계는 모든 데이터가 처음에 coded and collated 되고, 데이터 세트로부터 나온 여러 code들의 긴 목록이 형성된 이후 시작됩니다. 코드가 아닌 주제의 더 넓은 차원에서 분석을 다시 집중시키는 이 단계에서는, 서로 다른 코드를 잠재적인 테마로 정렬하고, 식별된 테마 내의 모든 관련 코드화 된 데이터 추출을 대조합니다.

Phase 3 begins when all data have been initially coded and collated, and you have a long list of the different codes that you have identified across the data set. This phase, which re-focuses the analysis at the broader level of themes, rather than codes, involves

sorting the different codes into potential themes, and
collating all the relevant coded data extracts within the identified themes.

본질적으로, 코드를 분석하기 시작하고 서로 다른 코드가 결합하여 form an overarching theme에 어떻게 결합 할 수 있는지 고려해야합니다. 시각적 표현을 사용하여 다른 코드를 테마로 정렬하는 데이 단계에서 도움이 될 수 있습니다. 테이블이나 마인드 맵을 사용하거나 각 코드 (및 간단한 설명)의 이름을 별도의 종이에 써서 테마 파일로 구성하여 놀 수 있습니다. 초기 단계의 주제별지도는 그림 2에서 볼 수 있습니다.

Essentially, you are starting to analyse your codes and consider how different codes may combine to forman overarching theme. It may be helpful at this phase to use visual representations to help you sort the differ- ent codes into themes. You might use tables, or mind-maps, or write the name each code (and a brief description) on a separate piece of paper and play around with organizing them into theme-piles. A thematic map of this early stage can be seen in Figure 2

이것은 코드 간, 다른 theme 간, level of themes (예 : 주요 테마 및 하위 테마) 사이에서 생각하기 시작한 것입니다. 일부 초기 코드는 주 테마를 형성하기도하고, 다른 초기 코드는 하위 테마를 형성 할 수도 있고, 나머지는 여전히 버려 질 수 있습니다. 이 단계에서는 아무 데나 속하지 않는 코드 세트를 가질 수도 있다. 또한 주요 테마에 맞지 않는 code를 만드는 것, 즉 code 생성에 있어 miscellaneous한 (적어도 일시적으로라도)'테마'를 만드는 것이 완벽하게 수용 할 수 있습니다 .

This is when you start thinking about the relationship between codes, between between different themes, and levels of themes (eg, main overarching themes and sub-themes within them). Some initialcodes may go on to form main themes,whereas others may form sub-themes, andothers still may be discarded. At this stage, you may also have a set of codes that do not seem to belong anywhere, and it is perfectly acceptable to create a ‘theme’ called ‘mis-cellaneous’ to house the codes / possibly temporarily / that do not seem to fit into your main themes.

이 단계는 후보자 주제 및 하위 주제 모음과 관련하여 코딩 된 데이터의 수집으로 종료됩니다. 이 시점에서, 당신은 개별 테마의 중요성을 인식하기 시작할 것입니다. 그러나 모든 단계의 추출물을 상세하게 (단계적으로) 고려하지 않고서는, theme들을 그대로 존재하게 둘 것인지, 일부를 결합/정제/분리하거나 버려야하는지 여부가 불투명하기 때문에, 이 단계에서는 아무 것theme도 버리지abandon 마십시오.

You end this phase with a collection of candidate themes, and sub-themes, and all extracts of data that have been coded in relation to them. At this point, you will start to have a sense of the significance of individual themes. However, do not aban-don anything at this stage, as without looking at all the extracts in detail (the next phase) it is uncertain whether the themes hold as they are, or whether some need to be combined, refined and separated,or discarded.

4 단계 : 주제 검토

Phase 4: reviewing themes

4 단계는 후보자 테마candidate theme를 고안했을 때 시작됩니다. 이 단계에서 일부 candidate 테마는 실제로 테마가 아닐 수 있습니다 (예 : 지원할 데이터가 충분하지 않거나 데이터가 너무 다양 할 경우). 여러 theme들이 서로 collapse 할 수 있습니다 (예 : 두 개의 theme이 합해져서 하나가 될 수 있음). 어떤 것들을 각기 다른 주제로 분해될 수 있다. 내부 동질성과 외부 이질성 internal homogeneity and ex-ternal heterogeneity 에 대한 패튼 (1990)의 두 가지 심사 기준은 여기서 고려할 가치가있다. 하나의 주제 내에 들어 있는 데이터들는 meaningfully 일치해야하며 테마는 명확하고 식별 가능하게 구별되어야 합니다.

Phase 4 begins when you have devised a setof candidate themes, and it involves therefinement of those themes. During thisphase, it will become evident that some candidate themes are not really themes (eg,if there are not enough data to support them,or the data are too diverse), while others might collapse into each other (eg, two apparently separate themes might form need one theme). Other to be broken down into separate themes.Patton’s (1990) for dual criteria judging categories / internal homogeneity and ex-ternal heterogeneity / are worth consider-ing here. Data within themes should cohere together meaningfully, while there shouldb e clear and identifiable distinctions be-tween themes.

이 단계는 주제를 검토하고 개선하는 두 단계로 구성됩니다.

This phase involves two levels of review-ing and refining your themes.

레벨 1은 코드화 된 추출된 데이터 수준에서 검토합니다. 즉, 각 주제에 대해 조합 된 추출물을 읽어야하며, 일관된 패턴을 형성하는지 여부를 고려해야합니다. 후보 주제가 일관된 패턴을 형성하는 것처럼 보이면 두 번째 단계로 이동하십시오. Candidate theme이 적합하지 않은 경우 주제 자체에 문제가 있는지 또는 해당 데이터 추출물의 일부가 단순히 적합하지 않은지 여부를 고려해야 합니다. 후자의 경우에는 theme을 새로 만들고, 지금 가지고 있는 theme에 잘 어울리지 않는 code를 찾아, 적절한 곳에 다시 배치해주거나, 이 code를 분석에서 배제할 수도 있다.

Level one involves reviewing at the level of the codeddata extracts. This means you need to readall the collated extracts for each theme, andconsider whether they appear to form acoherent pattern. If your candidate themesdo appear to form a coherent pattern, youthen move on to the second level of thisphase. If your candidate themes do not fit,you will need to consider whether the theme itself is problematic, or whether some of the data extracts within it simply do not fit there / in which case, you would rework your theme,

creating a new theme,
finding a home for those extracts that do not currently work in an already-existing theme, or
discarding them from the analy-sis

Candidate 'thematic map'을 가지고 있다고 확신하면 - 즉 coded data의 윤곽contour를 잘 보여주는 theme의 후보들에 대해서 만족한다면 - 이 단계의 레벨 2로 이동할 준비가됩니다. 이 세분화 프로세스의 결과는 그림 3에 나와있는 주제에서 볼 수 있습니다.

Once you are satisfied that your candi-date themes adequately capture the once you contours of the coded data / have a candidate ‘thematic map’ / youare ready to move on to level two of thisphase. The outcome of this refinementprocess can be seen in the thematic mappresented in Figure 3.

레벨 2는 유사한 프로세스를 포함하지만 전체 데이터 세트와 관련됩니다. 이 단계에서는 데이터 집합과 관련하여 개별 테마의 유효성을 고려해야하지만 Candidate thematic map이 '정확하게' 전체적으로 설정된 데이터의 의미를 반영하는지 여부도 고려해야합니다. 어느 정도까지, '정확한 표현'으로 간주되는 것은 이론적이고 분석적인 접근에 달려 있습니다. 그러나 이 단계에서는 두 가지 목적으로 전체 데이터 세트를 다시 읽습니다.

첫 번째는 설명 된대로 데이터 세트와 관련하여 theme들이 작동work 하는지를 확인하는 것입니다.
두 번째는 초기 코딩 단계에서 벗어난 테마 내의 모든 추가 데이터를 코딩하는 것입니다. 코딩은 지속적이고 유기적인 과정이기 때문에 데이터 세트로부터의 재 코딩이 필요할 수 있다

Level two involves a similar process, butin relation to the entire data set. At this level, you consider the validity of indivi-dual themes in relation to the data set, butalso whether your candidate thematic map‘accurately’ reflects the meanings evident inthe data set as a whole. To some extent,what counts as ‘accurate representation’ depends on your theoretical and analytic approach. However, in this phase you re-read your entire data set for two purposes.

The first is, as discussed, to ascertain whether the themes ‘work’ in relation to the data set.
The second is to code any additional data within themes that has been missed in earlier coding stages. The need for re-coding from the data set is to be expected as coding is an ongoing organic process.

Thematic map이 작동하면 다음 단계로 이동합니다. 그러나 맵이 데이터 세트에 맞지 않으면 만족스러운 주제 맵을 고안 할 때까지 코딩을 검토하고 다시 작성해야합니다. 그렇게 할 때 잠재적인 새로운 테마를 식별 할 가능성이 있으며 interest and relevent 하다면, 이 테마들도 코딩을 시작합니다. 그러나 경고의 말이 있다. 데이터를 코딩하고 테마를 생성하는 것이 무한히 진행될 수 있으므로, 끝없는 재코딩을 하느라 over-enthusiastic하지 않는 것이 중요합니다. 중단해야 할시기에 대한 명확한 가이드 라인을 제공하는 것은 불가능하지만, refinement가 더 이상 substantial하지 않다면 중단하십시오! 재코딩 과정이 단지 fine-tuning만 할 뿐이고, 이미 작동하는 코딩 프레임을 더 미세하게 조정하기만 하는 경우라면, 즉, 데이터에 잘 fit한다고 인식된다면 중지하십시오. 작문을 편집하는 것과 비슷하다고 생각해보십시오. 문장과 단락을 끝없이 편집 할 수 있지만, 몇 번의 편집 후 더 많은 작업은 불필요한 refinement일 뿐이고 / 이미 멋지게 꾸며진 케이크에 수백에서 수천을 다시 배열하는 것과 비슷합니다.

If the thematic map works, then you moves on to the next phase. However, if the map does not fit the data set, you need to return to further reviewing and refining of your coding until you have devised a satisfactory thematic map. In so doing, it is possible that you will identify potential new themes, and you will need to start coding for these as well, if they are of interest and relevent. However, a word of warning: as coding data and generating themes could go on ad infinitum, it is important not to get over-enthusiastic with endless re-coding. It is impossible to pro- vide clear guidelines on when to stop, but when your refinements are not adding any- thing substantial, stop! If the process of recoding is only fine-tuning and making more nuanced a coding frame that already works / ie, it fits the data well / recognize this and stop. Consider it as similar to editing written work / you could endlessly edit your sentences and paragraphs, but after a few editing turns, any further work is usually unnecessary refinement / similar to rearranging the hundreds and thousands on an already nicely decorated cake.

이 단계가 끝나면 서로 다른 theme가 무엇인지, 어떻게 서로 어울리는지, 그리고 그들이 데이터에 대해 알리는 전반적인 이야기에 대해 상당히 잘 알고 있어야합니다.

At the end of this phase, you should have a fairly good idea of what your different themes are, how they fit together, and the overall story they tell about the data.

5 단계 : 테마 정의 및 이름 지정

Phase 5: defining and naming themes

5 단계는 데이터에 대한 만족스러운 thematic map이 있을 때 시작됩니다. 그림 4는 버지니아의 주제별지도에 대한 최종 개선 사항을 보여줍니다. 이 시점에서 분석을 위해 제시할 테마를 정의하고 더욱 세분화하고 그 안의 데이터를 분석합니다. '정의하고 구체화define and refine'한다는 것은 각 주제가 무엇인지에 대한 '본질'을 파악하고 (주제 전반적으로) 각 주제에서 캡처하는 데이터의 측면을 결정하는 것을 의미합니다. 너무 많은 theme을 만들거나, theme을 너무 다양하거나 복잡하게 하려고 하지 않는 것이 중요합니다. 각 테마에 대한 조합 data extract로 돌아가서 내러티브와 함께 일관성 있고 내부적으로 일관된 설명account으로 구성할 수 있습니다. 제시된 data extract의 내용을 단순히 paraphrase하는 것이 아니라 자신에 대한 관심사와 이유를 파악하는 것이 중요합니다.

Phase 5 begins when you have a satisfactory thematic map of your data / see Figure 4 for the final refinements of Virginia’s thematic map. At this point, you then define and further refine the themes you will present for your analysis, and analyse the data within them. By ‘define and refine’, we mean identifying the ‘essence’ of what each theme is about (as well as the themes overall), and determining what aspect of the data each theme captures. It is important not to try and get a theme to do too much, or to be too diverse and complex. You do this by going back to collated data extracts for each theme, and organizing them into a coherent and internally consistent account, with accompanying narrative. It is vital that you do not just paraphrase the content of the data extracts presented, but identify what is of interest about them and why.

각 개별 주제에 대해 상세한 분석을 수행하고 작성해야합니다. 각 주제가 말하는 '이야기'를 식별하는 것뿐만 아니라 연구 질문 또는 질문과 관련하여 데이터에 대해 말하는 전반적인 '이야기'에 맞는 방법을 고려하여, 테마 사이에 지나친 overlap이 없게 해야합니다. 따라서 주제 자체를 고려해야 하며, 주제를 다른 주제와 관련하여 고려할 필요가 있습니다. Refinement의 일부로 테마에 하위 테마sub-theme가 포함되어 있는지 여부를 식별해야합니다. 하위 주제는 본질적으로 주제 내 주제입니다. 특히 크고 복잡한 주제에 구조를 부여하고 데이터 내의 의미 계층을 나타낼 때 유용 할 수 있습니다.

For each individual theme, you need to conduct and write a detailed analysis. As well as identifying the ‘story’ that each theme tells, it is important to consider how it fits into the broader overall ‘story’ that you are telling about your data, in relation to the research question or ques- tions, to ensure there is not too much overlap between themes. So it is necessary to consider the themes themselves, and each theme in relation to the others. As part of the refinement, you will need to identify whether or not a theme contains any sub-themes. Sub-themes are essentially themes-within-a-theme. They can be useful for giving structure to a particularly large and complex theme, and also for demon- strating the hierarchy of meaning within the data.

이 단계가 끝나면 자신의 테마가 무엇인지, 혹은 무엇이 아닌지 명확하게 정의 할 수 있어야합니다. 이를 검사하는 한 가지 방법은 두세 개 문장으로 각 주제의 범위와 내용을 설명 할 수 있는지 여부를 확인하는 것입니다. 그렇지 않다면, 그 주제를 더 세분화해야 할 수도 있습니다. 당신이 이미 당신의 주제에 작품 제목을 부여했을지라도, 이것은 또한 최종 분석에서 당신이 그들에게 줄 이름에 대해 생각하기 시작할 때입니다. 이름은 간결하고 펀치감punchy이 있어야 합니다
It is important that by the end of this phase you can clearly define what your themes are and what they are not. One test for this is to see whether you can describe the scope and content of each theme in a couple of sen- tences. If not, further refinement of that theme may be needed. Although you will already have given your themes working titles, this is also the point to start thinking about the names you will give them in the final analysis. Names need to be concise,punchy, and immediately give the re

6 단계 : 보고서 작성

Phase 6: producing the report

6 단계는 완전히 완성된 주제가 있고 보고서의 최종 분석 및 작성이 포함될 때 시작됩니다. 주제별 분석의 글쓰기 작업은 가지고 있는 데이터의 복잡한 이야기를, 독자에게 연구자가 한 분석의 장점과 타당도를 convince할 수 있게 말하는 것입니다. 분석 (data extract를 포함하는 글)은 within and across theme에 걸쳐서 간결하고, 일관성 있고, 논리적이며, 반복적이지 않으며 흥미로운concise, coher-ent, logical, non-repetitive and interesting account 이야기를 제공하는 것이 중요합니다. 글은 반드시 data내의 theme에 대한 충분한 증거를 제공해야합니다. 즉, 그 theme의 prevalence를 보여주는데 충분한 data extract가 있어야 합니다

Phase 6 begins when you have a set of fully worked-out themes, and involves the final analysis and write-up of the report. The task of the write-up of a thematic anal-ysis, is to tell the complicated story of your data in away which convinces the reader of the merit and validity of your analysis. It is important that the analysis (the write-up of it, includ-ing data extracts) provides a concise, coher-ent, logical, non-repetitive and interestingaccount of the story the data tell / withinand across themes. Your write-up must provide sufficient evidence of the themes within the data / ie, enough data extracts to demonstrate the prevalence of the theme.

필요하지 않은 복잡성없이 시연중인 포인트의 본질을 포착하는 생생한 예제 또는 extract를 선택하십시오. Extract는 특정 이슈의 예로서 명확하게 식별 가능해야합니다. 단순한 데이터 제공에 머물러서는 안 된다. Extract는 데이터에 대한 이야기를 강력하게 설명하는 analytic narrative에 삽입되어야 하며, analytic narrative는 데이터의 설명을 넘어 설 필요가 있으며 연구 질문과 관련한 argument을 제기해야합니다.

Choose particularly vivid examples, or ex-tracts which capture the essence of thepoint you are demonstrating, without un-necessary complexity. The extract should be easily identifiable as an example of the issue. However, your write-up needs to do more than just provide data. Extracts needto be embedded within an analytic narrativethat compellingly illustrates the story youare telling about your data, and your analy-tic narrative needs to go beyond descriptionof the data, and make an argument inrelation to your research question.

해석 적 분석이 실제로 수반하는 것을 줄이기pinning down

Pinning down what interpretative analysis actually entails

특히 인터 프리 티브 분석의 구체적인 내용은 연구마다 다를 수 있기 때문에, 인터 프리 티브 분석이 실제로 수반하는 것이 무엇인지 정확하게 기술하기는 어렵습니다. 첫 번째 단계로, 우리는 당신이 사용하려고하는 특정 버전의 thematic analysis에 대해서 분석 된 출판물의 예를 살펴볼 것을 권장합니다

It is difficult to specify exactly what inter-pretative analysis actually entails, particu-larly as the specifics of it will vary from study to study. As a first step, we recom-mend looking at published examples ofthematic analysis, particularly of the speci-fic version you are planning to use

당신이 당신의 데이터에 대해 묻고자하는 종류의 질문에 대한 감각을 제공하고 당신이 만들어야 할 분석적 주장들의 종류를 제공하기 위해, 우리는 인간의 관계에 대한 경험을 더 넓은 social context와 연결짓는 귀납적인 분석의 좋은 예를 특별히 토의 할 것이다 (Frith andGleeson, 2004 참조).
In order to provide a sense of the sorts ofquestions you should be asking of your data,and the sorts of analytic claims you should be seeking to make, we will discuss a particularly good example of an inductive thematic analysis, which emphasizes un-derstanding men’s experiences in relation to the broader social context (see Frith andGleeson, 2004).

Frith plore와 Gleeson (2004)이 전인적 인 감정을 목표로 한 것은 그들의 복장 실천에 영향을 미치고, 75 명의 남성들의 정성적인 질문에 수집 된 데이터를 사용하여 응답합니다. 의류 선택의 실용성 4 가지를보고하십시오. 외관에 대한 관심 부족; 몸을 은폐하거나 드러내 기위한 옷감 사용; 문화적 이상에 맞는 옷을 사용하십시오. 각각의 주제는 명확하게 연관되어 있지만 전반적으로 각각의 주제가 명확하게 구분되어 있습니다. 연구 질문 : 조합 분석 및 설명 적 데이터 추출을 사용하여 각 분석가 주제의 범위와 다양성에 대한 분명한 인식을 제공합니다. 관련성이있는 곳에서는 해석을 넓히고 해석 적 수준 (종종 기존의 문헌에 대한 주장을 관련 시킴)으로 설명을 옮깁니다.

Frith plore and how Gleeson (2004) aim about to ex-men’s feelings theirbodies influence their clothing practices,and they use data gathered in qualitative questionnaires from They 75 men to answer themes: this question. report four

practicality of clothing choices;
lack of concern about appearance;
use of cloth-ing to conceal or reveal the body;
use of clothing to fit cultural ideals.

Each theme is clearly linked back but to each the is overall research question. , They provide a clear sense of the scope and diversity of of each analyst theme, using a combination narrative and illustrative data extracts. Where relevant,they from broaden their analysis out, moving a descriptive to an interpretative level (often relating their claims to exist-ing literature).

분석가로서 그들이하는 일은 남성의 반응에서 의미의 패턴을 어떻게 행동하는지 학술적 분석과 관련 짓고 있습니다. 그렇게 함으로서 그들은 분석가들이 취해야 할 두 가지 입장, 즉 문화적 구성원과 문화적 논평가로서의 논점을 보여준다. 그들의 'discus-sion'섹션은 테마가 인간과의 관계에 대해 이야기하는 전반적인 이야기에 대해 더 폭 넓은 분석적 설명을합니다. 이 이야기는 전통적으로 여성과 관련된 방식으로 남성적 문화적 이상을 충족시키기 위해 '고의적으로 전략적으로 옷을 사용하여 옷을 사용하여'(Frith and Gleeson, 2004 : 45) 계시합니다. 이 분석은 의복 / 등장 인물과 남성성에 대한 지혜에 도전하게하는 중요한 기여를합니다.

What they do, as analysts, is relate the patterns of meaning in men’sresponses to an academic analysis of howgender operates. In so doing, they de-monstrate the dual position that analysts need to take: as both cultural members and cultural commentators. Their ‘discus-sion’ section makes broader analyticstatements about the overall story thatthe themes tell us about men’s relation-ship that with men clothing. This story reveals ‘deliberately and strategically use clothing to manipulate their appear-ance to meet cultural ideals of masculi-nity’ (Frith and Gleeson, 2004: 45), in a way more traditionally associated with women. This analysis makes an impor-tant contribution in that it challengesperceived wisdom about clothing/appear-ance and masculinity.

이 예에서 알 수 있듯이, 분석에 근거한 주장은 '의미론적'수준의 분석 수준에서 조차도 데이터의 '표면'을 넘어서야 할 필요가 있습니다. 분석의 마지막 단계에 대해 묻고 싶은 질문은 '이 테마는 무엇을 의미합니까?' '그 주제를 이루고있는 가정은 무엇입니까?' '이 주제의 내용은 무엇입니까? "어떤 조건으로 인해 어떤 조건이 생길 것인가?" "Whydo 사람들은 (다른 방식으로는 반대되는 방식으로)이 주제로 이야기 할 것인가?"그리고 "이 topic에 대해서 다양한 주제들이 말하고자 하는 전반적인 이야기는 무엇인가?" 당신이 당신의 thematic map에 대한 명확한 이해를 갖게되면, 이런 종류의 질문들이 분석을 인도해야 합니다.

As this example demonstrates, your ana-lytic claims need to be grounded in, but go beyond, the ‘surface’ of the data, even for a‘semantic’ level analysis. The sort of ques-tions you need to be asking, towards the endphases of your analysis, include: ‘What does this theme mean?’ ‘What are the assump-tions underpinning it?’ ‘What are the im-plications of this theme?’ ‘What conditions are likely to have given rise to it?’ ‘Whydo people talk way about (as this thing in thisother particular opposed to ways)?’ and ‘What is the overall story the different themes reveal about the topic?’.These sorts of questions should guide the analysis once you have a clear sense of your thematic map.

thematic analysis을 할 때 피해야 하는 함정

Potential pitfalls to avoid when doing thematic analysis

주제별 분석은 상대적으로 직설적인 정성 분석 형식으로 이론과 기술 및 기술에 대한 상세한 지식이 필요하지 않습니다. DA 또는 CA와 같은 ap-isproaches. 비록 당신이 아직 정성적인 기술을 배우고 있을지라도 질적 인 데이터에 대한 좋은 주제 분석을 수행하는 것은 상대적으로 쉽습니다. 그러나 빈약 한 분석을 가져올 수있는 많은 것들이 있습니다..

Thematic analysis is a relatively straight-forward form of qualitative analysis, which does not require the same detailed theore-tical and technical knowledge that do. ap-is proaches such as DA or CA It relatively easy to conduct a good thematicanalysis on qualitative data, even when youare still learning qualitative techniques.However, there are a number of things thatcan result in a poor analysis.

첫 번째 함정은 실제로 데이터를 실제로 분석하지 못한 것입니다! 주제별 분석은 분석 서사가 거의 없거나 전혀없는 추출물 모음이 되어서는 안 된다. 또한 내용을 단순히 paraphrase한 analytic comment와 함께 extract를 선택해놓은 것들의 모음도 아니다. Thematic analysis의 extract는 연구자가 데이터에 대해 만드는 분석 포인트의 예이며, 구체적인 내용을 넘어서는 분석을 illustrate/support하거나, data에 대해서 make sense하거나, 독자들에게 data가 무엇을 의미하는지 알려주기 위한 목적으로 활용되어야 한다.
The first of these is a failure to actuallyanalyse the data at all! Thematic analysis isnot just a collection of extracts strung together with little or no analytic narrative. Nor is it a selection of extracts with analytic comment that simply or primarily para-phrases their content. The extracts in the-matic analysis are illustrative of the analytic points the researcher makes about the data, and should be used

to illustrate/support an analysis that goes beyond their specific content,
to make sense of the data, and
tell the reader what it does or might mean / as discussed above.

두 번째로 연관된 함정은 '주제'로 데이터 수집 질문 (예 : 인터뷰 스케쥴로부터)을 사용하는 것입니다. 이 경우, 전체 데이터 세트에서 주제를 식별하거나 응답 패턴을 이해하는 데 필요한 분석 작업을 수행하지 않은 것과 같습니다.

A second, associated pitfall is the using of the data collection questions (such as from an interview sche-dule) as the ‘themes’ that are reported. Insuch a case, no analytic work has been carried out to identify themes across theentire data set, or make sense of the pattern-ing of responses.

세 번째는 theme가 작동하지 않는 약하거나 설득력없는 분석으로, 주제가 너무 겹치거나 테마가 내부 일관성 있고 일관성이 없는 경우가 될 수 있다. 주제의 모든 측면은 중심 아이디어 또는 개념을 중심으로 구성되어야 합니다. 이 함정은 분석의 목적에 따라 데이터의 대부분을 포착 할 수 없거나 데이터의 하나 이상의 측면에 대한 설명 / 해석을 제공하지 못한 경우에 발생합니다. 약하거나 설득력없는 분석은 데이터에서 적절한 예를 제공하지 못함으로 인해 발생할 수 있습니다 (예 : 주제에 대해 하나 또는 두 개의 추출 만). 이 점은 본질적으로 표현의 수사학rhetorics of presentation에 관한 것이며, 전체 데이터 세트를 읽지 않은 사람에게도 분석이 convincing해야 할 필요성에 대한 것이다.

The third is a weak or unconvincinganalysis, where the themes do not appear to work, where there is too much overlap between themes, or where the themes are not internally coherent and consistent. All aspects of the theme should cohere around acentral idea or concept. This pitfall has occurred if, depending on what the analysisis trying to do, it fails adequately to capturethe majority of the data, or fails to provide arich description/interpretation of one ormore aspects of the data. A weak or un-convincing analysis can also stem from a failure to provide adequate examples from the data / for example, only one or two extracts for a theme. This point is essen- tially about the rhetorics of presentation, and the need for the analysis to be convin- cing to someone who has not read the entire data set:

'자료의'분석 '은 ... 의도적 인 것입니다 연구자가 스스로 의식적으로 교묘하게 창조하며, 독자에게 주장의 plausibility를 설득해야한다. '(Foster Parker, 1995 : 204).

‘The ‘‘analysis’’ of the material...is a deliberate and self-consciously artful crea- tion by the researcher, and must be con- structed to persuade the reader of the and plausibility of an argument’ (Foster Parker, 1995: 204).

그렇게함으로써 브리맨 (Bryman, 1988)이 질적 연구에서 일화 (anecdotalism)라고 불렀던 현상을 피할 수 있다고 하였다. 이것은 몇 가지 사례가 흥미롭거나 드러나지 않을 수 없다는 것을 말하는 것이 아닙니다. 하지만 일부 사례를 overarching theme으로 잘못 표현하지 않는 것이 중요합니다.

In so doing, one avoids (the appearance of) what Bryman (1988) has referred to as ‘anecdotalism’ in qualitative research / where one or a fewinstances of a phenomenon are reified into a pattern or theme, when it or they are actually idiosyn- cratic. This is not to say that a few instances cannot be of interest, or revealing; but it is important not to misrepresent them as an overarching theme.

네 번째 함정은 데이터와 그에 대한 분석적 주장이 일치하지 않는 것입니다. 그러한 (근거없는) 분석에서, 클레임은 데이터에 의해 뒷받침 될 수 없으며, 최악의 경우, 제시된 데이터 추출은 다른 분석을 제안하거나 심지어 클레임과 모순된다. 연구자는 해석와 분석 포인트가 데이터 추출물과 일치하도록 해야 합니다. 약한 분석은 데이터의 다른 명백한 대안적 해석을 고려하지 않거나 만들어낸 설명의 변이성variation(및 심지어는 모순)을 고려하지 않습니다. 데이터의 패턴이 100 % 완전하고 비 모순이되는 경우는 거의 없으므로 철저한 설명없이 없다면, 의심에 대해서 열려있어야 합니다. 주제를 보여주기 위해 설득력있는 예를 선택하는 것이 중요하다.

The fourth pitfall is a mismatch between the data and the analytic claims that are made about it. In such an (unfounded) analysis, the claims cannot be supported by the data, or, in the worst case, the data extracts presented suggest another analysis or even contradict the claims. The researcher needs to make sure that their interpretations and analytic points are con- sistent with the data extracts. A weak analysis does not appear to consider other obvious alternative readings of the data, or fails to consider variation (and even contra- diction) in the account that is produced. A pattern in data is rarely, if ever, going to be 100%complete and non-contradicted, so an analysis which suggests that it is, without a thorough explanation, is open to suspicion. It is important to pick compelling examples to demonstrate the themes, so give this considerable thought.

다섯 번째는 이론과 분석적 주장 사이의, 또는 연구 질문과 사용된 주제 분석의 형식 사이의 불일치를 포함합니다. 좋은 주제별 분석은 자료의 해석이 이론적 체계theoretical framework와 일치하는지 확인해야합니다. 예를 들어,

experiential framework 안에서 일하는 경우, 일반적으로 연구 주제의 social construction 에 대한 주장을 하지 않을 것이며,
당신이 constructionist의 입장에서 주제 분석을 수행한다면, 사람들의 경험담을 세상을 보는 투명한 창문마냥 취급하지 않을 것입니다

The fifth involves a mismatch between theory and analytic claims, or between the research questions and the form of thematic analysis used. A good thematic analysis needs to make sure that the interpretations of the data are consistent with the theoretical framework. So, for instance,

if you are work- ing within an experiential framework, you would typically not make claims about the social construction of the research topic, and
if you were doing constructionist thematic analysis, you would not treat people’s talk of experience as a transparent window on their world.

마지막으로, 이론적 가정을 설명하거나, 방법을 명확히하지 못하고, 어떤 목적으로 중요한 정보가 부족한 (Holloway and Todres, 2003) 심지어는 좋은 이해력있는 분석조차도 한 측면에서 실패합니다.

Finally, even a good and inter- esting analysis which fails to spell out its theoretical assumptions, or clarify howit was undertaken, and for what purpose, is lacking crucial information (Holloway and Todres, 2003), and thus fails in one aspect.

좋은 주제분석이란?

What makes good thematic analysis?

외부의 사람들에 대한 질적 연구에 대한 비판 중 하나는 '무엇이든'이라는 인식입니다. 예를 들어,이 감정은 Laubschagne (2003) 초록의 첫 번째 문장에서 반복된다.

정량적 연구를하는 데 사용 된 많은 과학자들이 질적 연구의 전체 개념은 불분명하고, 거의 외국이거나, '공기가 많은 요정'/ 아니라 '

‘For many scientists used to doing quantitative studies the whole concept of qualitative research is unclear, almost foreign, or ‘‘airy fairy’’ / not ‘‘real’’ research.’

One of the criticisms of qualitative research from those outside the field is the percep- tion that ‘anything goes’. For instance, this sentiment is echoed in the first sentence of Laubschagne’s (2003) abstract: ‘For many scientists used to doing quantitative studies the whole concept of qualitative research is unclear, almost foreign, or ‘‘airy fairy’’ / not ‘‘real’’ research.’

그러나 실제적으로 '정량적'접근법과 동일한 기준을 적용 할 수는 없지만, '정성적'연구에도 엄격하게 적용되어야하는 분석 방법이 있다. 또한 양질의 연구 / 자료 수집과 분석을 수행하기위한 기준이 존재한다 (Elliott et al., 1999; Parker, 2004; Seale, 1999; Silverman, 2000; Yardley, 2000). 영국 심리 학회 (British Psycholological Society)는 준 연구에서 질을 평가하기위한 상대적으로 간결한 온라인 지침을 제공한다 (http://www.bps.org.uk/publications/journals/joop/qualitative-guidelines.cfm 참조).

However, although ‘quali- tative’ research cannot be subjected to the same criteria as ‘quantitative’ approaches, it does provide methods of analysis that should be applied rigorously to the data. Furthermore, criteria for conducting good qualitative research / both data collection and analysis / do exist (eg, Elliott et al ., 1999; Parker, 2004; Seale, 1999; Silverman, 2000; Yardley, 2000). The British Psycholo- gical Society offers relatively succinct on- line guidelines for assessing quality in qua- litative research (see http://www.bps.org.uk/publications/journals/joop/qualitative- guidelines.cfm).

질적 연구를 평가하기 위한 '기준'은 논쟁의 여지가없는 주제가 아니며, 자유를 제한하고 방법론적 개발을 방해하는 엄격한 기준에 대한 우려가 있다 (Elliott et al., 1999; Parker, 2004; Reicher, 2000). Reicher (2000)는 엄청나게 다양한 범위의 질적 인 접근이 동일한 기준에 종속 될 수 있는지 여부를 묻는 것으로 더 비판을 취한다.
‘Criteria’ for assessing qualitative research is a not uncontroversial topic, with concerns raised about rigid criteria limiting freedom and stifling methodological development (Elliott et al ., 1999; Parker, 2004; Reicher, 2000). Reicher (2000) takes the critique further, by asking whether the incredibly diverse range of qualitative approaches can and should be subject to the same criteria.

이러한 비판을 회피하면서 많은 일반적인 질적 연구 평가 기준에서 제기 된 문제는 주제 분석 형식에 어느 정도 적용될 수 있습니다. 주제별 분석은 유연한 방법이기 때문에 자신이하는 일에 대해 명확하고 명료하게 말할 필요가 있으며 자신이하고있는 말은 실제로하는 일과 일치해야합니다. 이러한 의미에서 이론과 방법은 엄격하게 적용될 필요가 있으며, '전제가 주제를 개념화하는 방식과 일치하는 체계적인 방법을 고안하는 것이 엄격하다.'(Reicher and Taylor, 2005 : 549). 좋은 주제 분석을 생성했는지 여부를 결정할 때 고려해야 할 기준에 대한 간략한 체크리스트가 표 2에 나와 있습니다.

Bracketing these critiques off, the issues raised in many general qualitative research assessment criteria can be more or less applied to thematic forms of analysis. As thematic analysis is a flexible method, you also need to be clear and explicit about what you are doing, and what you say you are doing needs to match up with what you actually do. In this sense, the theory and method need to be applied rigorously, and ‘rigour lies in devising a systematic method whose assumptions are congruent with the way one conceptualizes the subject matter’ (Reicher and Taylor, 2005: 549). A concise checklist of criteria to consider when deter- mining whether you have generated a good thematic analysis is provided in Table 2.

Table 2 A 15-point checklist of criteria for good thematic analysis

Thematic analysis가 심리학자들에게 제공하는 것은?

So what does thematic analysis offer psychologists?

이제 주제 분석의 장점과 단점에 대한 간략한 설명과 함께 마칩니다. 본 논문에서 보여준 것처럼 주제별 분석은 복잡한 방법이 아닙니다. 사실, 표 3에서 볼 수 있듯이 그 장점은 많습니다. 그러나 단점이 없는 것은 아닙니다. 이제 간단히 살펴 보겠습니다. 많은 단점은 방법 자체보다는 부적절한 분석이나 부적절한 연구 문제에 더 많이 기인합니다. 또한 광범위한 분석 옵션을 허용하는 방법의 유연성은 데이터에 대해 언급 할 수있는 잠재적 인 범위가 광범위하다는 것을 의미합니다. 이것이 장점이긴하지만, 고차 분석을 위한 특정 지침을 개발하는 것이 어렵고, 연구자가 데이터의 어떤 부분을 집중할 것인지 결정하려고 할 때 마비 될 수있는 단점이 있습니다. 고려해야 할 또 다른 문제는 주제별 분석이 분석적 주장analytical claims을 뒷받침하는 기존의 이론적 틀theoretical framework 내에서 사용되지 않는다면 단순한 묘사mere description 이상의 해석력을 제한한다는 점입니다.

We now end this paper with some brief comments on the advantages and disadvan- tages of thematic analysis. As we have shown throughout this paper, thematic ana- lysis is not a complex method. Indeed, as you can see from Table 3, its advantages are many. However, it is not without some disadvantages, which we will now briefly consider. Many of the disadvantages de- pend more on poorly conducted analyses or inappropriate research questions than on the method itself. Further, the flexibility of the method / which allows for a wide range of analytic options / means that the poten- tial range of things that can be said about your data is broad. While this is an advan- tage, it can also be a disadvantage in that it makes developing specific guidelines for higher-phase analysis difficult, and can be potentially paralysing to the researcher try- ing to decide what aspects of their data to focus on. Another issue to consider is that a thematic analysis has limited interpretative power beyond mere description if it is not used within an existing theoretical frame- work that anchors the analytic claims that are made.

다른 단점은 정 성적 분석이 다른 정 성적 분석 방법의 일부와 관련하여 고려 될 때 나타난다. 예를 들어 내러티브 나 다른 전기적인 접근법과 달리 어떤 개인 계정을 통해서도 연속성과 모순을 유지할 수 없으며 개별 계정에 대한 이러한 모순과 일관성이 드러날 수 있습니다. DA 및 CA와 유사한 방법과는 달리 간단한 주제 분석을 통해 연구자는 언어 사용이나 대화의 미세 기능에 대한 주장을 할 수 없습니다.
Other disadvantages appear when the- matic analysis is considered in relation to some of the other qualitative analytic meth- ods. For instance, unlike narrative or other biographical approaches, you are unable to retain a sense of continuity and contradic- tion through any one individual account, and these contradictions and consistencies across individual accounts may be reveal- ing. In contrast to methods similar to DA and CA, a simple thematic analysis does not allow the researcher to make claims about language use, or the fine-grained function- ality of talk.

마지막으로 주제별 분석은 현재 명확한 명성이 없다는 점에 주목할 필요가 있습니다. 이 분석 방법은 경계가 명확하지 않고 주장되지만, 그럼에도 널리 사용되고 있습니다. 이것은 주제별 분석이 더 자주 또는 정교하지 않고 확실히 더 명예 롭고 '브랜드화 된'형태의 분석을 수행 할 수있는 지식이나 기술이없는 사람에 의해 수행되는 것, 즉 나타나는 것처럼 보입니다. / 근거 이론, IPA 또는 DA.

Finally, it is worth noting that thematic analysis currently has no particular kudos / this, we argue, as an analytic method stems from the very fact that it is poorly demarcated and claimed, yet widely used. This means that thematic analysis is fre- quently, or appears to be, what is simply carried out by someone without the knowl- edge or skills to perform a supposedly more sophisticated / certainly more kudos-bear- ing ‘branded’ form of analysis like / grounded theory, IPA or DA.

우리는 엄격한 주제 접근법이 특정 연구 질문에 대답하는 통찰력있는 분석을 산출 할 수 있다고 주장하면서이 논문이 이러한 관점을 바꿀 것으로 기대합니다. 중요한 것은 주제 / 내용 또는 연구 질문이 아니라 방법에 전념하는 '방법론'에 희생당하는 것이 아니라 연구 질문에 적합한 방법을 선택하는 것입니다 (Holloway and Todres, 2003). 사실, 당신의 분석 방법은 당신의 연구 문제와 더 넓은 이론적 인 가정에 의해 주도되어야합니다. 우리가 증명했듯이, 주제별 분석은 다양한 인식론과 연구 문제에 사용할 수있는 유연한 접근 방식입니다.
We hope this paper will change this view as, we argue, a rigorous thematic approach can produce an insightful analysis that answers particular research questions. What is important is choosing a method that is appropriate to your research question, rather than falling victim to ‘methodolatry’, where you are committed to method rather than topic/ content or research questions (Holloway and Todres, 2003). Indeed, your method of analysis should be driven by both your research question and your broader theore- tical assumptions. As we have demon- strated, thematic analysis is a flexible approach that can be used across a range of epistemologies and research questions.

Notes

5. 내용 분석은 질적 데이터를 통한 패턴을 식별하는 데 사용할 수있는 또 다른 방법이며 때로 주제별 접근법과 유사하게 취급됩니다 (예 : Wilkinson, 2000). 그러나 내용 분석은보다 미세한 수준에 집중하는 경향이 있으며 종종 빈도 카운트를 제공하고 (Wilkinson, 2000) 초기 정성 데이터의 정량적 분석을 허용합니다 (Ryan and Bernard, 2000). Thematic analysis는 주제가 정량화되지 않는 경향이 있지만, Boyatzis (1998)는 주제별 분석을 사용하여 정 성적 데이터를 정량적 형태로 변형하고 통계 분석을 실시 할 수 있다고 제안하고, 분석 단위가 일반적으로 내용 분석에 사용되는 단어word 또는 구phrase 이상인more than 경향이 있습니다.

5. Content analysis is another method that can be used to identify patterns across qualitative data, and is sometimes treated as similar to thematic approaches (eg, Wilkinson, 2000). How- ever, content analysis tends to focus at a more micro level, often provides (frequency) counts (Wilkinson, 2000), and allows for quantitative analyses of initially qualitative data (Ryan and Bernard, 2000). Thematic analysis differs from this in that themes tend not to be quantified (although sometimes they may be; and Boyatzis (1998) suggests thematic analysis can be used to transform qualitative data into a quantitative form, and subject them to statistical analyses; and the unit of analysis tends to be more than a word or phrase, which it typically is in content analysis.

7. 우리는 귀하가 '양질의'데이터 자료 및 데이터 세트로 작업 할 것으로 가정합니다. 우리는 '좋은 데이터'가 무엇을, 왜, 어떻게 수집했는지에 대한 일련의 기준에 의해 정의되고 주제에 대해 풍부하고 상세하며 복잡한 설명을 제공한다고 주장합니다. 좋은 데이터는 단순히 관심있는 주제에 대한 표면적 오버뷰만 제공한다거나 단순히 상식적인 말을 반복하지 않습니다. 초보자 연구원이 당면하는 문제 중 하나는 연구 참여자와 상호 작용하여 풍부하고 복잡한 통찰력을 창출하는 것입니다. 숙련되고 전문적인 분석가가 수행 할 수는 있지만 품질이 떨어지는 데이터를 잘 분석하는 것은 애널리스트에게 훨씬 까다로운 작업입니다.
7. We are assuming that you will be working with a ‘good quality’ data corpus and data set. We would argue that ‘good data’ are defined by a particular set of criteria regarding what, why, and how they were collected, and offer rich, detailed and complex accounts of the topic. Good data do not just provide a surface over- view of the topic of interest, or simply reiterate a commonsense account. The challenge for the novice researcher is to interact with research participants in such a way that they generate rich and complex insights. Producing a good analysis of poor quality data is a far more demanding task for the analyst, although it can potentially be performed by a skilled and ex- perienced analyst.

Taylor, G.W. and Ussher, J.M. 2001: Making sense of S&M: a discourse analytic account. Sex- ualities 4, 293 /314.

Abstract

Thematic analysis is a poorly demarcated, rarely acknowledged, yet widely used qualitative analytic method within psychology. In this paper, we argue that it offers an accessible and theoretically flexible approach to analysing qualitative data. We outline what thematic analysis is, locating it in relation to other qualitative analytic methods that search for themes or patterns, and in relation to different epistemological and ontological positions. We then provide clear guidelines to those wanting to start thematic analysis, or conduct it in a more deliberate and rigorous way, and consider potential pitfalls in conducting thematic analysis. Finally, we outline the disadvantages and advantages of thematic analysis. We conclude by advocating thematic analysis as a useful and flexible method for qualitative research in and beyond psychology.

Key words: epistemology, flexibility, patterns, qualitative psychology, thematic analysis

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 의학교육연구(Research)' 카테고리의 다른 글

합의 방법론에 대한 합의가 있는가? 묘사와 권고 (Acad Med, 2016) (0)	2017.02.18
의학교육자를 위한 질적연구설계 소개(12 tips, Med Teach, 2016) (0)	2017.01.24
질적 연구에서의 현상학적 글쓰기의 전략과 방법의 탐구* (교육문화연구, 2014) (0)	2016.07.01
질적 연구 방법론으로서의 현상학 - 독특성과 보편성 사이의 변증법적 탐구 양식 - (교육인류학연구, 2007) (0)	2016.07.01
[질적연구] 현상학 Methods (in the original articles) (국문문헌) (0)	2016.06.22

TTT(TOT)프로그램의 가장 효과적인 방법: A Systematic Review (J Contin Educ Health Prof. 2012)

Meded. 2017. 1. 24. 11:47

2017. 1. 24. 11:47

TTT(TOT)프로그램의 가장 효과적인 방법: A Systematic Review (J Contin Educ Health Prof. 2012)

The Most Effective Way of Delivering a Train-the-Trainers Program: A Systematic Review

JENNIFER PEARCE, BSC; MALA K. MANN, BECCERTLIS, MIINFSC, MCLIP; CARYL JONES, BSC, MSC;

SUSANNE VAN BUSCHBACH, BSC, MSC; MIRANDA OLFF, BSC, MSC, PHD; JONATHAN I. BISSON, BM, FRCPSYCH,

DIP CLIN PSYCHOTHERAPY DM

Introduction

보건 및 사회 복지 전문가에게 정보를 보급하는 데 있어 passive, didactic 교육 전략보다 효과적이고 신속한 / reminder 시스템의 형태를 포함하는 multifaceted, interactive 개입이있을 수 있다는 증거가있는 것으로 보인다 .1-6 그러나, 이러한 증거가 증가하고 있음에도 불구하고, 방법론 및 보고 결함으로 인해 그러한 정보를 가장 효과적으로 전파하는 방법에 대한 기존 문헌에서 확고한 결론을 도출 할 수 없으므로 결론을 내리기가 어렵습니다 .2-3

There appears to be some evidence that multifaceted, interactive interventions, possibly with the inclusion of some form of prompt/reminder system are more effective than passive, di- dactic education strategies in disseminating information to health and social care professionals.1–6 However, despite this growing evidence, conclusions are made difficult because it has been suggested that no firm conclusions can be drawn from the existing literature on how best to disseminate such information due to methodological and reporting flaws.2–3

경험적으로 보았을 때 도움이 되는 것으로 보이는 다양한 interactive and multifaceted 기술을 결합 할 수 있기 때문에, TTT (train-of-trainers) 교육 모델이 효과적이고 비용 효율적인 효과적인 방법으로 제안되었습니다 .1-6 Train-the - 트레이너 (Trainer) 란 특정 분야의 개인이 특정 주제에 대한 교육을 받고, 다른 사람들을 훈련, 감독 및 감독하는 방법에 대한 교육을받는 프로그램을 말한다.
A Train- the-Trainers (TTT) educational model was proposed as a po- tentially effective and cost-efficient way of doing this, as it could combine the various interactive and multifaceted techniques that have received some empirical support.1–6 Train-the-Trainer refers to a programor a course where indi- viduals in a specific field receive training in a given subject and instruction on howto train, monitor, and supervise other individuals in the approach.8–9

방법

Method

The methods used in this review followed the recommended methodology for conducting systematic reviews.10

자료 출처

Information Sources

The databases Applied Social Sciences Index and Abstracts (ASSIA), Cumulative Index to Nursing and Allied Health Literature (CINAHL), Cochrane Library, Excerpta Med- ica Database (EMBASE), Education Resources Information Center (ERIC), Health Management Information Consor- tium (HMIC), MEDLARS Online (MEDLINE), Medline in Process, System for Information on Grey Literature in Europe (OpenSigle), Psychological Information Database (Psycinfo), Scopus, Social Care Online, Social Services Ab- stracts, Sociological Abstracts, Web of Knowledge, and Pub- lished International Literature on Traumatic Stress (PILOTS) were searched from inception through June 15, 2011.

포함 기준

Inclusion Criteria

Intervention. The intervention had to be based on a TTT model; that is, the participants being trained in the inter- vention must have to go on to train others in the specified topic/guidance following their training. Topics of interest in- cluded any health or social care field (eg, HIV/AIDS, breast- feeding, mental health, counseling). There were no restric- tions on duration, format, or content of the TTT model.

Target Population. The participants inthe TTTprogram must have been qualified health and social care professionals who, after receiving training, were expected to be capable of deliv- ering training to other health care professionals. Specifically, we were interested in the health and social care professionals who attended the TTT programs, including nurses, psychol- ogists, social workers, and the like.

Study Design. Randomized controlled trials (RCTs), well- designed quasi-experimental studies, controlled before-and- after studies (CBAs), and interrupted time series analyses (ITS) were included, subject to the presence of a control group. There also must have been a follow-up outcomes measure administered more than 1 week after the intervention was delivered (eg, participants’ clinical behavior 3 months after the training program).

Outcome. The outcomes must have been related to the effec- tiveness of the training program and include some objective measure of change. Outcomes could relate to the primary re- cipients of the TTT intervention or the secondary recipients (the health and social care professionals who subsequently re- ceived training from the primary recipients). For either group of recipients, outcomes could be at the level of knowledge, clinical behavior, or patient outcomes.11 It was agreed a pri- ori that outcomes should include objective measures relating to participants or patients/clients as either would be likely to represent a valid measure for assessing the effectiveness of a TTT program.

Publication. Published and unpublished studies were eligi- ble for inclusion.

배제 기준

Exclusion Criteria

Study Design. Studies relying on anecdotal evidence derived from individual opinions and studies without control groups were excluded.

Language. Non-English-language studies were excluded due to financial constraints.

자료 추출

Data Extraction

The details extracted from the studies were study design; population characteristics; characteristics of the intervention, including the content, format, setting and duration; a de- scription of the primary outcome measure; description of the training methods used; details on participants’ recruitment; who delivered the training; what course materials were used; what implementation issues there were; and the effective- ness of the intervention.

자료 병합

Data Synthesis

The primary outcome measure was the effectiveness of the training intervention, either through knowledge tests, clini- cal behavior, or patient reports.

편향 위험

Risk of Bias

The risk of bias for all included studies was assessed using the 6 specific domain-based evaluation criteria set out in the Cochrane risk of bias form.10 These were

sequence genera- tion,
allocation concealment,
blinding,
incomplete outcome data,
selective outcome reporting, and
other sources of bias.

Two reviewers independently assessed each study for risk of bias. Any conflicts were discussed with a third reviewer.

Results

Study Selection

Data Synthesis

Study Characteristics

Study Design. Three study designs were employed;

8 ran- domized controlled trials,8,13–20
6 controlled before-and- after studies,21–26 and
4 controlled clinical trials.9,27–29

The topic, content, materials, setting, duration, and primary out- come measures of the TTT programs varied greatly, which made direct comparisons problematic (for full details see TABLE 1 and the Supporting Information for this article).

Methods of Training. The training methods em- ployed varied considerably:

7 reported including scenarios,8–9,19,23,26–27,29
4 didactic case studies and presentations,19,22,24,27
2 video presentations,24,29
3 PowerPoint slides discussions,9,19,24–25,29 ,9,23,28 5
9 group components,8–9,13–15,19,22,26–27
7 practical interactive exercises,8,13–14,21,26–28
5 demonstrations and
4 role- plays,19,24,27,29
1 motivational and attitudinal change elements,21
1 individual feedback on strengths and weaknesses,22
1 problem-based learning,16
5 preparation to deliver future training workshops,19–20,23,28–29 and
1 questions-and-general-comments session.24

Effectiveness of Training

Training Versus No Training. All studies evaluated a training group versus a nonintervention (control) group.

Outcome Measures

Clinical Behavior. Eight of the studies used measures ofclinical behavior to assess the effectiveness of the TTT program

Knowledge Tests. Six studies assessed effectiveness through knowledge tests

Patient Outcomes. Four studies measured patient out- comes in order to assess the effectiveness of the TTT program,

Risk of Bias Within Studies

연구 방법론의 등급은 포함 된 모든 연구에 대한 편견의 위험을 제안했습니다. 18 개의 논문 중 2 개는 편견의 위험이 높다고 판단되었다 .22,25 왜냐하면 통제 집단과 중재 집단에 대한 할당이 무작위화된 것이 아니기 때문이다. Byrne 등 22)의 연구에서 두 그룹의 전문직 간에는 상당한 차이가 있었다 (전문 훈련을받은 그룹의 간호사 37 %는 초보 훈련 그룹의 78 %와 비교). 이것은 잠재적으로 TTT 중재의 훈련 및 전달에 영향을 줄 수 있습니다. 1 개의 study15 만 프로토콜을 출판했기 때문에 편향의 위험이 낮은 것으로 판단 된 연구는 없습니다. 이것은 결과가 선택적으로 보고되었는지 여부를 판단 할 수 없다는 것을 의미했습니다. 따라서 우리의 결론은 포함 된 연구의 편견에 의해 제한됩니다.

Ratings of the studies’ methodologies suggested risk of bias for all included studies. Two of the 18 papers were judged as having a high risk of bias22,25 because the allocation to con- trol and intervention groups was not randomized. In Byrne et al’s study,22 there was a significant difference between the 2 groups’ professions (37% nurses in the expert trained group compared with 78%in the novice trained group). This could potentially have affected the training and delivery of the TTT intervention. No studies were judged to have a low risk of bias, primarily because only 1 study15 had published a protocol. This meant that it was not possible to judge whether outcomes had been selectively reported. Our conclusions are, therefore, limited by the bias of included studies.

Discussion

이 리뷰에는 18 개의 논문이 포함되어 있었고, 상당한 이질성으로 비교에 어려움이 있었음에도 불구하고 TTT 프로그램에 대한 지원은 건강 및 social care 전문가에게 지식과 정보를 보급하기위한 효과적인 방법으로 제공되었습니다. 18 개의 연구 중 13 개는 TTT 프로그램이 임상 행동을 개선하는 데 크게 도움이되었으며, 8,15-16,19-20,26은 지식을 22,25,28-29로 증가 시키거나 더 나은 환자 결과를 가져옴을 보여주었습니다. 또 다른 3 개의 연구가 잠재적 효과를 보였고, 9,18,24 1 시험 13-14 효과가 없었고, CD-ROM 교육이 TTT 교육보다 효과적이라는 것을 발견했다 .17) 논문 및 체계적인 검토 저자 논문에 포함 된 다른 정보의 해석은 각 연구의 효과 강도를 결정하는 데 사용되었습니다.

Eighteen papers were included in this review and, despite significant heterogeneity compromising comparison, pro- vided support for TTT programs as an effective way to disseminate knowledge and information to health and so- cial care professionals. Thirteen of the 18 studies showed that TTT programs significantly helped to improve clini- cal behavior,8,15–16,19–20,26 increase knowledge,22,25,28–29 or resulted in better patient outcomes.21,23,27 Another 3 studies showed a possible effect,9,18,24 1 study13–14 no effect, and an- other found that CD-ROM training was more effective than TTT training.17 Data contained within the papers and the systematic review authors’ interpretation of other informa- tion contained within the papers were used to determine the strength of effect of each study.

긍정적 인 연구 중 11 개는 interactive components 를 사용하여 교육을 제공했습니다. 8,15,19,21-23,25-29이 분야의 이전 연구를 지지하며, 이는 대화식 교육 방법이 수동형, Didactic 스타일 교육보다 더 효과적임을 시사한다.1-6 효과에 대한 결정적인 결론을 내릴 수없는 두 건의 연구와 TTT 프로그램이 아무 효과가 없다는 연구가 있었다 .13-14 또한 교육을 제공하기 위해 상호 작용 요소를 사용했다. 이것은 상호작용interactivity만으로는 교육 프로그램을 제공 할 때 긍정적 인 결과를 얻는 데 필수적인 변수가 아님을 나타냅니다.

Eleven of the positive studies used interactive compo- nents to deliver the training.8,15,19,21–23,25–29 This supports previous research in the field, which suggests that interactive training methods can be more effective than passive, didac- tic style training.1–6 Two of the studies where no definitive conclusions of effectiveness could be made9,24 and the study that found the TTT program to have no effect13–14 also used interactive components to deliver the training. This suggests that interactivity alone is not necessarily the key variable in achieving a positive outcome when delivering a training program.

포함 된 연구의 대다수는 3 일이 넘는 기간 동안 9,15-16,18,20-23,25 이상의 기간 동안 훈련을 전달했으나, 지식의 증가 또는 임상 적 행동과 환자 결과의 개선에 도움되는 수준을 보면, 3일 또는 그 이내에 훈련을 실시한 연구도 비슷하게 효과적이었습니다 .8,19,26-28
The majority of the included studies delivered the train- ing over more than a 3-day period,9,15–16,18,20–23,25 but the studies that delivered the training in 3 days or less were simi- larly effective in increasing knowledge or improving clinical behavior and patient outcomes.8,19,26–28

TTT 프로그램에 수반되는 학습 자료를 포함시키는 효과는 분명하지 않다. 유인물, 안내서 또는 정보 폴더를 제공하는 모든 연구가 효과적이었습니다 .16,19-20,23,26,28-29 이는 TTT 프로그램을 학습 자료와 결합하면 TTT의 효과가 향상 될 수 있음을 나타냅니다. 이 개념은 Tziraki et al19 및 Martino et al's20 연구에서 발견 된 TTT 프로그램과 메뉴얼을 제공한 그룹이 메뉴얼만 제공하거나 또는 자율학습을 한 그룹보다 효과적이라는 결과를 뒷받침합니다. 그러나 다른 연구들도 이러한 발견을 뒷받침 해주었습니다 .30-31 그러나 TTT 프로그램이 효과가있는 것으로 밝혀진 여러 연구는 동반 학습 자료에 대한 정보를 제공하지 않았다. 또한 추가 학습 자료를 제공하는 TTT 프로그램과 그렇지 않은 TTT 프로그램에 대한 연구는 없으므로 결정적인 결론을 내릴 수 없습니다.

The effect of including accompanying learning materi- als in TTT programs is unclear. All the studies that pro- vided handouts, manuals, or folders of information were effective.16,19–20,23,26,28–29 This suggests that combining the TTT program with learning materials may improve the ef- fect of the TTT program. This notion is also supported by the findings in Tziraki et al19 and Martino et al’s20 studies, which showed that the TTT program and manual group was more ef- fective than a manual only or self-study group. Other studies have supported this finding.30–31 However, a number of the included studies in which the TTT program was found to be effective did not provide information on accompanying learn- ing materials. Additionally, no studies have compared a TTT program with additional learning materials to a TTT program without, allowing no definitive conclusions to be made.

이 검토에는 8 건의 무작위 대조 연구 (RCT)가 포함되었다. RCT 방법론을 사용한 두 연구 13-14,17은 아무 효과가 없거나 대안 교육 방법이 TTT 프로그램보다 효과적이라는 것을 발견했습니다. 이것은 훈련 전문가의 TTT 프로그램에 대한 우월성을 보여주는 5 개의 다른 RCT 8,15-16,19-20에 의해 균형을 이룹니다.

Eight randomized controlled trials (RCTs) were in- cluded in this review. Two studies that used an RCT methodology13–14,17 found no effect or that an alternative training method was more effective than a TTT program. This is balanced by five other RCTs,8,15–16,19–20 which showed superiority for a TTT program in training professionals.

이 연구에서 포함 된 대부분의 연구에서 TTT 프로그램이 효과적이라는 것을 알았지 만 CD-ROM 교육 방법으로 TTT 개입을 비교 한 1 개의 연구에서 후자가 참가자의 지식을 향상시키는 데 더 효과적이라는 사실이 밝혀졌습니다. Martino와 동료들의 study20은 또한 expert-led training group 이 TTT 훈련 그룹만큼 효과적이라는 것을 발견했다 .32-33 컴퓨터 보조 훈련의 지원은 다른 연구에서도 발견되었다. 이 연구는 TTT 프로그램 접근법이 건강 및 사회 전문가를 효과적으로 훈련시키는 데 사용할 수있는 유일한 훈련 방법이 아니라는 것을 제시합니다. 어떤 방법을 언제 사용해야하는지 명확히하기 위해서는 더 많은 연구가 필요합니다.

Although the majority of the included studies in this re- view found that a TTT program was effective, 1 study com- paring a TTT intervention with a CD-ROM training method found that the latter was more effective in improving partic- ipants’ knowledge.17 Support for the use of computer-aided training has been found in other studies.32–33 Martino and colleagues’ study20 also found that an expert-led training group was as effective as the TTT training group. These studies suggest that a TTT program approach is not the only training method that can be used to effectively train health and social professionals. Further research is needed to clarify which methods should be employed and when.

이 검토는 TTT 프로그램의 효과에 대한 체계적인 첫 번째 검토이므로이 분야의 지식 기반에 대한 실질적인 기여를 보여준다. 우리는 이 분야에서 연구의 양과 질을 결정하기 위해이 리뷰를 시작하기 전에 Cochrane 방법 10을 사용하여 범위 지정 검색을 수행했습니다. 이것은 우리 리뷰의 목적과 디자인을 구체화하고 알리는 데 도움이되었습니다.

This review is the first systematic review of the effective- ness of TTT programs and therefore represents a substantial contribution to the knowledge base in this area. We con- ducted a scoping search using the Cochrane method10 before commencing this review to determine the quantity and qual- ity of research in this field. This helped to refine and inform the aims and design of our review.

이 리뷰와 이전 문헌의 증거 1-6은 서로 다른 임상 영역에서 일하는 다양한 문화권의 건강 및 사회 복지 전문가에게 가이드 라인 및 커리큘럼을 보급하고 구현하기 위해 interactive, multifaceted TTT 프로그램의 사용을 지지합니다. 이전 문헌은 전문가를 양성하기 위해 "혼합 학습"접근법을 사용함으로써 얻을 수있는 이점을 강조했다 .4-44 혼합 학습 접근법은 "서로를 보완하고 학습과 응용을 촉진하도록 설계된 다중 전달 매체를 결합하여" "37 상호작용적interactive 구성 요소와 학습 자료를 포함한 기술의 조합을 혼합하여 보건 및 사회 복지 전문가를위한 가장 효과적인 교육 과정을 만들고, 전통적이고 교훈적인 스타일의 교육은 blended approach의 일부로만 사용되어야 한다고 결론 내릴 수 있습니다. 그러나 가장 효과적인 TTT 프로그램을 개발하기 위해 사용해야하는 기술의 정확한 균형과 혼합을 식별하는 것은 불가능합니다.
The evidence from this review and previous literature1–6 provides support for the use of interactive, multifaceted TTT programs to disseminate and implement guidelines and cur- ricula to health and social care professionals from diverse cultures working in different clinical areas. Previous litera- ture has highlighted the benefits of using a “blended learning” approach to train professionals.34–36 A blended learning ap- proach is described as combining “multiple delivery media that are designed to complement each other and promote learning and application-learned behaviour.”37 It can be con- cluded that a combination of techniques, including interac- tive components and learning materials, should be blended to create the most effective training course for health and social care professionals and that traditional, didactic-style training should only be used as part of a blended learning approach. It is not possible, however, to identify the exact balance and blend of techniques that should be used in order to develop the most effective TTT program.

이 review8-9,15의 세 가지 연구는 TTT 모델의 잠재적 인 장기적 문제를 확인했다. 교육을 받은 후 높은 직원 교체율과 직원 보유로 인해 교육 프로그램을 지속적으로 구현하기가 어려웠다는 사실을 발견했습니다. TTT 프로그램을 개발할 때 장기적인 지속 가능성과 직원 헌신을 고려할 필요가 있습니다.

Three studies in this review8–9,15 identified a potential long-term problem with the TTT model. They found that it was often difficult to ensure the continuing implementation of the training programs due to high staff turnover and retention of staff after they had been trained. Long-term sustainability and staff commitment need to be considered when developing TTT programs.

프로그램 개발자는 구체적인 목표 청취 및 설정에 맞는 접근 방식을 최적화하기 위해 교육 프로그램을 개발할 때 전달 방법, 프로그램 내용 및 직원 충원 및 유지 문제를 신중하게 고려해야합니다. CD-ROM 교육 방법이 TTT 프로그램보다 효과적이라는 연구 결과는 임상 행동, 지식 및 환자 결과를 개선하기위한 다른 비용 효과적 인 교육 방법이있을 수 있음을 시사합니다. 프로그램 개발자는 훈련 프로그램을 설계 할 때 롤 플레이 (role-play) 및 그룹 토의 (group discussion)와 같은 대면 훈련 기술을 통합하는 명백한 유틸리티와 함께 이것을 고려해야합니다.

Program developers should give careful consideration to delivery method, program content, and issues of staff com- mitment and retention when developing training programs in order to optimize the approach to fit the specific target audi- ence and setting. The finding that a CD-ROM training method is more effective than a TTT program17 in 1 study suggests that there may be other, perhaps more cost-efficient train- ing methods, to improve clinical behavior, knowledge and patient outcomes. Program developers need to consider this alongside the apparent utility of incorporating face-to-face training techniques, such as role-play and group discussions, when designing training programs.

현재 이용 가능한 증거의 한계에도 불구하고,이 검토는 TTT 프로그램이 건강 및 사회 복지 전문가에게 정보를 효과적으로 유포 할 수있는 가능성이 있음을 보여주었습니다. 다양한 기술과 자료를 결합한combining different techniques and materials 혼합 학습 방법을 사용하면 최상의 결과를 얻을 수 있습니다. 기술의 최상의 "혼합"을 결정하고 참여자 및 환자 / 고객이 직면하는 결과 측정에 미치는 영향에 대한 추가 연구가 필요합니다. TTT 모델에 사용 된 다양한 기술 조합을 검사하는 무작위 통제 시험은 가장 효과적인 효과적인 혼합을보다 잘 판단하는 데 도움이됩니다. 또한 미래 작업은 상호 작용을보다 자세히 고려해야합니다 .1,2,4

Despite the limitations of the currently available evidence, this review has shown that TTT programs have the potential to effectively disseminate information to health and social care professionals. It appears that using a blended learning approach, combining different techniques and materials, is likely to achieve the best results. Further research is needed to determine the best “blend” of techniques and howthey impact on participant and patient/client facing outcome measures. A randomized controlled trial that examines different combinations of techniques used in TTT models would help to better determine themost effective blend. Additionally, futurework should consider interactivity in more detail.1,2,4

2012 Summer;32(3):215-226.

The most effective way of delivering a train-the-trainers program: a systematic review.

Pearce J1, Mann MK, Jones C, van Buschbach S, Olff M, Bisson JI.

Author information

1Department of Psychological Medicine, Cardiff University, Wales.

Abstract

INTRODUCTION:

Previous literature has shown that multifaceted, interactive interventions may be the most effective way to train health and social care professionals. A Train-the-Trainer (TTT) model could incorporate all these components. We conducted a systematicreview to determine the overall effectiveness and optimal delivery of TTT programs.

METHODS:

We searched 15 databases. Reference lists and online resources were also screened. Studies with an objective follow-up measure collected over 1 week after the intervention were included. The intervention had to be based on a TTT model for health and social care professionals.

RESULTS:

Eighteen studies met the inclusion criteria. TTT interventions varied greatly, ranging from didactic presentations to group discussions and role-plays. The heterogeneity of the studies and limited data prevented meta-analysis. A narrative review found that the TTT programs in 13 studies helped to increase knowledge, improve clinical behavior, or produce better patient outcomes. One study showed no effect. Three studies showed possible effect and one study showed that a CD-ROM training method was more effective than a TTT training method in improving participants' knowledge. Ratings of the studies' methodologies suggested moderate risk of bias, which limits interpretation of the results.

DISCUSSION:

There is evidence that using a blended learning approach to deliver TTT programs--combining different techniques such as interactive, multifaceted methods and accompanying learning materials--can help to effectively disseminate and implement guidelines and curricula to health and social care professionals. However, further research is needed to determine the optimum "blend" of techniques.

PMID:: 23173243

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

왜 의사들은 교육을 하는가: 받은 것을 돌려주기 (Med Educ, 2015) (0)	2017.01.25
CBME로 전환과정에서의 교수개발(Med Teach, 2010) (0)	2017.01.24
TTT(TOT)코스의 단기 효과와 장기 효과(Med Educ, 2008) (0)	2017.01.24
교수개발에서 교수정체성, 교수성장, 교수권한부여로 (Acad Med 2016) (0)	2017.01.24
Chapter 2. 교육 개선을 위한 교수개발 [Faculty Development in the Health Professions] (0)	2017.01.19

TTT(TOT)코스의 단기 효과와 장기 효과(Med Educ, 2008)

Meded. 2017. 1. 24. 11:35

2017. 1. 24. 11:35

TTT(TOT)코스의 단기 효과와 장기 효과(Med Educ, 2008)

A controlled study of the short- and long-term effects of a Train the Trainers course

Sune Rubak,1,2 Lene Mortensen,3 Charlotte Ringsted4 & Bente Malling5

도입

INTRODUCTION

강사 교육 과정 (TTC)은 의사를 clinical teacher로서 준비시키는 데 널리 사용됩니다. 이러한 코스는 커크 패트릭 (Kirkpatrick)이 정의한 것과 비슷한 반응 수준 측면에서 매우 만족스러운 것으로 평가되었습니다.

Training for Trainers courses (TTCs) are widely used to prepare doctors for their role as clinical teachers. Such courses have been rated as highly satisfactory in terms of levels of reaction similar to those defined by Kirkpatrick.1

몇몇 연구는 대학원 의학 교육에서의 임상 교사들을위한 교수 개발 이니셔티브에 대한 지속적인 필요성을 제안했으며, supervisor 중 75 %는 임상 감독의 훈련에 대한 필요성을 인식한다고 보고되었다 .2,4 교수진 개발 평가 코스는 대개 반응의 수준에 국한되며 5,6,10,11,13이며 학습 수준에 대한 객관적인 평가는 거의 포함되지 않습니다 .14,15
Several studies have suggested a sustained need for faculty development initiatives for clinical teachers in postgraduate medical education,2–12 and as many as 75% of supervisors have been reported to perceive a need for training in clinical supervision.2,4 Evaluation of faculty development courses is usually confined to the level of reaction5,6,10,11,13 and rarely includes objective assessment of the level of learning.14,15

Kirkpatrick은 교수 활동의 효과가 4 단계로 측정 될 수 있다고 제안했다 : 반응; 배우기; 행동 및 조직 1 Postgraduate 임상 상황에서 학습 환경을 측정하는 것은 조직 수준에서 TTC의 영향을 나타내는 척도로 사용될 수 있습니다. 학습 환경climate는 기술하고 측정하기에는 insubstantial 하지만 연수생의 임상 학습 결과에 영향을 미치는 것으로 여겨진다 .21) 교육 환경을 조사 할 때 교육 환경 내 모든 참가자를 모니터링하는 것이 매우 중요하다 - 모든면을 드러내는 것. Genn은 임상학과에서 학습 목표를 성취하는 것과 대조되는 학습 환경의 다른 구성 요소로 구성된 climate index의 사용에 대해 논의했다 .21)그것은 학습 환경의 개선이 학습 목표의 달성에 향상을 가져 왔는지를 평가하는 데 사용되었다 .21

Kirkpatrick suggested that the effects of a teaching activity can be measured at four levels: reaction; learning; behaviour, and organisation.1 Measuring learning climate in the postgraduate clinical context could be used as an indicator of the effect of TTCs at organisational level. Although learning climate is an insubstantial phenomenon to describe and to mea- sure,20–23 it is assumed to influence the clinical learning outcome of trainees.21,24 When investigating educational climate, it is extremely important to monitor all participants within an educational envi- ronment in order to reveal all aspects. Genn dis- cussed the use of a climate index consisting of the different components of the learning climate viewed against the achievement of learning objectives in a clinical department.21 This was used to evaluate whether improvements in the learning climate led to higher achievement of learning objectives.21

METHODS

연구 설계

Study design

We performed an intervention study with pre-post and long-term (6 months) measurements using a matched control group (C-group). The intervention group (I-group) comprised 118 doctors from four departments of internal medicine (rheumatology, endocrinology, pulmonary diseases and gastroenter- ology) and the department of orthopaedic surgery at one university hospital.

인터벤션

The intervention

The intervention comprised a 3-day residential TTC. The course was mandatory for all doctors in the I-group. The participants were randomly distributed into four separate courses conducted within a 3-month period.

필기 시험

Written test

The written test consisted of six essay questions on knowledge of teaching skills developed according to previously published principles.26 The number of questions was restricted to six for feasibility reasons. The aim was to cover the main themes of the course curriculum (Table 2). Based on the course curricu- lum and literature on good clinical teaching skills, a scoring key was developed for each question. The test and scoring keys were pilot-tested using participants of similar courses.

설문지

Questionnaire

The questionnaire regarding teaching behaviour and learning climate was constructed on the basis of literature recommendations and the TTC curricu- lum.2,3,12 A questionnaire was designed in order to evaluate both the themes of the TTC curriculum and specific themes relating to previous standard ques- tionnaires:

structuring a clinical training session ;
feedback ;
supervision ;
career counselling , and
learning climate .

The questionnaire (in Danish) was pilot-tested by doctors attending a similar TTC. The validation process ensured that questions were understandable and covered the themes, that the questions did not overlap one another and that answering categories were sufficient to discriminate between different answers. The questionnaire contained questions with fixed answering categories, using a 9-point Likert scale where the maximum score was 9.

분석, 통계

Analysis and statistics

Two educators, with master degrees in health pro- fessional education, scored all written test results individually. Subsequently, scores were compared and, in cases of disagreements, the scoring reviewed by both educators and a consensus score decided. Test results for the various measurement time-points were scored randomly and the scorers were blinded to participants study groups.

The percentage of the maximum score was calculated for each question and a total mean score for all questions was calculated for each participant. The maximum score for the test was 58 points, corre- sponding to a 100%mean score. Within-group comparisons were performed using paired-sample t-tests. Between-group comparisons were performed at baseline and 6 months using one-way ANOVA. The relationships betweenanindividual s test performance at various measurement points was estimated using Pearson s correlation coefficient. The total score on the written test was considered the primary effect parameter. Effect size (ES) between the I-group and the C-group was estimated by calculating Cohen s D from the mean and standard deviation (SD) of differences between results at baseline and after 6 months. An ES = 0.5 was considered moderate and an ES > 1.0 was considered substantial.

결과

RESULTS

연구 대상 특성

Study sample characteristics

There was no statistically significant difference between the I- and C-groups regarding distribution in seniority and specialty (Table 1).

지식과 교육 스킬 향상

Gains in knowledge of teaching skills

Subscores on each item are shown in Table 2. Although scores in the I-group appeared higher thanthose in the C-group at baseline, the large variance inthe data lead to no statistical significance at baseline,except for item 6 ( appraisal meeting ). The item giving feedback received the lowest scores at all measurement points in both the I- and C-groups.

교육행동에 대한 TTC의 영향

Effect of the TTC on teaching behaviour

Table 3 shows frequencies of receiving and giving feedback and supervision at baseline and at 6 months after the TTC. Data were stratified according to seniority (specialist or trainee).

교육 분위기에 대한 TTC의 영향

Effects of the TTC on learning climate

Table 4 shows changes in the learning climates of the clinical departments.

Table 5 presents data concerning only trainees rat- ings of the learning climate.

DISCUSSION

주 결과

Main findings

At 6 months, the learning climates in the various departments had changed, as indicated by:

1 실제 실수 또는 거의 놓친 임상 상황으로부터의 학습 증가.

2 교육 배경에 대한 의사 간의 개인 지식 교환의 증가;

3 학습자의 학습요구를 충족시켜주는 데 사용되는 자원의 증가.

4 Relevance of teaching sessions이 C 그룹 구성원이 운영하는 동등한 세션과 비교하여 개선되었습니다.

1 an increase in learning from actual mistakes or near-miss clinical situations;

2 an increase in personal knowledge exchange between the doctors on teaching backgrounds;

3 an increase in resources used to fulfil trainees learning needs in daily practice, and

4 improvements in the relevance of teaching sessions in the department compared with equivalent sessions run by C-group members.

This study is one of very few to study the long-term effect of TTCs on changes in teaching behaviour and learning climate.14

연구의 강점과 약점

Strengths and limitations of the study

The main strengths of the study are:

1 the large number of participants;

2 the use of a matched control group;

3 the fact that > 98.4% of the doctors in the I-group participated in the TTC, and

4 the high response rates achieved at all measure- ment points in both study groups.

세부 결과

Detailed findings

우리는 TTC에서 얻은 지식이 6 개월 후에도 남아 있다는 것을 발견했습니다. 이것은 이전에보고되지 않았습니다. 이것은 specialist와 trainees를 포함한 모든 의사가 과정에 참석했기 때문에 설명 될 수 있습니다. 이는 임상 교육 기술에 대한 공통어를 육성함으로써 학습 강화에 기여했을 수 있습니다. 또한, 일상 업무에서 혁신을 구현하기 위한 critical mass을 달성하는 문제를 해결했습니다.

We found that knowledge gained fromthe TTC was retained 6 months later, which has not been reported before.6 This may be explained by the fact that all doctors, including both specialists and trainees, attended the course. This may have contributed to the reinforcement of learning through fostering a com- mon language about clinical teaching skills. Moreover, it resolved the issue of achieving a critical mass for the implementation of innovation in daily practice.29

Specialist와 Trainee의 결과를 비교하면 각 그룹별로 학습 곡선이 다르게 나타나는데, 기준 수준이 현저히 낮더라도 Trainee이 6 개월까지 급격한 개선을 보였고 전문가 (표 3 및 표 4)를 따라 잡습니다. 이러한 결과는 TTC가 교육 역량을 향상시키고 연공 서열에 관계없이 학과에서 교육 행동 및 학습 분위기에 영향을 미친다는 것을 의미합니다.

A comparison of results between specialists and trainees shows different learning curves for each group, where trainees, despite significantly lower baseline levels, showed precipitous improvement to 6 months, catching up with the specialists (Tables 3 and 4). These results imply that the TTC improves teaching competency and influences teaching behaviour and learning climate in a department regardless of seniority.

함의

Implications for future courses and research

이 연구에서 우리는 6 개월 후에도 유지 된 교수 기술에 대한 TTC의 실질적인 효과를 입증했습니다. 또한, 우리는 교습 행동이 30 % 향상되어 예상보다 많은 것으로 나타났습니다. 10,16,18,25
In this study we have demonstrated the substantial effects of a TTC on knowledge of teaching skills retained after 6 months. Furthermore, we found that teaching behaviour improved by 30%, which was more than expected.10,16,18,25

우리는 6 개월에 지속되는 효과는 모든 department의 의사가 참여하여 혁신에 대한 확산에 필요한 임계 질량critical mass 을 형성한 것과 관련이있을 수 있다고 믿습니다 .29
We believe that the sustained effect at 6 months may be related to the fact that all doctors in the department participated, thus representing the critical mass required for the diffusion on innovation.29

CONCLUSIONS

23 Boor K, Scheele F, van der Vleuten CP, Scherpbier AJ, Teunissen PW, Sijtsma K. Psychometric properties of an instrument to measure the clinical learning envi- ronment. Med Educ 2007;41 (1):92–9.

2008 Jul;42(7):693-702. doi: 10.1111/j.1365-2923.2008.03044.x. Epub 2008 May 23.

A controlled study of the short- and long-term effects of a Train the Trainers course.

Rubak S1, Mortensen L, Ringsted C, Malling B.

Author information

1Department of Paediatrics, Skejby Hospital; Department of Paediatrics, Randers Regional Hospital, Aarhus, Denmark. sr@alm.au.dk

Abstract

Objectives This study aimed to establish the longterm effects of a 3-day 'Training for Trainers' course (TTC) on doctors' knowledge, teaching behaviour and clinical learning climate. Methods The study was designed as an intervention study with pre-, post- and long-term measurements. The intervention group (I-group) included 118 doctors from the departments of internal medicine and orthopaedic surgery at one university hospital. The control group (C-group) consisted of 125 doctors from the corresponding departments at another university hospital. Gains in knowledge about teaching skills were assessed by a written test. Teaching behaviour and learning climate were evaluated by questionnaires. Results In the I-group, 98.4% of doctors, both specialists and trainees, participated in a TTC. Response rates on the written test varied from 90% at baseline to 70% at 6 months after the intervention. Knowledge about teaching skills increased in the I-group by 25% after the TTC and was sustained at 6 months. Questionnaire response rates varied from 98.4% at baseline to 84.8% at 6 months. Post-course, the teaching behaviour of the I-group significantly changed and its learning climate improved compared with the C-group. Scores for use of feedback and supervision in the I-group increased from 4-5 to 6-7 (maximum score = 9). This was significantly higher than in the C-group. Conclusions A 3-day residential TTC has a significant impact in terms of gains of knowledge concerning teaching skills, teaching behaviour and learning climate after 6 months. The positive effects demonstrated in this study were rooted in both the specialists and trainees who attended the course.

PMID:: 18507769
DOI:: 10.1111/j.1365-2923.2008.03044.x

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

CBME로 전환과정에서의 교수개발(Med Teach, 2010) (0)	2017.01.24
TTT(TOT)프로그램의 가장 효과적인 방법: A Systematic Review (J Contin Educ Health Prof. 2012) (0)	2017.01.24
교수개발에서 교수정체성, 교수성장, 교수권한부여로 (Acad Med 2016) (0)	2017.01.24
Chapter 2. 교육 개선을 위한 교수개발 [Faculty Development in the Health Professions] (0)	2017.01.19
교육의 스칼라십: 21세기의 필수불가결 요소(Acad Med, 2000) (0)	2017.01.19

교수개발에서 교수정체성, 교수성장, 교수권한부여로 (Acad Med 2016)

Meded. 2017. 1. 24. 11:22

2017. 1. 24. 11:22

교수개발에서 교수정체성, 교수성장, 교수권한부여로 (Acad Med 2016)

Moving From Faculty Development to Faculty Identity, Growth, and Empowerment

최근 24 시간 동안 세 가지 경험을 통해 교수 개발을 반성하게 되었습니다.

Recently, over a 24-hour period, I had three experiences that caused me to reflect upon faculty development.

첫 번째 경험은 우리 교수 중 한 명이 내 사무실에서 저널에 제출하기를 원했던 논문에 대한 도움을 청하기 위해 찾아온 것입니다.
The first happened when one of our new faculty members came by my office to ask for help with an article he was hoping to submit to a journal.

몇 분 후, 중역의 교수진이 의학 교육 연구 및 원고 검토 과정에 관한 일정 멘토링 세션을 위해 저와 함께했습니다.
A few minutes later, a midcareer faculty member joined me for a scheduled mentoring session about medical education research and the manuscript review process.

마지막으로, 응급 의사를위한 전문적인 회의의 일환으로 강의실에서 슬라이드와 질문을 제출해달라고 상기시키는 이메일을 받았습니다.
Finally, I received an e-mail reminding me to submit my slides and questions for a lecture I was giving as part of a professional conference for practicing emergency physicians.

이러한 세 가지 교수진 개발 사례가 있었습니다. 가장 큰 영향력을 가진 것은 새로운 교수진이 자신의 논문을 재조명하는 것을 도왔을 때였으며, 이것은 가장 덜 formal한 활동이면서, 가장 작은 recognition만을 받는 것입니다. 이 패러독스는 제가 현장의 상태를 더 잘 이해하고 academic medicine에서 우리가 이 혼란스러운 주제에 대한 우리의 접근 방식을 어떻게 개선 할 수 있는지 교수 개발에 반영하도록 이끌었습니다.
Here were three examples of faculty development of differing degrees of formality. I suspected that the one with the greatest impact was when I helped the new faculty member refocus his article, even though that was the least formal activity and the one I would get the least recognition for. This paradox led me to reflect upon faculty development to better understand the state of the field and how we in academic medicine might improve our approach to this confusing topic.

문헌을 탐색하면서 직면한 교수 개발의 첫 번째 문제는 교수 개발이라는 용어 그 자체였습니다. 교수가 의미하는 바가 무엇인지, 교수진 개발이 의미하는 바에 대해서는 혼란이 있습니다. Block et al1은 학술 보건 센터 (AHCs)의 임상 활동의 확장에 의해 강요된 교수의 정의에 관한 현재의 딜레마를 기술하고있다. 그들은 의학 학생 교육이 병원에서 보행 환경으로 옮겨 가면서 학생과 거주자의 감독자로서의 임상의를 위한 새로운 역할이 이러한 임상의를 정의하는 방법에 대해 의문을 제기했다. 그들은 교수입니까? 그들은 직원입니까? 어떤 교육과 평가를 받아야합니까? 그들은 어떻게 보상을 받아야합니까? 그들이 교수로 포함된다면, 기존 교수를위한 함축은 무엇입니까? Block et al은 교수가되는 사람들이 학교의 교육 및 / 또는 학술 활동에 참여한다는 기본적 요구 사항을 명시하고 있습니다. 그들은 교수진의 주요 활동을 구성하는 요소가 다양 할 것이라는 점에 주목한다. 이러한 활동에는 리더쉽, 퀄리티 향상 및 교육뿐만 아니라 Boyer가 제안한 광범위한 4 가지 부분의 scholarship 정의 (발견, 통합, 적용 및 교수법discovery, integration, application, and teaching)를 사용하는 학술 활동이 포함될 수 있습니다 .2

The first problem with faculty development I encountered in my search of the literature was the term faculty development itself. There is confusion about what we mean by faculty and what we mean by faculty development. Block et al1 describe the current dilemma around the definition of faculty that has been precipitated by the expansion of academic health centers’ (AHCs’) clinical activities. They note that as medical student education has moved from the hospital to the ambulatory setting, new roles for clinicians as supervisors of students and residents have raised questions about how to define these clinicians. Are they faculty? Are they staff? What training and evaluation should they receive? How should they be rewarded? If they are included as faculty, what are the implications for existing faculty? Block et al state that the fundamental requirement for persons to be faculty is that they be involved in the educational and/or scholarly activities of the institution. They note that there will be variability in what constitutes the key activities of faculty; these activities may involve leadership, quality improvement, and teaching, as well as scholarly activities using Boyer’s expansive four- part definition of scholarship: discovery, integration, application, and teaching.2

교원으로 누구를 포함시킬 것인가, 교수의 핵심적인 활동이 무엇인가 등을 결정하는 것 만큼이나 교원을 develop하기 위해서 적절한 활동이 무엇인지를 고려하는 것이 중요합니다. Steinert3는 FD을 교수, 연구 및 행정을 비롯한 다양한 역할을 위해 기관 및 교수진을 준비하도록 계획된 계획 프로그램으로 설명했습니다. 불행하게도, 나는 FD가 1 년의 안식에서 1 시간의 교육 및 청구에 관한 교육 세션에 이르기까지 활동을 묘사하는 데 사용되었다는 이야기를 들었습니다. 이는 용어의 의미에 대한 혼동을 보여줍니다.
Deciding whom to include as faculty and what activities are key for faculty is important as one attempts to consider what might be appropriate activities to “develop” faculty. Steinert3 described faculty development as a planned program designed to prepare institutions and faculty members for their various roles, including teaching, research, and administration. Unfortunately, I have heard faculty development being used to describe activities ranging from a one- year sabbatical to a one-hour training session on billing and documentation, which illustrates the confusion about the meaning of the term.

이 용어의 또 다른 문제점은 마치 (교수가) 화학 반응에 대한 기질 인 것처럼 교수 구성원에게 다소 수동적 인 역할을 부여한다는 것입니다. 그러나 성인 학습 이론은 동기 부여되고 자기 주도적 인 능동적 학습자의 중요성을 강조한다 .5.4 FD에 대한 수동적이고 표준화 된 접근은 교수진을 자기 자신을 발전시키는 과정에 참여engage시키지 못할 것이다.
Another problem with that term is that it implies a somewhat passive role for the faculty member, as if he or she were the substrate for some kind of chemical reaction. However, adult learning theories emphasize the importance of motivated, self-directed, active learners who learn because of a need to know and to solve problems.4,5 A passive, standardized approach to faculty development would likely fail to engage faculty in the process of their own development.

O'Sullivan과 Irby6은 학습 활동에 참여한 개인과 작업 환경 간의 복잡한 상호 작용을 포착하기 위해 교수진 개발 모델을 제안했습니다. 그들의 모델에서 참가자, 촉진자, 프로그램 및 교육 환경은 모두 필요하며 개발을 촉진하거나 방해 할 수있는 작업장 공동체에 포함됩니다. O'Sullivan과 Irby의 모델은 FD에 대한 linear process 아이디어에서 벗어나서, 개별 교수진이 새로운 기술이나 지식을 습득하는데 있어 보다 역동적이고 상호 작용이 가능한 모델을 지향합니다.
O’Sullivan and Irby6 have proposed a model of faculty development in an attempt to capture the complex interactions between the individuals involved in the learning activities and the work environment. In their model, participants, facilitators, programs, and an educational context are all necessary and are embedded within a workplace community that can facilitate or impede development. The model of O’Sullivan and Irby moves away from the idea of faculty development as a linear process, in which individual faculty acquire a new skill or knowledge, to something more dynamic and interactive.

정체성은 Block 등이 교수진의 기본이라고 할 수 있는 교육 및 Scholarship에 기여하는 (현재 AHC에 고용된) 광범위한 개인을 인정합니다. 교수 개발의 중심에 정체성을 배치함으로써 학생들을 위해 Cruess 등이 기술 한 것과 유사한 각 교수 구성원을위한 직업적 정체성의 발달 궤도를 구상하는 것이 가능해진다. FD를 위한 Professional identity formation PIF은 연구, 교육, 행정, 임상 진료 또는 이들의 조합으로 교수 활동을 차별화 할 수 있으며, Scholarship은 그 중 하나의 구성 요소가 될 수 있고 정체성은 유동적이어서 다양한 각기 다른 시간에 교수진의 활동을 혼합하고 그 정체성을 강화하기위한 경험을위한 우선 순위를 달리합니다.
Identity acknowledges the broad range of individuals currently employed at AHCs who contribute to the education and scholarship that Block et al defined as fundamental for faculty. By placing identity at the center of faculty development, it also becomes possible to envision a developmental trajectory of professional identity for each faculty member similar to that described by Cruess et al7 for students. Professional identity formation for faculty development would allow the differentiation of faculty activities primarily into research, education, administration, clinical care, or some combination of these, recognizing that scholarship can be a component of any of them and that identity is fluid, allowing for various mixes of activities by faculty at different times and with different priorities for experiences to augment those identities.

성장은 교수가 지속적으로 학습하고 개선해야 할 본질적인 필요성과, 성장을 nurture and facilitate 할 수있는 작업 환경을 중요하게 봅니다. 교수 개발의 일환으로 성장을 포함 시키면 교수개발의 범위가 성찰, 내러티브 표현, 명상과 같은 범위까지 넓어지며, 그 결과 보다 생산적으로 academic career에 기여할 수 있고, 개인차를 통합 할 수 있게 된다.
Growth recognizes the intrinsic need for faculty to continue to learn and improve, and a work environment that will nurture and facilitate growth. Inclusion of growth as part of faculty development enlarges the scope of activities—such as reflection, narrative expression, and meditation— that can contribute to a healthy and productive academic career and can also incorporate individual differences.

Empowerment(권한부여): 나는 주니어 교수, 소수 민족, 여성 등이 도움이 없이는 성공적으로 navigate하기에 특히 어려웠던 AHC의 위계 구조를 인정하여 이 프레임 워크에 Empowerment를 포함시켰다. Pololi 등 8)은 능력 개발을 중요한 구성 요소로 여기는 동료 멘토링 프로그램을 설명했으며 Acad Med 9-14 호에 설명 된 프로그램 중 몇 가지는 유사하게 교수 개발에서 권한 부여의 중요성을 강조했습니다.

I included empowerment in this frame in recognition of the hierarchical structure of AHCs that is particularly difficult for junior faculty, underrepresented minorities, and women to successfully navigate without assistance. Pololi et al8 described a peer mentoring program that identified empowerment as an important component, and several of the programs described in this issue of Academic Medicine9–14 similarly have emphasized the importance of empowerment in faculty development.

이러한 프로그램의 대부분은 선배 멘토에 따르는 도제식 관점을 따르는 경향이 있으며, 성장 및 학습에 대한 자극을 제공하기 위해 작업 활동을 사용하여 동기 부여가 되는 community of practice를 만드는 경향이 있습니다. 일부 임상 연구, 품질 향상 및 임상 치료에 중점을 둔 프로그램의 예가 있지만, 이들 프로그램은 주로 의학교육자 개발에 집중되어 있습니다.
Most of those programs tend to follow an apprentice perspective,15 depending upon senior mentors and creating a supportive motivated community of practice using work activities to provide the stimulus for growth and learning. The programs are mostly clustered on developing medical educators, although there are examples of programs focused on clinical research, quality improvement, and clinical care.

Gooding 등은 의학 교육과 관련된 학술 활동에 관심이있는 사람들을 모으기 위해 병원 기반의 교육 아카데미를 창설함으로써 학자 공동체를 발전시키는 또 다른 접근 방식에 대해 설명합니다. 회원들은 교육 프로젝트 추진에 관심이있는 의학 교육 장학금에 대한 헌신에 따라 선정되었습니다. 회원들의 설문 조사에서 저자는 아카데미가 참가자들의 네트워킹 기회를 향상시키고 특히 여성들을 도와 교육자로서의 정체성을 개발할 수 있음을 발견했습니다.
Gooding et al11 describe another approach to the development of a community of scholars through creation of a hospital-based teaching academy to bring together those interested in scholarly activities associated with medical education. Members were chosen based on their commitment to medical education scholarship shown by their interest in pursuing an education project. In a survey of the members, the authors found that the academy enhanced the networking opportunities of participants and helped them—particularly women— develop identities as educators.

임상영역은 senior 교수진이 junior 교수를 가르치면서 FD에도 도움이됩니다. Iyasere 등 14)은 노인 병원이 더 많은 senior 교수진과 함께 어려운 사례를 토론 할 수있는 병원 코칭 프로그램을 설명한다. 이 프로그램은 새로 졸업 한 레지던트의 피드백과 지속적인 임상 적 성장의 중요성을 인식합니다. 참가자들은 이 프로그램이 학습 및 환자 치료 결과 개선에 가치가 있음을 알게되었습니다.
The clinical arena is also amenable to faculty development through mentorship of junior faculty by senior faculty. Iyasere et al14 describe a clinical coaching program for hospitalists in which junior hospitalists can discuss difficult cases with more senior faculty. The program recognizes the importance of feedback and continued clinical growth in the newly graduated resident. Participants found the program to be valuable for learning and for improving patient care outcomes.

이번 호에 기술 된 프로그램과 최근의 교수진 개발 경험을 고려할 때, FD활동에 대한 현재의 접근 방식에는 부족한 점이 있음이 분명해졌습니다. 일부 교수진은 훌륭한 프로그램의 혜택을 받을 수 있는 기회를 갖지만 이들은 예외적입니다. 대부분의 교수들에게는 그러한 기회는, 내가 준비하고 있는 것과 같은, 가끔 열리는 회의와 강의로 제한됩니다.
As I considered the programs described in this issue and my own recent experience with faculty development, it became apparent that there is something lacking in our current approach to this activity. While some faculty have the opportunity to benefit from excellent programs, they are the exception. For most faculty, their development is limited to occasional conferences and lectures, such as the one I was preparing.

역량, 개별 평가, 명확한 목표, 프로그램 감독에 책임이 있는 리더를 정의한 학부 의학 교육 및 대학원 의학 교육과는 달리, 우리는 교수진 경력의 다음 단계를 육성foster하기 위한 정의 된 접근법이 없습니다.
Unlike undergraduate medical education and graduate medical education, which have defined competencies, individual assessments, clear goals, and leaders responsible for oversight of the programs, we have no defined approach for fostering the next phase of a faculty member’s career.

우리가 학생과 레지던트들이 가능한 최고가 될 수 있도록 도울 책임이 있는 것처럼, 교수진이 최고가 될 수 있도록 돕는 것도 우리 책임입니다. 성인 학습 이론에 대한 지식을 통해 우리는 개인이 자신의 잠재력을 최대한 발휘할 수 있도록 각 교수 구성원의 요구에 맞는 프로그램을 만들 수 있습니다.
It should be our responsibility to help faculty become the best that they can be, just as we are responsible to help our students and our residents become the best that they can be. With our knowledge about adult learning theory, we could create programs tailored to the needs of each faculty member to help that individual reach his or her full potential.

교수진의 성장과 발전은 평생의 과정임을 인식함으로써 시작할 수 있습니다. 우리는 각 교수진의 성장을 정의하고, 가치를 부여하고, 양성해야하며, 제도 및 인구 건강 요구와의 연계성을 찾고, 개인 목표를 달성하고 결과를 모니터 할 수 있도록 멘토 교육 및 지원과 같은 자원을 할당해야합니다.

We could begin by recognizing that faculty growth and development is a lifelong process. We should

define, value, and nurture each faculty member’s growth,
find alignment with institutional and population health needs,
allocate resources such as mentor training and support to help meet individual goals, and
monitor outcomes.

공동의 지지와 개인 성장 및 직업적 정체성 개발을 제공하는 프로그램이 우리 기관의 예외가 아니라 표준이되어야합니다. 우리는 FD를 강좌 또는 교육 세션으로 보는 관점에서 벗어나, FD을 위한보다 포괄적인 비전으로 전환해야합니다. 이러한 비전은 학생들의 교육적 필요와 대중의 건강 관리 요구를 예측하고 다룰 수있는 건강하고 유능한 의학 교육자, 연구원, 임상의, 학자 및 행정 인력으로 이어질 수 있습니다. 또한 개인 및 교수로서의 잠재력을 충분히 발휘합니다.

Programs that provide collegial support and individual growth and the development of professional identity, such as those described in this issue, should become the standard and not the exception at our institutions. We need to move away from considering faculty development as a course or a training session and into a more comprehensive vision for faculty development. That vision could lead to a healthier, more capable workforce of medical educators, researchers, clinicians, scholars, and administrators who would be able to anticipate and address the educational needs of their students and the health care needs of the public and, in so doing, also meet their full potential as individuals and faculty.

1 Block SM, Sonnino RE, Bellini L. Defining “faculty” in academic medicine: Responding to the challenges of a changing environment. Acad Med. 2015;90:279–282.

3 Steinert Y. Commentary: Faculty development: The road less traveled. Acad Med. 2011;86:409–411.

5 Lyness JM, Lurie SJ, Ward DS, Mooney CJ, Lambert DR. Engaging students and faculty: Implications of self-determination theory for teachers and leaders in academic medicine. BMC Med Educ. 2013;13:151.

8 Pololi LH, Knight SM, Dennis K, Frankel RM. Helping medical school faculty realize their dreams: An innovative, collaborative mentoring program. Acad Med. 2002;77:377–384.

10 Coates WC, Runde DP, Yarris LM, et al. Creating a cadre of fellowship-trained medical educators: A qualitative study of faculty development program leaders’ perspectives and advice. Acad Med. 2016;91:1696–1704.

~~17 Lown BA, Newman LR, Hatem CJ. The personal and professional impact of a fellowship in medical education. Acad Med. 2009;84:1089–1097.~~

18 Farmer PE, Rhatigan JJ. Embracing medical education’s global mission. Acad Med. 2016;91:1592–1594.

20 Sklar DP. Global health education in a changing world: The next new conversations topic. Acad Med. 2016;91:603–606.

Moving From Faculty Development to Faculty Identity, Growth, and Empowerment

Sklar, David P. MD

Academic Medicine:

December 2016 - Volume 91 - Issue 12 - p 1585–1587

doi: 10.1097/ACM.0000000000001447

From the Editor

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

TTT(TOT)프로그램의 가장 효과적인 방법: A Systematic Review (J Contin Educ Health Prof. 2012) (0)	2017.01.24
TTT(TOT)코스의 단기 효과와 장기 효과(Med Educ, 2008) (0)	2017.01.24
Chapter 2. 교육 개선을 위한 교수개발 [Faculty Development in the Health Professions] (0)	2017.01.19
교육의 스칼라십: 21세기의 필수불가결 요소(Acad Med, 2000) (0)	2017.01.19
Chapter 15. 국제교수개발 [Faculty Development in the Health Professions] (0)	2017.01.18

Chapter 2. 교육 개선을 위한 교수개발 [Faculty Development in the Health Professions]

Meded. 2017. 1. 19. 10:45

2017. 1. 19. 10:45

Chapter 2. 교육 개선을 위한 교수개발 [Faculty Development in the Health Professions]

Chapter 2 Faculty Development for Teaching Improvement

Carol S. Hodgson and LuAnn Wilkerson

2.1 Introduction

교육 향상을 위한 FDP는 보건 전문 분야 문헌에서 보고 되는 가장 일반적인 유형이다.

Faculty development to improve teaching is the most common type of faculty development activity reported in the health professions literature.

2.2 역사적 맥락

2.2 Historical Perspective

미국에서의 교수법 개선을위한 중요한 도구로서의 교수 개발의 탄생은 Project in Medical Education로 거슬러간다. 1955 년 버팔로 대학교 (University of Buffalo)에서 재정 지원을 받은 이 합작 투자는 의과대학의 조지 밀러 (George Miller) 박사와 교육대학의 스티븐 아브라함 손 (Stephen Abrahamson) 박사의 공동 지도력하에 수행되었으며, 의과 대학에서의 교육의 설계 및 전달을 담당하는 교육 연구의 사례 (Miller 1980)에 초점을 두었다.

The birth of faculty development as a critical tool for improving teaching in the United States has been tracked to the Project in Medical Education. This collabora- tive venture, funded by the Commonwealth Foundation at the University of Buffalo in 1955 under the collaborative leadership of George Miller, MD, from the School of Medicine, and Stephen Abrahamson, PhD, from the School of Education, was focused on bringing the findings of research in education to bear on the design and delivery of teaching in the medical school (Miller 1980 ).

1977 년에 출판 된 미국 전역의 의과 대학 교수진 설문 결과의 성적 보고서에 따르면 대부분의 교수진은 교사로서의 역할에 대해 불만을 갖고 있으며 교수법에 관해 더 많이 배울 수있는 기회를 갖고 싶어한다 (Association of American Medical Colleges 1977; Jason and Westberg 1982).

A seminal report of the results of a survey of faculty members from medical schools from across the United States published in 1977 indicated that most faculty members felt ill-prepared for their roles as teachers and welcomed opportunities to learn more about how to teach (Association of American Medical Colleges 1977 ; Jason and Westberg 1982 ).

동시에 미국의 고등 교육에서 교사에 대한 학생 평가를 더 많이 사용하게 되면서 대학 및 대학교 교수진의 교육 향상 프로그램이 등장했습니다 (Centra 1976). 마찬가지로, 1970 년대 네덜란드에서는 고등 교육에서 교수법을 개선하기위한 첫 번째 교수 개발 프로그램이 시작되었다 (Metz et al. 1996). 1970 년대 이전에는 특정 교과 분야의 안식년과 professional conference가 교육 개선에 대한 일반적인 접근 방식이었으며, 이는 콘텐츠 전문성이 대학 교사에게 중요한 요구 사항이라는 가정을 반영하는 것이다. 매사추세츠 대학 (University of Massachusetts)의 Clinic to Improve University Teaching에 있는 알렌 (Allen)과 그의 동료들의 업적에 자극을 받아, Bergquist and Phillips (1975)의 교수진 개발 핸드북, Gaff의 Faculty Renewal (1975) 가르치는 기술과 방법이 탄생했다 (Sorcinelli 외. 2006).

At this same time in higher education in the United States, the increasing use of student evaluations of teachers led to the emergence of programs to improve the teaching of college and university faculty members (Centra 1976 ). Similarly, in the Netherlands during the 1970s, the fi rst faculty development programs to improve teaching in higher education began (Metz et al. 1996 ). Prior to the 1970s, sabbati- cals and professional conferences in specific disciplinary fields were the usual approach to the improvement of teaching, refl ecting the assumption that content expertise was the critical requirement for university teachers. Stimulated by the work of Allen and his colleagues at the University of Massachusetts in the Clinic to Improve University Teaching, the Handbook for Faculty Development by Bergquist and Phillips ( 1975 ) and Toward Faculty Renewal by Gaff ( 1975 ), a focus on the improvement of teaching skills and methods was born (Sorcinelli et al. 2006 ).

고등 교육에서 teaching improvement programs의 초점은 학생들이 배우는 방법에 대한 이해가 수년 동안 진화되어 오면서 함께 바뀌었다 (Wilkersonand Irby 1998).

행동 이론은 개개인의 상담 및 비디오 녹화 된 마이크로 티칭 세션과 같은 교수진 개발 접근법을 사용하여 관찰 가능한 교사 행동 및 개별 교수법 기술에 중점을 두고 개선 프로그래밍을 가르치는 초기 시기를 안내했습니다. 예를 들어, 전형적인 교수진 개발 세션에서는 강의의 목적을 설정하고, 질문하고, 학생의 대답에 응답하는 방법을 다루었습니다.
1980 년대에는 학습 인지 이론에 대한 관심이 커지면서 코스 디자인과 학생들의 인지와 정보 처리를 강조하는 학습 방법의 사용에 중점을 둔 교수법 개선 프로그램을 개발하는 것과 관련이있었습니다. Schön (1987)이 묘사 한 reflect in practice이라든가, 학습자의 identified needs에 맞게 자신의 전문 지식을 번역 할 수있는 교사의 능력에 관한 것(Shulman 1986)이다.
1990 년대에는 사회 구성 주의자들의 학습 이론에 대한 관심이 높아짐에 따라 교수법 개선 활동에는 교수진이 대화식 연습, 동료 코칭 및 형성을 사용하여 서로에게서 배우는 확장 세미나 및 세로 워크샵 사용이 포함되었습니다 서로 배우고 자하는 공통된 관심사와 관심사를 가진 교사들로 구성된 '학습 공동체'에 대한

The focus of teaching improvement programs in higher education has changed as the understanding of how students learn has evolved over the years (Wilkersonand Irby 1998 ).

Behaviorist theories of learning guided the earliest days of teach-ing improvement programming, creating an emphasis on observable teacher behav-iors and discrete teaching skills, often using faculty development approaches such as individual consultation and video-recorded microteaching sessions. For exam-ple, typical faculty development sessions addressed setting the objectives of a lec-ture, asking questions, and responding to students’ answers.
In the 1980s, a growing interest in cognitive theories of learning was associated with the creation of teach-ing improvement programs focused on the design of courses and the use of learn-ing methods that stressed students’ cognition and information processing, including a growing emphasis on the teacher’s ability to translate his or her content expertise in ways to meet the identified needs of learners (Shulman 1986 ) and the ability to ‘reflect in practice,’ described by Schön ( 1987 ).
In the 1990s, concurrent with a growing interest in social constructivist theories of learning, teaching improvement activities included the use of extended seminars and longitudinal workshops in which faculty members would learn from and with one another, using interactive exercises, peer coaching, and the formation of ‘learning communities’ composed of teachers with common interests and concerns for the purpose of learning from one another.

2.3 교육 역량에 관한 프레임워크

2.3 A Competency Framework for Teaching

교육 개선 프로그램의 디자인의 중심은 건강 전문 교육에 종사하는 잘 준비된 교수진 (Irby 1994)이 필요한 지식, 기술 및 태도에 관한 문제입니다.

Central to the design of teaching improvement programs is the question of what knowledge, skills, and attitudes are needed by the well-prepared faculty member engaged in health professions education (Irby 1994 ).

2004 년 네덜란드의 14 개 연구 집약 대학에서 교육을위한 국가 품질 보증 시스템이 구현되었습니다 (van Keulen 2006).

In 2004, a national quality assurance system for teaching was implemented at all 14 research-intensive universities in the Netherlands (van Keulen 2006 ).

그 결과, 세 가지 교육 수준 ( '마이크로', '중간'및 '매크로')에서 다섯 가지 하위 영역으로 교육의 연속체을 포괄하는 여섯 가지 교육 영역이 포함되었습니다. 교과서의 3 가지 수준 ( '마이크로', '중간', '매크로')은 교수진의 책임 수준을 평가하고 '교사'와 '교사', '교사'및 '석사 교육자' (교사 대 교육 지도자) (Molenaar 외. 2009).

The resulting framework included six teaching domains that cover the contin- uum of education with fi ve sub-domains at three teaching levels (‘micro,’ ‘meso,’ and ‘macro’). The three levels of the framework (‘micro,’ ‘meso,’ and ‘macro’) allow for assessing faculty members’ level of responsibility and providing distinctions between ‘teacher’ and ‘master teacher’ and ‘educator’ and ‘master educator’ (i.e. teacher vs. educational leader) (Molenaar et al. 2009 ).

2009 년 영국의 의학 교육자 협회 (AoME)는 임상 및 비 임상 의학 (예 : 진료, 수의학 및 의료) 교육자 (Academy of Medical Educators 2012)를 위한 일련의 전문 표준을 수립했습니다.

In 2009, the Academy of Medical Educators (AoME) in Great Britain estab- lished a set of professional standards for clinical and non-clinical medical (i.e. den- tal, veterinary, and medical) educators (Academy of Medical Educators 2012 ).

'핵심 성과 목표'는 '고품질의 환자 진료를 제공하는 데있어 의료 교육자의 중심 역할에 대한 더 큰 인정을 얻는 것입니다.'(Academy of Medical Educators 2008 5 페이지).

A ‘key performance target’ was to ‘assure greater recognition of the central role of medical educators in the delivery of high quality patient care.’ (Academy of Medical Educators 2008 p. 5).

AoME 전문 표준의 핵심은 7 가지 핵심 가치입니다 : (1) 전문 무결성; (2) 교육 장학금; (3) 기회와 다양성의 평등; (4) 대중을 존중하는 것. (5) 환자 존중; (6) 학습자 존중; (7) 동료에 대한 존중

Central to the AoME Professional Standards are seven core values:

(1) profes- sional integrity;

(2) educational scholarship;

(3) equality of opportunity and diversity;

(4) respect for the public;

(5) respect for patients;

(6) respect for learn- ers; and

(7) respect for colleagues.

이러한 핵심 가치와 함께 의학 교육의 핵심 역량 영역은 다음과 같습니다. (1) 학습 활동의 설계 및 계획; (2) 학습자의 교육 및 지원; (3) 학습자에 대한 평가 및 피드백; (4) 교육 연구 및 증거 기반 실습; (5) 교육 경영 및 리더십 (Academy of Medical Educators 2012)

Along with these core values are fi ve competency domains central to medical education:

(1) design and planning of learning activities;

(2) teaching and support of learners;

(3) assessment and feedback to learners;

(4) educational research and evidence- based practice; and

(5) educational management and leadership (Academy of Medical Educators 2012 ).

일련의 교사 역량을 기술하는 작업은 효과적인 임상 교육을 정의하고 평가하기위한 초기 작업을 기반으로한다 (Harden and Crosby 2000; Irby 1978; Price and Mitchell 1993; Skeff 외 1992). 1990 년대 스탠포드 교수 개발 프로그램 (Stanford Faculty Development Program)은 다음과 같은 7 가지 특정 교육 능력으로 구성된 임상 교육 향상을위한 프레임 워크를 개발 및 보급했다.

(1) 긍정적 학습 환경 조성.

(2) 수업 세션의 제어;

(3) 의사 전달 목표;

(4) 이해와 보급 촉진;

(5) 평가;

(6) 피드백;

(7) 자기 주도 학습을 촉진.

The work to describe a set of teacher competencies builds on the early work to defi ne and evaluate effective clinical teaching (Harden and Crosby 2000 ; Irby 1978 ; Price and Mitchell 1993 ; Skeff et al. 1992 ). In the 1990s, the Stanford Faculty Development Program developed and disseminated a framework for the improvement of clinical teaching (Skeff et al. 1992 ) composed of seven specifi c teaching competencies:

(1) establishing a positive learning climate;

(2) control of the teaching session;

(3) communicating goals;

(4) promoting understanding and retention;

(5) evaluation;

(6) feedback; and

(7) promoting self-directed learning.

2006 년, Skeff와 동료 그룹은 기술 개발 프레임 워크를 개발 및 구현한다는 목적으로 Competency로서의 강의에 관한 2 일간의 회의를 개최했습니다 (Srinivasan 외, 2011). 이 그룹은 의학 교육에서 4 가지 핵심 가치 또는 교육 원칙을 설명했다. (1) 학습자 참여. (2) 학습자 중심성; (3) 적응력; (4) 자기 반성; 그들은 또한 모든 의학 교육자에게 6 명의 핵심 의학 교육자 역량을 제안했다 (표 2.1 참조).

In 2006, Skeff and a group of colleagues held a 2-day conference on Teaching as a Competency with the goal of developing and implementing a skills-development framework (Srinivasan et al. 2011 ). The group described a set of four core values or principles for teaching in medical education:

(1) learner engagement;

(2) learner- centeredness;

(3) adaptability; and

(4) self-refl ection;

they also proposed six core medical educator competencies for all medical edu- cators (see Table 2.1 ).

지금까지 제안 된 다양한 역량 틀 (표 2.1에 요약되어 있음) 사이에는 National Board for Professional Teaching Standards(2002)가 미국에서 초 중등 교육에 대해 식별 한 내용을 포함하여 많은 부분이 중첩되어 있습니다. 다양한 보고서에 사용 된 용어는 프로페셔널리즘와 역할 모델링 (Srinivasan et al. 2011) 또는 의학 정보학 (Harris et al. 2007)과 같이 약간 다를 수도 있고 새로운 개념이 도입 될 수도있다. 그러나 보건 종사자 교육을 위한 역량의 전반적인 설정은 매우 일관되고 비교적 잘 정의되어있다.

There is a great deal of overlap between the various competency frameworks proposed thus far (and outlined in Table 2.1 ), including those identifi ed for pri- mary and secondary education in the United States by the National Board for Professional Teaching Standards ( 2002 ). The terms used in the various reports may be slightly different, or a new concept may be introduced, such as profes- sionalism and role modeling (Srinivasan et al. 2011 ) or medical informatics (Harris et al. 2007 ); however, the overall set of competencies for teaching in the health professions is quite consistent and relatively well defi ned.

2.4 교수 능력 개발을위한 능력 개발 - 선택된 사례

2.4 Faculty Development to Meet Teaching Competencies – Selected Examples

2.4.1 Competency Framework 고르기

2.4.1 Choosing a Competency Framework

이 장의 목적은 보건 전문가 교사를위한 역량 프레임 워크를 정의하는 것이 아니라 결과 개선 프로그램에 참여할 교사들을 위한 역량 강화 프로그램을 계획하는 사람들을 지원하는 것입니다. Milner et al. (2011)은 교수 역량을 정의하는 세 가지 방법을 제안합니다 :

(1) 성공적인 교수진이 되기 위해 위해 Bland and Schmitz (1986)가 기술한 특성의 사용.

(2) 확립 된 역량 프레임 워크의 사용; 또는

(3) 워크샵 및 회의 중에 개발 된 전문가 합의.

It is not the goal of this chapter to define a competency framework for health profes- sions teachers, but instead to assist those persons planning teaching improvement programs in identifying a set of competencies for the teachers that will be involved in the resulting program. Milner et al. ( 2011 ) suggest three methods for defi ning faculty competencies: (1) use of the characteristics described by Bland and Schmitz ( 1986 ) for successful faculty members; (2) use of an established competency frame- work; or (3) expert consensus developed during workshops and conferences.

2.4.2 역량 영역 1 : 학습 활동의 설계 및 계획

2.4.2 Competency Domain 1: Design and Planning of Learning Activities

AoME Domain 1은 '교육 디자인 및 학습 개발 프로세스'(Academicy of Medical Educators 2012 p. 15)에 대한 다음 표준에 중점을 둡니다.

(1) 커리큘럼 개발에 학습 원리를 사용하는 것;

(2) 필요성 평가의 개발과 사용;

(3) 학습 목표 정의;

(4) 목표에 연계 된 학습 방법 / 활동 선택; 과

(5) 학습 결과 평가 (특정 표준에 대해서는 부록 A 참조).

이 요소들은 Kern et al. (1998) : 의학 교육을위한 커리큘럼 개발 : 6 단계 접근 과 매우 비슷하다.

AoME Domain 1 is focused on the following standards for ‘educational design and learning development processes’ (Academy of Medical Educators 2012 p. 15):

(1) using learning principles in the development of curricula; (2) developing and using needs assessment;

(3) defi ning learning objectives; (4) selecting learning methods/activities linked to objectives; and

(5) evaluating learning outcomes (see Appendix A for the specifi c standards). These elements are very similar to those described by Kern et al. ( 1998 ) in Curriculum Development for Medical Education: A Six-Step Approach :

Step 1 – Problem identifi cation and general needs assessment;

Step 2 – Targeted needs assessment;

Step 3 – Goals and objectives;

Step 4 – Educational strategies;

Step 5 – Implementation;

Step 6 – Evaluation (Kern et al. 1998 p. 5).

아래에 설명 된 두 가지 교수 개발 프로그램은 Kern et al. (1998) 커리큘럼 개발 모델을 따르므로 AoMe Domain 1을 달성하기위한 패밀리 개발 프로그램의 유용한 예입니다.

The two faculty development programs described below follow the Kern et al. ( 1998 ) model for curriculum development and therefore are useful examples of fac- ulty development programs to achieve AoMe Domain 1.

Snyder (2001)는 한 달에 3 시간 동안 10 개월 동안 커리큘럼 개발에 대한 일련의 워크샵으로 구성된 1 년 가정 의학과 교수 개발 개발 펠로십의 구성 요소를 설명합니다. 워크샵의 강의 형식에는 독서, 단편 강의, 그룹 토의 및 커리큘럼 프로젝트 개발이 포함됩니다.

Snyder ( 2001 ) describes a component of a 1-year Family Medicine faculty devel-opment fellowship consisting of a series of workshops on curriculum development for 3 h per month for 10 months. The teaching format for the workshops included readings, short lectures, group discussions, and the development of a curricular project.

Windish et al. (2007)은 존스 홉킨스 대학 의과 대학에서 Kern 등을 사용하여 커리큘럼 디자인에 대한 교수진 개발 프로그램을 제공 한 경험 16 년을 기술합니다. (1998) 모델 :

Windish et al. ( 2007 ) describe 16 years of experience in offering a faculty devel- opment program on curriculum design at Johns Hopkins University School of Medicine using the Kern et al. ( 1998 ) model:

이 프로그램의 목표는 참가자들에게 다음과 같습니다. (1) 의학 교육에서 커리큘럼을 디자인, 구현, 평가 및 보급하기위한 지식, 태도 및 기술을 개발합니다. (2) 커리큘럼을 디자인, 시험, 구현, 평가, 쓰기 및 발표 (Windish et al. 2007 p. 656).
The goals of the program are for participants to:

(1) develop the knowledge, attitudes, and skills to design, implement, evaluate, and disseminate a curriculum in medical education; and

(2) design, pilot, implement, evaluate, write-up, and present a curriculum (Windish et al. 2007 p. 656).

10 개월 프로그램은 대화 형 워크샵, 독서, 멘토링 된 커리큘럼 개발 프로젝트 및 in-progress reporting 세션을 통해 주간 반나절 세션으로 구성되었습니다. 16 년 동안 145 명의 교수진이 프로그램을 완료했습니다.

The 10-month program consisted of a weekly half-day session with interactive workshops, readings, a mentored curriculum development project, and in-progress reporting sessions. Over a period of 16 years, 145 faculty members completed the program.

이 두 프로그램은 모두 Kern et al. (1998) 단일 기관 내에서 커리큘럼 개발 모델; 그러나 첫 번째 프로그램은 참가자가 선호하는 과정이 뒤따른 지 여부를 결정하기 위해 개발 된 실제 커리큘럼을 평가하고 두 번째 프로그램은 오랜 기간 동안 자체 보고서를 사용했습니다.

These two programs are interesting in that they both use the Kern et al. ( 1998 ) model for curriculum development within a single institution; however, the first program evaluated the actual curricula developed to determine if the preferred pro- cess was followed by participants, and the second program relied on self-report, albeit over an extended period of time.

2.4.3 역량 영역 2 : 교육 및 학습자 지원

2.4.3 Competency Domain 2: Teaching and Supporting Learners

AoME 도메인 2의 핵심 요소는 다음과 같습니다 :

(1) 교수 / 학습 방법;

(2) 학습 환경;

(3) 교수에 대한 피드백;

(4) 능동 학습;

(5) 성찰 (부록 A 참조). 이러한 역량을 충족시키는 FDP은 문헌에 기술 된 교수 개발의 가장 일반적인 유형입니다.

Core elements of AoME Domain 2 include:

(1) teaching/learning methods;

(2) the learning environment;

(3) feedback on teaching;

(4) active learning; and

(5) refl ec- tion (see Appendix A ).

Faculty development programs to meet these competencies are the most common type of faculty development described in the literature.

이 영역의 대표적인 예로 스탠포드 교수 개발 프로그램 (Stanford Faculty Development Program)이 있습니다.이 프로그램은 이해에 기초한 다양한 특수 주제의 가르침에 중점을두고 있으며 내용, 학습자, 교사 및 상황이 효과적으로 상호 작용하는 방식에 효과적으로 응답합니다. 학습 촉진.

A prime example in this domain is the Stanford Faculty Development Program, which has focused on the teaching of a variety of special topics based on under- standing and responding effectively to the ways in which content, learners, teach- ers, and context interact to promote learning.

다른 기관의 교수진은 한 달 동안 스탠포드 의과 대학을 방문한 후 자신의 동료들과 함께 교육 개선 프로그램을 시행하기 위해 고국으로 돌아갑니다. 스탠포드 프로그램은 7 개의 2 시간짜리 세미나, 독서, 토론, 피드백이 담긴 세미나 중 하나에 대한 비디오 테이프 연습 교습, 그리고 자신의 고국에서 프로그램을 가르치기 위해 준비하는 추가 실습 세션으로 구성됩니다. 이 TOT 전파 컨셉은 '대상 집단의 특성을 가진 change agent를 변화시키면 동료들에게 새로운 아이디어를 널리 알릴 수 있다는 믿음'는 아이디어를 바탕으로합니다 (Skeff 외, 1992 p. 1156).

Faculty members from other institutions travel to the Stanford School of Medicine for a month of training, and then return to their home institutions to implement the teaching improvement program with their own colleagues. The Stanford Program consists of seven 2 h seminars, readings, discussion, video-taped practice teaching of one of the seminars with feedback, and additional practice teaching sessions to prepare to teach the program at their home institution. This train-the-trainer dissemination concept builds on the idea that ‘change agents with characteristics of their target audience have strong credibility for disseminating new ideas to their colleagues.’ (Skeff et al. 1992 p. 1156).

Stanford Faculty Development Program의 가장 중요한 목표는 참가자들이 자신의 고국에서 효과적으로 프로그램을 구현하고 기관 참가자가 임상 교육의 변화에 대해보고하는 회고 전 사전 평가 형식을 사용하여 영향을 평가할 수 있도록 준비하는 것입니다. iors (Skeff 외. 1992). 그러나,이 프로그램이 중국에서 실행될 때, 도전이있었습니다; '이 프로젝트는 잘 연구되고 성공적인 모델을 도입한 것이었지만, 문화, 언어 및 교육 시스템의 차이를 성공적으로 극복하는 것은 여전히 큰 도전 과제입니다.'(Wong and Fang 2012 p.357).

The most important goal of the Stanford Faculty Development Program is to prepare participants to effectively implement the program at their home institution and to evaluate its impact by using a retrospective pre-post assessment format in which institutional participants report on changes in their clinical teaching behav- iors (Skeff et al. 1992 ). However, when the program was implemented in China, there were challenges; ‘although this project was an adaption from a well-studied and successful model, it remains a great challenge to successfully overcome differ- ences in culture, language, and educational systems’ (Wong and Fang 2012 p. 357).

교수와 전공의의 교육 기술을 향상시키는 데 도움이되는 가장 일반적인 방법은 워크샵과 발표가 있지만, 연습 및 피드백과 함께 guided reflection를 사용하는 프로그램은보다 다양한 접근법이 효과적 일 수 있다고 제안합니다 (Alteen et al. Branch et al., 2009; Cole et al., 2004; Kumagai 외 2007; Rabow 외 2007; Steinert 외. 2010; Tang 외) Reflection를 사용하여 임상 교육을 향상시키기위한 longitudinal FDP에 대한 디기관 연구에 특별한 관심을 기울일 필요가 있습니다.

While workshops and presentations are the most common methods used to help faculty members and residents to improve teaching skills, programs using guided refl ection, coupled with practice and feedback, suggest that a broader array of approaches can be effective (Alteen et al. 2009 ; Branch et al. 2009 ; Cole et al. 2004 ; Kumagai et al. 2007 ; Rabow et al. 2007 ; Steinert et al. 2010 ; Tang et al. 2009 ). A multi-institutional study of a longitudinal faculty development program to improve clinical teaching using refl ection deserves special note.

이 예는 교수진이 향상된 교수 기술을 개발하는 데 도움을 줄 수있는 다양한 접근 방식과 상황을 설명하기위한 것입니다. 이 두 가지 예 중 특히 흥미있는 점은 교육 개선 프로그램의 설계, 구현 및 평가에있어 기관 간 협력의 힘입니다.

These examples are meant to illustrate a range of approaches and contexts in which faculty members can be helped to develop improved teaching skills. Of particular interest in two of these examples is the power of collaboration among institutions in the design, implementation, and evaluation of teaching improvement programs.

2.4.4 영역 3 : 학습자에 대한 평가 및 피드백

2.4.4 Domain 3: Assessment and Feedback to Learners

이 장에서 다룰 마지막 AoME 영역 인 Domain 3은 학습자에 대한 평가와 피드백에 중점을 둡니다. 이 영역의 교수진 개발 프로그램은 일반적으로 (1) 시험 개발; (2) 다양한 평가 방법의 사용에 대한 일반적인 훈련; 및 (3) 피드백이 있다. 보건 전문가 교육에 사용되는 평가 도구의 범위에는 다양한 형태의 지식 검사 유형, 임상 진료 중 역량 평가 도구 및 시뮬레이션 된 임상 환경에서의 performance evaluation exercises 이 포함됩니다 (Wass and Archer 2011). 그러나 이러한 교수 개선의 영역은 문헌에서 잘 설명되지 않았기 때문에 교수 개발 프로그램에서 다루어지지 않는 경우가 적다는 것을 암시 할 수있다.

The last AoME area to be addressed in this chapter, Domain 3, focuses on assess- ment and feedback to learners. Faculty development programs in this domain gener- ally focus on (1) test development; (2) general training in the use of a variety of assessment methods; and (3) feedback. The range of assessment tools used in health professions education includes various forms of knowledge examination types, tools for evaluating competencies during clinical care, and performance evaluation exercises in simulated clinical settings (Wass and Archer 2011 ). However, this area of teaching improvement has been less well described in the literature, which may refl ect that it is less often being addressed in faculty development programs.

시험 개발 및 표준 설정 개선에 중점을 둔 보건 전문가의 FDP에 대한 연구는 거의 없습니다. Jozefowicz et al. (2002)는 훈련받지 않은 문항 개발자는 표준 방법을 사용하여 훈련 된 사람보다 시험 항목을 작성하는 데 그리 좋지 않다는 것을 보여주었습니다 (예 : NBME (National Board of Medical Examiners) 항목 작성, 작성 문안 작성 기초 및 임상 과학에 대한 시험 문제 (Case and Swanson 1998).

There are few studies of faculty development programs in the health professions that focus on improvement of test development and standard setting. Jozefowicz et al. ( 2002 ) showed that untrained test item writers are not as good at writing exam items as those who are trained using a standard method, such as the one outlined in the National Board of Medical Examiners (NBME) text on item-writing, Constructing Written Test Questions for the Basic and Clinical Sciences (Case and Swanson 1998 ).

효과적인 피드백을 제공하는 것은 종종 교수진이 숙련되고 싶어하는 기술 일 뿐이지 만 피드백 분야의 교육에 초점을 둔보고 된 연구는 거의 없으며 특히 평가 데이터를 제공하는 연구 참가자 만족 정도이다

Although giving effective feedback is often the skill that faculty members list as one in which they would like to become more skilled, there are few reported stud- ies that focus on training in the art of feedback, especially ones that provide evalu- ation data beyond participant satisfaction.

의학교육이 역량 기반 및 발달적 (즉, 교육 연속체에 따른 목표 달성) 교육 모델 (Dath and Iobst 2010, Holmboe et al. 2011)로 신속하게 이동함에 따라 이 분야에서보다 광범위한 FDP의 개발 및 평가가 필요할 것입니다 Ross et al., 2011).

Development and evaluation of more extensive faculty development programs in this area will likely be needed as medical education moves quickly into competency-based and developmental (i.e. achievement of milestones along the educational continuum) educational models (Dath and Iobst 2010 ; Holmboe et al. 2011 ; Ross et al. 2011 ).

2.5 교육 개선 활동 설계
2.5 Designing Teaching Improvement Activities

교사 행동이나 학습자 결과의 실제 변화와 관련된 몇몇 연구는 특정 형식이 다른 학습 개선 형식보다 효과적임을 시사한다 (Chism and Szabo 1997; Steinert et al., 2006; Wilkerson and Irby 1998).

Those few studies associated with actual changes in teaching behaviors or learner outcomes suggest that certain teaching improvement formats are more effective than others (Chism and Szabo 1997 ; Steinert et al. 2006 ; Wilkerson and Irby 1998 ).

교육 활동 개선을 위한 새로운 접근법은 학습자에게 정보를 '밀어 넣기'위해 이미 임상 교육에 사용되는 것과 같이 소셜 미디어 및 기타 간단한 전자 통신 방법의 사용 증가를 활용할 가능성이 높습니다 (Boulos 외. 2006). 비록 교육 기술에 대한 웹 기반 모듈이 수년 동안 이용 가능 하였지만, 교육 개선을 위한 목적으로 사용한 도구에 대해서 기술하거나 평가하는 문헌은 현재 거의 없다 (예 : Practical Doc, http://www.practicaldoc.ca / teaching / practical-prof /).

New approaches to teaching improvement activities will likely capitalize on the growing use of social media and other methods of brief electronic communication, such as those already being used in clinical teaching to ‘push’ information to learn- ers (Boulos et al. 2006 ), but there is little in the literature currently that describes or evaluates the use of these tools for teaching improvement purposes, although Web- based modules on teaching skills have been available for many years (e.g. Practical Doc, http://www.practicaldoc.ca/teaching/practical-prof/ ).

이메일 리마인더를 사용하거나 향후 트위터를 사용하여 교수진 개발의 보조 도구로 사용할 수 있습니다. 더 많은 밀레니엄 학생들이 교수진이되어 감에 따라 우리는 문자 메시지 및 Twitter를 통해 소량의 정보를 수신하고 커뮤니케이션을 위해 소셜 미디어를 사용하는 것에 익숙한 세대에 교수진 개발을 제공하는 방법을 검토해야 할 수도 있습니다.

Use of e-mail reminders, or in the future possibly the use of Twitter to serve as an adjunct to faculty development, may become more common. As more millennial students become faculty members, we may need to examine how we deliver faculty development to a generation that is accustomed to receiving bits of information through texting and Twitter and using social media for communication.

O'Sullivan과 Irby (2011)는 교사, 학습자, 조직 및 환자가 원하는 변화를 이끌어내는 특성을 보다 잘 이해하기 위해보다 복잡한 FD 모델이 필요하다고 제안했습니다. 저자는 개인 참가자들에게만 집중하는 것이 아니라 참가자 및 직장 공동체의 교수진 개발 공동체에 중점을 둘 필요가 있음을 제안합니다.

O’Sullivan and Irby ( 2011 ) have sug- gested that we need a more complex model of faculty development in order to better understand the features that lead to desired changes in teachers, learners, organiza- tions, and patients. The authors suggest the need to include a focus on the faculty development community of participants and the workplace community rather than focusing only on the individual participants.

Influencer : 무엇이든 바꿀 수있는 힘이라는 책에서 Patterson et al. (2008)은 개개인과 조직의 '영향력의 여섯 가지 원인'이 포함될 때 변화의 가능성이 증가한다고 제안했다. 동료의 압력을 이용하고 조직의 보상과 책임 성 측정을 개발하는 것; 변화를위한 개인의 헌신적 인 노력 구축; 다른 사람들의 참여를 통해 새로운 능력을 강화한다. 목표 된 행동이 보상받을 수 있도록 환경을 구조화하는 것.

In the book, Influencer: The Power to Change Anything Patterson et al. ( 2008 ) suggest that the likelihood of change is increased when individual and organizational ‘six sources of infl uence’ are included:

making the undesirable desirable;
capitalizing on peer pressure and
developing organizational rewards and accountability measures;
building the individual’s personal commitment to change;
reinforcing new abilities through the engagement of others; and
structuring the environment so that the targeted behaviors are rewarded.

2.6 FDP에서의 개선 활동에 대한 시사점

2.6 Implications for Teaching Improvement Activities in Faculty Development

학술 활동 및 교육 Scholarship(Boyer 1990)이 보건 전문가 교육에서보다 가치있는 활동이되고 승진과 테뉴어에서보다 영향력 있는 위치를 차지함에 따라 더 많은 기관과 더 많은 정부가 따라갈 것입니다. AoME가 개발 한 역량 프레임 워크는 교수진이 교육 표준을 충족시킬 수 있도록 교수진을 양성하는 프로그램을 만드는 데있어서 교수진 개발자에게 유용한 지침이라고 생각합니다.

As teaching as a scholarly activity and educational scholarship (Boyer 1990 ) become more valued faculty activities in health professions education and assume a more infl uential place in the promotion and tenure process, it is likely that more institutions, and perhaps more governments, will follow the lead of the Netherlands. We believe that a competency framework, such as the one developed by the AoME, is a useful guide for faculty developers in creating programs to train faculty mem- bers to meet teaching standards.

자원은 항상 부족합니다. 예산은 줄어들고 시간은 점점 줄어들고 있습니다. 우리가 Faculty developer로서 우리 전문 학교 내에서 계속 존재한다는 것을 정당화한다면, 우리의 프로그램이 일반 교수진과 기관에 가치가 있음을 입증하기 위해 더 많은 조사가 필요할 것입니다. 학생들과 다른 Trainee에게 해야하는 것처럼 구체적인 능력을 갖추기 위해 교수진을 훈련시키는 포괄적 인 교수 개발 프로그램을 설계함으로써 그렇게 할 수 있습니까? 다양한 역량을 획득하고 역량을 유지하기 위해 교수진을 교육 할 수 있다는 것을 입증 할 개발 모델 (Dreyfus and Dreyfus 1986; Green et al. 2009)을 고려해야합니까?

Resources get scarcer all the time. Budgets are smaller and time seems to be ever shrinking. If we as faculty developers are to justify our continued existence within our professional schools, we will likely need to meet greater scrutiny to demonstrate that our programs are worthwhile to our faculty members and institutions in gen- eral. Can we do that by designing comprehensive faculty development programs that train our faculty members to meet specifi c measureable competencies, just as students and other trainees must do? Should we also consider a developmental model (Dreyfus and Dreyfus 1986 ; Green et al. 2009 ) that will demonstrate that we can train our faculty members to achieve varying levels of competency and maintain their competency over time?

O'Sullivan과 Irby (2011)는 참가자들이 knowledge gap를 확인한 다음 그 차이를 채웠다는 것을 입증 할 수있는 자신의 방법을 개발할 것을 제안합니다. 역량 프레임 워크를 사용하면 교수진에게 교육 기관의 가치와 기대 사항을 알리고 교사로서 식별 된 기준을 충족시킬 필요가 있다고 판단 할 수 있습니다. Comprehensive FDP에서 역량 프레임 워크를 사용하면 개별 교수진뿐만 아니라 더 큰 범위의 교수 커뮤니티에도 커다란 영향을 미쳐서 가르치고 일하는 맥락에 영향을 미칠 수 있습니다. 이는 O'Sullivan과 Irby (2011)가 교수 개발의 궁극적 인 목표라고 제안한 것과 일치합니다. 그들은 그 시스템이 복잡하고 우리 프로그램에 의해 영향을 받는 다양한 실천 공동체와 우리 프로그램이 어디에 위치해 있는지를 고려해야한다고 주장한다.

O’Sullivan and Irby ( 2011 ) suggest that participants identify a knowledge gap and then develop their own methods to demonstrate that they have fi lled that gap. The use of a competency framework should inform faculty members about the values and expectations of the institution, allowing them to eval- uate their own needs to meet identifi ed standards as teachers. Using the competency framework within a comprehensive faculty development program could inform not only the individual faculty member but also the larger community of faculty mem- bers, affecting the context in which they teach and work. This is consistent with O’Sullivan and Irby ( 2011 ) who suggest that this is the ultimate goal of faculty development. They contend that the system is complex and requires us to consider the various communities of practice that are affected by our programs and where our programs are situated.

2.7 Conclusion

1950 년대에는 교수법 개선을위한 교수진 개발이 고등 교육에서 출현하기위한 교수진 개발의 첫 번째 유형 중 하나였습니다. 오늘날, 그것은 여전히 보건의료전문직에서 가장 공통적 인 FD방식입니다. 이 장에서는 보건 의료 교사를 가르치기위한 여러 가지 역량 프레임 워크를 검토했습니다. 우리는 이러한 프레임 워크의 대부분이 다음과 같은 것을 포함하여 각 프레임 워크와 상당히 겹치는 것을 발견했습니다. (a) 커리큘럼 디자인 기술. (b) 학습자를 가르치고 지원하는 것; (c) 평가 및 피드백.

교수 학습 개발 문헌의 여러 우수 사례를 통해이 세 가지 역량을 어떻게 배울 수 있는지 보여주고 다양한 교수 개선 활동의 효과에 대해 알려진 내용을 설명합니다. 문헌은 교사, 학생, 교육 및 환자 간호가 모두 이루어지는 시스템에 대해 유효한 증거의 질에있어 한계가 있습니다. Faculty developer로서 우리는 초보자에서부터 숙련 된 교사에게 진보함에 따라 health professions teachers 에게 필요한 역량을 정의하고 가르치는 데 계속해서 혁신을 기울일 필요가 있습니다.

In the 1950s, faculty development to improve teaching was one of the fi rst types of faculty development to emerge in higher education. Today, it is still the most com- mon form of faculty development in the health professions. In this chapter, we reviewed a number of competency frameworks to improve teaching for health pro- fessions teachers. We found that most of these frameworks had considerable overlap with each one including: (a) skills in curriculum design; (b) teaching and supporting learners; and (c) assessment and feedback. Several best practice examples from the faculty development literature demonstrate how these three competencies might be learned and illustrate what is known about the effectiveness of a variety of teaching improvement activities. The literature is limited in the quality of evidence available about what works for teachers, their students, and the systems in which both educa- tion and patient care occur. As faculty developers, we will need to continue to inno- vate in defi ning and teaching the competencies necessary for our health professions teachers as they progress from novice to master teachers.

2.8 Key Messages

• 교수법 개발을 향상시키기위한 FD은 보건 전문 분야 문헌에서보고 된 가장 일반적인 교수 개발 활동 유형입니다.

• 보건 전문 교사의 교육 향상을위한 많은 역량 프레임 워크가 존재합니다. 이들 대부분은 다음을 포함한다 : (a) 커리큘럼 디자인 기술; (b) 학습자를 가르치고 지원하는 것; (c) 평가 및 피드백.

• 영국의 의학 교육자 아카데미가 개발 한 역량 프레임 워크는 교수 표준을 충족시키기 위해 교수진을 양성하는 프로그램을 개발하고자하는 교수진 개발자에게 유용한 가이드입니다.

• 많은 성공적인 교수 개발 프로그램은 교과 과정을 개발하고, 가르치고, 평가하고 피드백을 학습자에게 제공하기 위해 교수진을 훈련 시켰습니다. 많은 사람들은 교수 개발 프로그램에 참여한 후 행동 변화에 대한 자기보고를 넘어 더 엄격한 평가 방법을 포함 시켰습니다.

• 향후 교수진은 특정 능력을 갖추기 위해 교수진을 훈련시키는 포괄적 인 개발 프로그램을 개발할 것을 고려해야합니다.

• Faculty development to improve teaching is the most common type of faculty development activity reported in the health professions literature.

• Many competency frameworks for improving the teaching of health professions teachers exist; most of these include: (a) skills in curriculum design; (b) teaching and supporting learners; and (c) assessment and feedback.

• The competency framework developed by the Academy of Medical Educators in Great Britain is a useful guide for faculty developers who wish to create pro- grams to train faculty members to meet teaching standards.

• Many successful faculty development programs have trained faculty members to develop curricula, to teach, and to assess and provide feedback to learners. Many have also gone beyond self-report of behavioral change following participation in a faculty development program and have included more rigorous evaluation methods.

• In the future, faculty developers should consider developing comprehensive fac- ulty development programs that train our faculty members to meet specifi c mea- sureable competencies.

Domain 1: Design and Planning of Learning Activities

Domain 2: Teaching and Supporting Learners

Domain 3: Assessment and Feedback to Learners

Dath, D. & Iobst, W. (2010). The importance of faculty development in the transition to competency- based medical education. Medical Teacher, 32 (8), 683–686.

Chapter

Faculty Development in the Health Professions

Volume 11 of the series Innovation and Change in Professional Education pp 29-52

Date: 17 December 2013

Faculty Development for Teaching Improvement

Carol S. Hodgson
, LuAnn Wilkerson

Abstract

In the mid to late 1950s, the idea of preparing university faculty members as teachers emerged in medical education and since then has become the most common type of faculty development in health professions education. Several competency frameworks for health professions teachers have been described in the literature, each of which includes skills in curriculum design, teaching and support of learning, and assessment and feedback. Several best practice examples demonstrate how these competencies might be addressed in faculty development programming. The literature is limited in the quality of evidence available about what works for teachers, their students, and the systems in which both education and patient care occur. Understanding the ‘what’ and ‘how’ of teaching improvement in health professions education will require more rigorous outcome measures and attention to the individual and shared needs of teachers and learners and the communities of practice in which they work.

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

TTT(TOT)코스의 단기 효과와 장기 효과(Med Educ, 2008) (0)	2017.01.24
교수개발에서 교수정체성, 교수성장, 교수권한부여로 (Acad Med 2016) (0)	2017.01.24
교육의 스칼라십: 21세기의 필수불가결 요소(Acad Med, 2000) (0)	2017.01.19
Chapter 15. 국제교수개발 [Faculty Development in the Health Professions] (0)	2017.01.18
교수개발에 관한 Systematic review : 10년간의 업데이트 (BEME Guide No. 40) (참고문헌 검색) (0)	2016.11.16

교육의 스칼라십: 21세기의 필수불가결 요소(Acad Med, 2000)

Meded. 2017. 1. 19. 10:11

2017. 1. 19. 10:11

교육의 스칼라십: 21세기의 필수불가결 요소(Acad Med, 2000)

Scholarship in Teaching: An Imperative for the 21st Century

Ruth-Marie E. Fincher, MD, Deborah E. Simpson, PhD, Stewart P. Mennin, PhD, Gary C. Rosenfeld, PhD, Arthur Rothman, EdD, Martha Cole McGrew, MD, Penelope A. Hansen, PhD, Paul E. Mazmanian, PhD, and Jeffrey M. Turnbull, MD

배경

BACKGROUND

우리는 일반적으로 의과 대학에서 적용되는 스칼라십의 정의가 불필요하게 좁아서 학교의 교육 사명을 수행하는 데 필수적인 합법적 인 학업 활동 및 생산성 영역을 배제한다는 사실을 관찰합니다. 이 좁은 정의에 따르면, 스칼라십은 연구, 결과에 대한 동료 심사 및 새로운 지식의 보급에 의해서만 증명됩니다. 이러한 이유로 인해, 의대의 핵심 교육 사명에 필수적인 교수진은 수락 된 스칼라십의 형태에 참여하지 않기 때문에 승진하지 않는 경우가 많습니다.

We observe that the definition of schol- arship generally applied by medical schools is unnecessarily narrow and excludes areas of legitimate academic activity and productivity that are vital to the fulfillment of the school’s educational mission. According to this narrow def- inition, scholarship is demonstrated only by research, peer review of results, and dissemination of new knowledge. For this reason, faculty who are essential to the core educational mission of their medical schools often are not promoted be- cause they do not engage in accepted forms of scholarship.

일부 교육자는 자신의 전문 지식을 학과나 다른 학교의 교수진과 공유하거나 지역 또는 국가 회의에서 발표 할 수 있습니다. 그럼에도 불구하고 이러한 활동에 내재 된 동료 검토 및 전파활동에도 불구하고 현재의 스칼라십 승진 기준을 충족하지 못할 수 있습니다.

Some educators may be invited to share their expertise with faculty in their depart- ment or at other schools, and through presentations at re- gional or national meetings. Nevertheless, despite the peer review and dissemination inherent in these activities, they may not meet the current promotion criteria for scholarship.

원칙, 준거, 권고

PRINCIPLES,CRITERIA, AND RECOMMENDATIONS

미국 의과 대학 협회 (AAMC) 교육 당국 (GEA)은 교육 장학금의 확대 된 전망을 개발, 보급 및 촉진하기위한 프로젝트에 착수했다.
The Group on Educational Affairs (GEA) of the Asso- ciation of American Medical Colleges (AAMC) undertook a project to develop, disseminate, and facilitate the imple- mentation of a broadened view of educational scholarship.

장학금에 관한 GEA 프로젝트는 다음을 가정한다.
The GEA project on scholarship is predicated on the assumptions that

교육 스칼라십을 정의 할 수 있다.
학습을 지원하는 교육 및 기타 활동은 학술적 활동이 될 수 있다.
스칼라십을 평가하기 위한 준거(피어 리뷰 포함)은 개선 및 개선이 가능하다.
학습을 지원하는 교육 및 기타 활동이 합법적인 학술 활동으로 인정되고 보상되기 위해서는 평가되어야 한다.
학자로서 교육자(educators as scholars)를 지원하기위한 organizational 인프라가 개발되어야 한다.

educational scholarship can be defined;
teaching and other activities supportive of learning can be scholarly;
criteria, including peer review, for the assessment of schol- arship in teaching and other activities supportive of learn- ing can be refined and improved;
teaching and other activities supportive of learning must be evaluated if they are to be recognized and rewarded as legitimate scholarly activities; and
an organizational infrastructure for supporting educators as scholars must be developed.

원칙: 스칼라십의 정의

Principles: Definition of Scholarship

한센 (Hansen)과 로버트 (Roberts)는 지능을 informed, disciplined, and creative manner으로 적용함으로써 지식이 발전되거나 변형 되고, 이것이 스칼라십을 보여주는 것이라 주장한다. 결과물은 동료 평가에 의해 피어 리뷰를 받아 공개되어야합니다. Scholarship Reconsidered에서 1 Boyer는 우수한 교육과 스칼라십을 명확히 구분하지 않았습니다. 이 구별은 Hutchings and Schulman (6)이 정의한 바 있습니다. 그는 교수법에 대한 현재의 지식과 현재의 교 육 결과를 보여주고 동료 평가를 초대하고 학생들의 학습을 탐구하는 것을 포함할 때 스칼라십이 된다고 주장합니다. scholarship in teaching 에 필수적인 특징은 교수법이 공개되고, 평가가 가능하며, 다른 사람들이 만들 수있는 형태로 제공된다는 것입니다 .6 scholarship in teaching 장려에 대한 책임을 지는 교육자로서, 우리가 사용하는 방법의 상대적 영향력 뿐만 아니라 어떤 방법이 다른 것보다 더 효과적인지 이유를 이해해야합니다.

Hansen and Roberts5 argue that scholarship is demonstrated when knowledge is advanced or transformed by application of one’s intellect in an informed, disciplined, and creative manner. The resulting products must be assessed for quality by peer review and made public. In Scholarship Reconsidered,1 Boyer did not make a clear distinction between excellent teaching and teaching as scholarship. This distinction has been defined by Hutchings and Schulman,6 who argue that teaching becomes scholarship when it demonstrates current knowledge of the field and current findings about teaching, invites peer review, and involves exploration of students’ learning. Essential features of teaching as scholarship include the teaching’s being public, being open to evaluation, and being presented in a form that others can build upon.6 As educators who accept responsibility for fostering scholarship in teaching, we not only must recognize the relative influ- ences of the methods we use, but also should understand the reasons some methods are more effective than others.

스카라십을 교육에 적용하기

Applying Scholarship to Teaching

표 1은 발견 (전통적 연구)과 가르침에서 장학금을 평가하는 데 Glassick의 6 가지 기준을 적용하는 방법을 보여줍니다.

Table 1 illustrates how Glassick’s six criteria can be ap- plied to evaluate scholarship in discovery (traditional re- search) and teaching.

스칼라십 준거의 조작화

Operationalizing the Criteria of Scholarship

개별 교수

Individual faculty.

강의, 실험실, 소그룹 및 임상 설정을 포함한 다양한 장소에서의 교육은 정의 된 표준이 충족되었음을 보여주는 적절한 증거가 제시되면 스칼라십으로 인정받을 수 있습니다. 조언이나 멘토링, 교과 과정이나 교재 개발, 교육 행정 등과 같은 다른 학습 관련 활동은 적절한 증거가 제시되면 스칼라십으로 인정받을 수 있습니다.

Teaching in various venues, including lecture, laboratory, small groups, and clinical settings, can be scholarly if appropriate evidence is presented to show that defined standards have been met. Other learning-related ac- tivities, such as advising or mentoring, developing curricu- lum or instructional materials, and educational administra- tion also can be scholarly if appropriate evidence is presented.

연구비 또는 피어-리뷰 저널에 발표 된 원고와 같은 학문적 발견 (예 : 기초 과학, 임상 또는 교육 연구)의 전형적 결과물과는 달리, 교육 관련 스칼라십의 결과물은 웹 기반 자료, 교과서 간행물, 커리큘럼 단위 또는 교수 모듈, 지속적인 교육 프레젠테이션, 커리큘럼 변경 또는 커뮤니티 교육이 포함될 수 있습니다. 교육자의 과제는 이러한 활동의 학술적 특성을 보여주는 증거를 제공하는 것입니다. 표 2는 사용할 수있는 증거의 종류를 보여줍니다

In contrast to the typical products of the schol- arship of discovery (i.e., basic science, clinical, or educa- tional research), which include grants and manuscripts that are published in the peer-reviewed literature, the products of scholarship related to education might include Web-based materials, textbook publications, curriculum units or teach- ing modules, continuing education presentations, curricular change, or community education. The challenge for educa-tors is to provide the evidence that demonstrates the schol-arly nature of these activities. Table 2 illustrates the kinds of evidence that can be used

교육의 스칼라십 장려/평가/보상하기 위해 필요한 인프라

Infrastructure needed to foster, assess, and reward scholarship in teaching and other activities supportive of learning.

교육 스칼라십과 관련된 근거를 개발하려면 학과, 의과 대학, 대학 및 전문 기관이 교육 학자의 결과물 창작을 지원하고, 비판적으로 검토하고, 격려하는 메커니즘을 제공해야합니다. 이 조직 구조가 없으면 교수진은 의학 교육 분야의 지식을 발전시키는 교육자 및 학자로서 계속 struggle 할 것입니다.

Developing the evidence associated with educa- tional scholarship requires that departments, medical schools, universities, and professional organizations provide mechanisms to support the creation, critical review, and dis- semination of educational scholars’ works. Without this or- ganizational infrastructure, faculty will continue to struggle as educators and scholars who advance knowledge within the field of medical education.

의과대학와 전문 단체는 피어 리뷰 연구를 지원하는 메커니즘을 가지고 있지만 교수 학습의 동료 평가를 위한 병렬 메커니즘은 매우 다양합니다. 특히 학술 결과물이 논문이 아니라 강의 비디오 테이프, CD-ROM, 강의 계획표 또는 교수법 인 경우 더 그러하다.

Med- ical schools and professional organizations have mechanisms to support peer-reviewed research, but parallel mechanisms for peer review of teaching scholarship are highly variable, particularly if the scholarly products are instructional vid- eotapes, CD-ROMs, course syllabi, or teaching, rather than manuscripts.8

교육 장학금을 발전시키는 것은 각 의과 대학 및 전문기구가 교수진을 교육자로 지원할 수 있는 기반을 가지고 있는 정도를 체계적으로 입증해야합니다. Bolman과 Deal9는 4 가지 프레임을 제안했다.

Advancing teaching scholarship requires a systematic ex- amination of the degree to which each medical school and professional organization has the infrastructure to support faculty as educators. Bolman and Deal9 outline four ‘‘frames,’’ or perspectives,

Frame 1: Structural. 구조적

의과 대학 및 관련 학술 보건 과학 센터의 구조적 틀은 조직도와 내부 정책 및 절차를 통해 확인할 수 있습니다. 이 다이어그램과 문서는 교수진의 직위, 역할 및 보고 라인, teaching scholarship을 지원할 수 있는 잠재적 인 자원 및 학부, 대학원 및 계속 교육과 관련된 공식 구조와의 관계를 나타냅니다.

The structural frame of a medical school and its associated academic health science center may be ascertained by viewing their organizational charts and in-stitutional policies and procedures. These diagrams and doc- uments indicate the positions, roles, and reporting lines of faculty, potential resources available to support teaching scholarship, and their relationships to the formal structures associated with undergraduate, graduate, and continuing ed- ucation.

Frame 2: Human resources. 인적자원

인적 자원 프레임은 사람의 지식, 기술, 태도 및 에너지의 주요 변수를보고 조직을 만들거나 깨뜨리는 방법입니다. 이 프레임의 사람들은 조직의 우선 순위를 달성하기위한 투자로 간주됩니다.

The human resources frame is a way to view key variables of people’s knowledge, skills, atti- tudes, and energy that either make or break an organization. People, in this frame, are seen as an investment toward achiev- ing the organization’s priorities.

이 기관들이 교수진의 지식, 기술 및 행동을 교육자로서 지속적으로 발전시킬 수있는 범위.

the extents to which these organizations sup- port continuous advancement of their faculty members’ knowl- edge, skills, and behaviors as educators.

Frame 3: Political frame. 정치적 프레임

의과 대학 및 전문 직업인 단체의 자원이 더욱 강해지면서 교육자는 우선 순위 및 자원 할당을 결정하는 결정을 적극적으로 지시하거나 비공식적으로 영향을 주어야합니다. 정치적 관점에서 교육자는 scholarship in teaching을 지원할 조직 내에서 진전을 이루려면 자신의 힘을 활용해야합니다. 임상의 및 기초 과학 교사는 정식 및 비공식 정책 결정 그룹의 회원으로 봉사해야하며 핵심 학술, 임상 및 행정위원회의 회원 / 위원장으로 봉사해야하며 다른 교육자와 협력하여 교육의 질을 향상시키는 데 필요한 변화를 효과적으로 옹호해야합니다.

As resources within medical schools and our professional organizations become more con- strained, educators must actively direct or informally influ- ence decisions that determine priorities and resource allo- cations. From a political perspective, educators must utilize their power if they are to make progress within organizations that will support scholarship in teaching. Clinician and basic science educators must serve as members of formal and in- formal policy-setting groups, serve as members/chairs on key academic, clinical, and administrative committees, and form coalitions with other educators to effectively advocate changes needed to enhance the quality of education.

Bolman and Deal는 정치 조직이 조직의 목표가 조직의 상층부에서 결정되는 것이 아니라, 핵심 인력 간의 협상과 상호 작용의 과정을 거쳐 진행된다고 가정한다. 교육자는 조직 내에서 효과적으로 협상을하는 핵심 요원이되어야합니다.

Bolman and Deal argue that the political frame assumes that an or- ganization’s goals are not set from the top, but through an ongoing process of negotiation and interaction among the key players. Educators must become key players who effec- tively negotiate within the organization.

Frame 4: Symbolic. 상징적

조직의 상징적 활동은 가치관, 구성원 및 조직 구성원이 조직에 참여하는 방법을 전달합니다. 예를 들어, 교육자들의 활동과 성취가 우리 의과 대학 및 학회에서 얼마나 publicly and prominently 표시되는지를 고려하십시오. 학과 회의, 교직원 협의회, 경제위원회 및 학장 회의 내용, 대학 출판물 및 행사 내용은 그 의과 대학이 무엇을 가치있게 생각하는지를 보여줍니다.

An organization’s symbolic activities communicate its values, who its members are, and how these members are to participate in the organization. Consider, for example, how publicly and how prominently educators’ activities and accomplishments are displayed in our medical schools and by their academic societies. The content of meetings of departments, the faculty council, ex- ecutive committees, and deans, and the content of college publications and events reveal what is valued by our medical schools.

요약

SUMMING UP

대부분의 의과 대학 및 전문직 단체는 교육자가 이러한 질문에 답할 수있는 기반 시설이 부족하여 연구 및 다른 유형의 학술 활동과 동일한 기준에서 교육, 특히 교육을 평가합니다. 우리는 scholarship in teaching을 지원하기 위해 조직 구조, 인적 자원 활동, 정치적 연합 및 상징을 지속적으로 발전시켜야합니다. 교육 자료, 교과 과정 혁신, 평가 도구 및 도구, 표준화 된 환자 사례 및 기타 교육 스칼라십 결과물에 대한 피어 리뷰를 위해 더 많은 포럼을 만들어야합니다.

Most medical schools and professional organizations lack the infrastructure to enable educators to answer these questions and thereby to put ed- ucation, especially teaching, on the same level as research and other types of scholarly activities. We must evolve con- tinuously our organizational structures, human resources ac- tivities, political coalitions, and symbols to support schol- arship in education. We must create more forums for the peer review of educational materials, curricular innovations, assessment tools and instruments, standardized patient cases, and other products of educational scholarship.

2000 Sep;75(9):887-94.

Scholarship in teaching: an imperative for the 21st century.

Fincher RM1, Simpson DE, Mennin SP, Rosenfeld GC, Rothman A, McGrew MC, Hansen PA, Mazmanian PE, Turnbull JM.

Author information

1Department of Medicine, Medical College of Georgia School of Medicine, Augusta, Georgia, USA. rfincher@mail.mcg.edu

Abstract

At some medical schools broader definitions of scholarship have emerged along with corresponding changes in their academic reward systems. Such situations are not common, however. The definition of scholarship generally applied by medical schools is unnecessarily narrow and excludes areas of legitimate academic activity and productivity that are vital to the fulfillment of the school's educational mission. The authors maintain that creative teaching with effectiveness that is rigorously substantiated, educational leadership with results that are demonstrable and broadly felt, and educational methods that advance learners' knowledge are consistent with the traditional definition of scholarship. Faculty whose educational activities fulfill the criteria above are scholars and must be recognized by promotion. The authors specifically address scholarship in education, focusing on teaching and other learning-related activities rather than on educational research, which may be assessed and rewarded using the same forms of evidence as basic science or clinical research. They build on Boyer's work, which provides a vocabulary for discussing the assumptions and values that underlie the roles of faculty as academicians. Next, they apply Glassick et al.'s criteria for judging scholarly work to faculty members' educational activities to establish a basis for recognition and reward consistent with those given for other forms of scholarship. Finally, the authors outline the organizational infrastructure needed to support scholars in education.

PMID:: 10995609

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

교수개발에서 교수정체성, 교수성장, 교수권한부여로 (Acad Med 2016) (0)	2017.01.24
Chapter 2. 교육 개선을 위한 교수개발 [Faculty Development in the Health Professions] (0)	2017.01.19
Chapter 15. 국제교수개발 [Faculty Development in the Health Professions] (0)	2017.01.18
교수개발에 관한 Systematic review : 10년간의 업데이트 (BEME Guide No. 40) (참고문헌 검색) (0)	2016.11.16
신임 교수개발자의 정체성 형성과 동기부여: resource-contrained환경연구 (Med Teach, 2016) (0)	2016.11.14

건강 지표(Health Indicator)의 통합: AHC와 Community가 함께 일하기 (Acad Med, 2014)

Meded. 2017. 1. 19. 09:50

2017. 1. 19. 09:50

건강 지표(Health Indicator)의 통합: AHC와 Community가 함께 일하기 (Acad Med, 2014)

Towards a Unified Taxonomy of Health Indicators: Academic Health Centers and Communities Working Together to Improve Population Health

Sergio Aguilar-Gaxiola, MD, PhD, Syed Ahmed, MD, MPH, DrPH, Zeno Franco, PhD, Anne Kissack, MPH, Davera Gabriel, RN, Thelma Hurd, MD, Linda Ziegahn, PhD, Nancy J. Bates, DrPH, Karen Calhoun, Lori Carter-Edwards, PhD, Giselle Corbie-Smith, MD, MSc, Milton “Mickey” Eder, PhD, Carol Ferrans, PhD, RN, Karen Hacker, MD, MPH, Bernice B. Rumala, PhD, MEd, A. Hal Strelnick, MD, and Nina Wallerstein, DrPH

2006 년에 시작된 임상 및 중개 과학 상 (CTSA) 프로그램은 2012 년에 5 억 달러로 예상되는 막대한 공적 투자를 구성합니다 .1 현재 30 개 주와 컬럼비아 특별구의 61 개 학술 보건 센터 (AHC)가 CTSA 컨소시엄에 참여합니다 .1 전반적인 노력의 핵심 목표는 "과학을 합리화하고, 훈련 환경을 변화 시키며, 연구의 수행, 질, 보급을 향상시킴으로써 지역 공동체와 국가의 건강을 향상시키는 것이다."2

Launched in 2006, the Clinical and Translational Science Award (CTSA) Program constitutes a significant public investment estimated at $500 million in 2012.1 Currently, 61 academic health centers (AHCs) in 30 states and the District of Columbia participate in the CTSA Consortium.1 A central goal for the overall effort is to improve the health of local communities and the nation by “streamlining science, transforming training environments, and improving the conduct, quality, and dissemination of research.”2

CTSA 기관은 전국적으로 그리고 특정 지역 사회 내에서 건강 개입을 유도하고 평가하는 목표로 공공 보건 * 및 지역 사회 중심의 우선 순위를 모두 반영하는 통합 된 공동체 건강 지표를 채택해야합니다 .3,4 (여기서 "공동체" 대체로 공통 지리 [예 : 인근 지역], 회원 [민족성] 또는 경험 [예 : 퇴역 군인]으로 정의 된 그룹으로 간주됩니다.

With the goal of guiding and evaluating health interventions nationally and within specific communities, the CTSA institutions must collectively adopt an integrated set of community health indicators that reflect both public health* and community-driven priorities.3,4 (Here we define “community” broadly as any group defined by common geography [e.g., neighborhoods], membership [e.g., ethnicity], or experience [e.g., veterans].)

건강지표: 개관

Health Indicators: An Overview

우리가 제안하는 공동체 건강 지표의 분류법은 CTSA 활동을 조정하는 데 도움을 줄 것이며, 이는 우리가 중재의 효과 성을 정의, 측정, 비교 및 개선 할 수있게 해줍니다

The taxonomy of community health indicators we propose will help align CTSA activities and, in turn, allow us to define, measure, compare, and improve the effectiveness of interventions

그러한 분류에 적어도 네 가지 조건이 필요합니다. 지역 사회 건강 지표의 분류는 다음과 같아야합니다 :

At least four conditions are necessary for such a taxonomy. The taxonomy of community health indicators must:

(1) 지역 사회의 의견을 반영하고, 지역 사회와 관련이 있으며, 지역 사회와 연구자 모두에게 유용합니다.

(1) reflect community input, be relevant to communities, and have utility for both communities and researchers;

(2) 여러 지역 사회 건강 중재에 대한 결과를 비교하여 비교 효과 성 연구 (CER, 예를 들어 다른 공중 보건 중재를 비교하는 것 3) 및 대규모 메타 데이터 분석(예 : 특정 질병 과정에 대한 유사한 지역 사회 개입 연구의 결과 집계);을 가능하게하는 측정치 또는 지표를 식별 할 수 있어야한다.

(2) be capable of identifying a set of measures or metrics that can be used to compare outcomes across multiple community health interventions so as to enable both comparative effectiveness research (CER; e.g., comparing different public health interventions3) and large-scale meta- analyses (e.g., aggregating results from similar community intervention studies for specific disease processes);

(3) 공동체 구성원, 연구자 및 공공 정책 입안자 간의 공동체 참여 프로세스, 중재 및 건강 결과를위한 공유 된 언어에 대한 합의를 달성하거나 적어도이를 위해 노력한다.

(3) achieve, or at least work toward, consensus on a shared language for community engagement processes, interventions, and health outcomes among community members, researchers, and public policy makers; and

(4) CTSA 커뮤니티 참여 로직 모델과 직접 인터페이스 4

(4) interface directly with the CTSA Community Engagement Logic Model.4

커뮤니티 참여 로직 모델 (Community Engagement Logic Model)은 CSTA 컨소시엄이 개발 한 도구로 커뮤니티와 학술 연구 파트너 간의 관계 및 협력을 지원하기위한 인프라 구축에 중점을 둡니다.

The Community Engagement Logic Model is a tool the CSTA Consortium has developed that focuses on building infrastructure to support relationships and collaboration between community and academic research partners.

이 모델에는

지역 사회 참여 활동의 input과
단기 결과 (예 : 양방향 신뢰 및 의사 소통 증가),
중간 또는 중간 결과 (즉, 지역 사회의 연구 또는 대학 참여 능력 증가) -
장기 결과 (즉, 궁극적으로 인구 건강을 향상시키는 새로운 관행, 정책 및 프로그램에 대한 과학 번역 개선)

...가 포함된다.

The model includes inputs of community engagement activities and results in short-term outcomes (i.e., increased bidirectional trust and communication), intermediate or midterm outcomes (i.e., increased community capacity to engage in research or university capacity to engage with communities), and long- term outcomes (i.e., improved translation of science to new practices, policies, and programs that ultimately improve population health).

왜 지역사회 건강지표인가?

Why look at community health indicators?

보건 연구자, 정부 기관 및 지역 사회 자체에서 공유 된 측정 항목을 작성하면 광범위한 그룹의 인구 결과를 개선하기위한 정책 및 의사 결정을 용이하게합니다. 지표와 최적의 지표를 확인함으로써 연구원과 지역 사회는 근본 원인을보다 적절히 적절하게 정의하고 건강 불평등과 관련된 복잡한 문제를 해결할 수있게되었습니다 .5

Creating shared metrics among health researchers, government agencies, and communities themselves facilitates policy and decision making to improve population outcomes for a wide range of groups. By identifying indicators and best-fit metrics, researchers and communities are better able to more adequately define root causes and address complex issues related to health inequities.5

마지막으로, 건강 지표를 지역 사회 참여 중심의 분류 체계로 조직함으로써 organizations은 실적 지불, 인증 또는 품질 개선 프로그램과 같은 다른 목적으로 이미 사용 된 조치에 대한 데이터 수집을 활용할 수 있습니다. 통합 분류법은 지역 사회 우선 순위를 향상시키면서 동시에 의료 서비스 시스템의 제공을 향상시킬 것입니다.

Finally, organizing health indicators into a community-engagement-focused taxonomy will allow organizations to leverage data collection for measures already employed for other purposes such as pay-for-performance, accreditation, or quality improvement programs. A unified taxonomy will advance community priorities while also improving the delivery of health care system services.3,4

지역사회 건강지표와 데이터 웨어하우스로서의 AHC

Community health indicators and AHCs as data warehouses

기존의 진행중인 공중 보건 감시 방법 (예 : 암 등록)과 함께 전자 건강 기록을 광범위하게 배포하면 특정 집단을 대상으로 한 조사로 보완 될 수있는 실시간 집계 데이터가 생성 될 수 있습니다. 또한 이러한 새로운 데이터 소스를 통해 실시간으로 측정 값을 추적 할 수 있으며, 생체 의학 (예 : HgbA1C)과 건강 시스템 사용과 관련된 측정 결과 (예 : 의료 예약, 비만 예방 서비스, 사회 지원 서비스, 그룹 상담 세션) - 커뮤니티에 상당한 관심을 가질 수 있습니다. 또한 연구 커뮤니티의 구성원은 이러한 새로운 데이터 소스 (예 : 전자 건강 기록, 대상 설문 조사)에 자주 액세스 할 수 있으므로 소스가 커뮤니티와 학계 간의 또 다른 다리 역할을합니다.

Wide-scale deployment of electronic health records, in conjunction with traditional ongoing public health surveillance methods (e.g., cancer registries), can create a mix of real- time aggregated data, which can be supplemented by surveys targeted to particular communities. In addition, these new data sources permit real-time tracking of measures, and some of the resulting metrics—both biomedical (e.g., HgbA1C) and those related to health systems utilization (e.g., transportation for medical appointments, obesity prevention services, access to social support services, group counseling sessions)6—may be of considerable interest to communities. Further, members of the research community can often access these new data sources (e.g., electronic health records, targeted surveys), such that the sources serve as another bridge between the community and academia.

지역사회 건강지표 용어 확립을 위한 주요 문헌

Key Literature Informing a Taxonomy of Community Health Indicators

수십 년 동안 다양한 미국 및 국제 전문가들이 결과의 변화를 모니터링하면서 건강 증진 및 질병 예방 노력에 초점을 맞추기 위해 주요 건강 지표 목록을 확인했습니다 .7-10 초기 지역 사회 건강 지표는 다음에서 수집 한 유아 사망률이었습니다. 19 세기 중반부터 20 세기의 대부분까지 8. 1910 년 경에 Russell Sage Foundation은 지역 건강에 영향을 미치는 요소를 측정하기 위해 지역 조사를 실시하여 지표 사용을 향상 시켰습니다 .8 최근에는 1980 년 세계 보건기구 (WHO)가 건강 증진 지표를 평가하기 위해 베른 워크숍을 스위스에서 개최했습니다.

Over several decades, various U.S. and international experts have identified their own lists of key health indicators in endeavors to focus health promotion and disease prevention efforts while monitoring changes in outcomes.7–10 The earliest community health indicator was the rate of infant mortality collected from the mid-19th through most of the 20th century8; and around 1910, the Russell Sage Foundation advanced the use of indicators by developing local surveys to measure factors affecting community health.8 More recently, in the 1980s, the World Health Organization convened the Berne Workshop in Switzerland to assess health promotion indicators.9

1990 년에 IOM (Institute of Medicine)은 건강에 영향을 미치는 요소를 평가하고 미국의 건강 지표 세트를 개발하기위한위원회를 설립했습니다 .7 이러한 지표의 사용은 지역 사회의 우물 결정에 관심이 집중됨에 따라 1990 년대까지 계속되었습니다 2000 년에 미국 보건 복지부 (Department of Health and Human Services)는 미국 인구의 건강 증진을위한 최초의 국가 계획을 요약 한 Healthy People 2010을 출간했다. ; 이 문서는 주요 인구 및 개별 건강 지표에 대한 측정에 중점을 두었습니다. 그 이후로 IOM은 이전의 노력을 종합하고 U.S. Department of Health and Human Service’s Community Health Indicators Project and County Health Rankings와 협력하여 Leading Health Indicators—Healthy People 2020을 만들었음

In 1990, the Institute of Medicine (IOM) established a committee to evaluate factors impacting health and to develop a set of health indicators specifically for the United States.7 This use of indicators continued through the 1990s, as interests turned to determining a community’s well-being as a mechanism to improve the planning, monitoring, and evaluation of community health initiatives.8 In 2000, the U.S. Department of Health and Human Services published Healthy People 2010, which outlined the first national plan for improving the health of the U.S. population; this document focused measurement on key population and individual health indicators. Since then, the IOM has synthesized its previous efforts and collaborated with the U.S. Department of Health and Human Service’s Community Health Indicators Project and County Health Rankings, setting the stage for the current decade with Leading Health Indicators—Healthy People 2020.7,10–12

다른 기관들도 건강 지표를 연구하기 시작했으며, 다른 지표들과 어떻게 관련이 있는지 조사하기 시작했습니다. 2005 년 Alfred P. Sloan 재단이 후원 한 Community Indicators Consortium은 시민 / 지역 사회 지표(civil/community indicators )와 정부 성과 측정 지표 간의 차이점 및 연관성에 대해 논의했습니다.10 지역 사회 건강 지표와 겹치는 시민 또는 지역 사회 지표의 특성은 다음과 같습니다.

(1) 두 가지 유형의 지표는 (서비스의 성능에 초점을 두기보다는) 사회적으로 추진되거나 사회적으로 결정된다.
(2) 둘 다 주거 및 건강 관리 서비스, 물리적 환경 및 경제적 조건 (제공되는 서비스의 수 및 비용보다는)에 대한 접근과 같은 지역 사회 조건을 다룬다.
(3) 둘 다 합의 형성을 통해 영향을받는 광범위한 이해 관계자들과 소통한다.
(4) 둘 다 일반적으로 풀뿌리, 지역 사회 기반, 비정부기구를 통해 이행된다.

Other organizations have also begun to study health indicators—and how they may relate to other measures. In 2005, the Community Indicators Consortium, sponsored by the Alfred P. Sloan Foundation, discussed differences and linkages between civil/community indicators and government performance measures.10 Some characteristics of the civil or community indicators that overlap with those of community health indicators are as follows: (1) both types of indicators are societally driven or socially determined (rather than focused on the performance of a service); (2) both address community conditions such as access to housing and health care services, the physical environment, and economic conditions (rather than the number and cost of services delivered); (3) both engage a wide range of stakeholders who are influenced through consensus building; and (4) both are usually implemented through grassroots, community-based, nongovernment organizations.10

더욱이, 건강 지표와 관련된 데이터는 인구 기반 조사를 포함한 다양한 감시 도구를 통해 수십 년 동안 대중의 건강을 모니터링 해 온 질병 통제 센터 (CDC)와 같은 국가 공공 보건 기관을 통해 이용할 수있다 .13) 마찬가지로 Agency for Health Research and Quality 은 국가의 품질 및 불일치 데이터를 수집하여보고하여 연간 임상 평가 결과를 제공합니다 .15,16 따라서 지역 사회 건강 지표 개발에 사용 된 데이터는 정부 및 사설 재단이 보급됨에 따라 점점 더 유용 해지고 있습니다 실제 적용을 위해 대중에게 정보를 제공한다.

Further, data related to health indicators are available through national public health agencies, such as the Centers for Disease Control and Prevention, which have been monitoring the health of the public for decades through a variety of surveillance tools including population- based surveys.13,14 Similarly, the Agency for Health Research and Quality compiles and reports national quality and disparity data, providing an annual assessment of clinical health outcomes.15,16 The data used for community health indicator development are thus becoming increasingly available as government and private foundations disseminate information to the public for practical application.

마지막으로, 건강 지표는 정책 개발 및 정책 실행을 안내합니다. 미국 환자 보호 및 저렴한 의료법 (ACA)은 인구 수준에서 의료 시스템 및 개입의 효과를 평가하는 데 사용될 핵심 건강 지표 세트 개발을 의무화합니다. ACA는 질병 예방, 공중 보건 시스템 개선 및 임상 예방 서비스에 대한 접근성 향상과 같은 인구 수준의 건강 결과를 고려하여 개별 건강 결과에 중점을 둡니다. 또한 ACA의 국가 예방 전략 (National Prevention Strategy)은

(1) 건강하고 안전한 지역 사회 환경 조성,
(2) 임상 및 지역 사회에서의 양질의 예방 서비스 확대 등 4 가지 목표를 통해 미국인의 건강한 생활을 유도함으로써 건강의 사회적 결정 요인과 관련된 문제를 해결합니다.
(3) 사람들로 하여금 건강한 선택을하도록 권한을 부여하고,
(4) 건강 불균형을 제거하는 것 8

Finally, health indicators guide policy development and policy implementation. The U.S. Patient Protection and Affordable Care Act (ACA) mandates development of a core set of health indicators that will be used to evaluate the effectiveness of health care systems and interventions at the population level. The ACA combines a significant focus on individual health outcomes with a consideration of population-level health outcomes such as disease prevention, upgrading public health systems, and increasing access to clinical preventive services. In addition, the ACA’s National Prevention Strategy addresses issues related to the social determinants of health by encouraging Americans to live healthier lives through four aims: (1) building healthy and safe community environments, (2) expanding quality preventive services in both clinical and community settings, (3) empowering people to make healthy choices, and (4) eliminating health disparities.8

유럽의 공동체 건강 지표

European Community Health Indicators

우리가 제안하는 표준화 된 건강 지표의 분류법은 우선 순위가 없다. 유럽 공동체 건강 지표 (ECHI) 프로젝트는 다음의 4 가지 범주를 진행하여 유럽 전역의 지역 사회 건강 지표를 개선하기위한 개념적 기반을 제공했습니다.

(1) 인구 통계 학적 및 사회 경제적 요인,

(2) 건강 상태,

(3) 건강 결정 요인 및

(4) 보건 시스템 .9

이러한 주요 카테고리는 일반적으로보다 구체적인 건강 지표를 정의하기위한 기초로 언급되었다. 9,17-19 ECHI 프로젝트 지표는 정책을 형성하기위한 국가 및 지역 공중 보건 보고서를 생성하기 위해 개발되었다. 건강 프로그램을 종단 적으로 모니터링하기위한 논리적 틀을 마련한다. 데이터 수집 및 조화 프로세스의 우선 순위 결정을위한 데이터 격차 (즉, 일련의 결정을 내리는 데 사용되는 단계별 절차) 식별; 유럽 공동체에서 데이터 공유 인프라를 구축 할 수있게한다 .9

EU 컨소시엄의 모델은 정신 건강과 사회 문화적 환경 구조와 과정을 강조하는 건강의 비 의학적 생태 결정 요인에 초점을 둔다.

The taxonomy of standardized health indicators we propose is not without precedence. The European Community Health Indicators (ECHI) Project advanced the following four categories to serve as the conceptual basis for refining community health indicators across Europe: (1) demographic and socioeconomic factors, (2) health status, (3) determinants of health, and (4) health systems.9 These main categories have commonly been referred to as a basis for defining more specific health indicators.9,17–19 The ECHI Project indicators were developed

to generate national and regional public health reports to shape policy;
to create a logical framework for longitudinally monitoring health programs;
to identify data gaps for prioritizing data collection and harmonization processes (i.e., step-by-step procedures used to arrive at a set of decisions); and
to enable the establishment of a data-sharing infrastructure in the European Union.9

The EU consortium’s model focuses on nonmedical ecological determinants of health—those that emphasize mental health and social-cultural-environmental structures and processes.18

ECHI 목표와 몇 가지 CTSA 이니셔티브 간에는 유사점이 있습니다. 첫째, ECHI의 목표와 전략은 CTSA의 전략적 목표 4의 목표 인 "지역 사회와 국가의 건강 증진"3을 반영합니다.

There are parallels between ECHI goals and several CTSA initiatives. First, ECHI goals and strategies echo those of CTSA Strategic Goal Four: “enhancing the health of our communities and the nation.”3

많은 유사점에도 불구하고 ECHI와 CTSA 프로그램에는 차이점이 있는데, 특히 각 프로그램이 직면 한 과제에 차이가 있습니다.

Despite many similarities, the ECHI and CTSA programs have differences, especially in the challenges each

program faces.

지역 사회 건강 지표의 분류법을 향하여

Towards a Taxonomy of Community Health Indicators

기본은 시간 경과에 따라 진행 상황을 추적 할 수있는 지역의 인구 건강을 측정하는 공통의 고품질의 신뢰할 수있는 객관적인 데이터를 제공해야한다는 것입니다 .11,20 지표 세트는 CTSA 커뮤니티 참여 로직 모델 에 명시된 지역 사회 참여 활동 평가를 지원합니다 4

Fundamental is the need to provide common, high- quality, reliable, objective data that measure population health in areas where progress can be tracked over time.11,20 A set of indicators will support the evaluation of community engagement activities outlined in the CTSA Community Engagement Logic Model.4

가장 중요한 것은 상세한 분류법의 개발이 공중 보건 보고서의 작성을위한 지침으로 활용 될 것이며, 적절하다면 지역 사회에 건강 연구 결과를 보급하는 데 도움이 될 것입니다.

Most important, the development of a detailed taxonomy will serve as a guide for the production of public health reports and foster the dissemination and, when appropriate, the implementation of health research findings to communities.

분류학은 위와 하위 유형 관계를 제공하는 계층 적 구조로 배열 된 특정 분류 체계입니다 .21 우리의 연구는 컴파일 할 때 3 개의 정렬 된 범주와 중첩 된 범주에 속하는 공통 개념을 발견했습니다.

A taxonomy is a particular classification system arranged in a hierarchical structure providing supra- and subtype relationships.21 Our research uncovered common concepts across the literature that, when compiled, fell into three ordered and nested categories.

이 프로젝트에서 지표와 측정 용어의 사용을 종합하면 단일 문장으로 표현할 수있는 간단한 계층 구조를 가리킨다.

Synthesizing the use of indicators and measurement terms in these projects points to a simple hierarchy that can be expressed in a single sentence:

Determinants of health have categories of community health indicators that include specific quantifiable measurements (see Figure 1).

건강의 결정 요인에는 개인의 특성과 행동뿐 아니라 사회적, 경제적, 물리적 환경이 포함됩니다 .8,17-19 이러한 결정 요인에는 개인과 지역 사회의 건강에 직접적, 간접적으로 영향을 미치는 요소가 포함됩니다. 우리의 건강지표 프로젝트에 대한 우리의 검토는 건강 범주의 각각의 중요한 결정 요소 내에서 구성되는 지표 유형 또는 등급의 목록을 보여준다.

Determinants of health, at the topmost level, include the social, economic, and physical environment, as well as a person’s individual characteristics and behaviors.8,17–19 These determinants also include factors that combine to affect individual and community health, both directly and indirectly.8,20 Our review of indicator projects reveals a list of indicator types or classes that are organized within their respective, overarching determinants of health categories.

지역 사회 건강 지표는 건강의 결정 요인보다 구체적이지만 양적 측정보다 구체적이지 않다. 이것에는 개인, 인구 또는 환경의 건강을 설명하기 위해 측정되고 사용될 수있는 개인, 인구 또는 환경의 특정 특성이 포함된다. 건강 지표는 건강 상태와 보건 서비스를 기술하고 비교할 수있는 충분한 정보나 자료가 있는 도구로 간주된다. (개인, 집단 또는 환경에 걸쳐) 17,22,23

In the middle, community health indicators, more specific than determinants of health, but less specific than quantifiable measurements, are particular characteristics of an individual, population, or environment that can be measured and used to describe the health of that individual, population, or environment.12 Health indicators are considered to be tools21 with enough information or data to describe and compare (across individuals, populations, or environments) health statuses and health services.17,22,23

우리 계층의 가장 낮은 지점에서 정량화 할 수 있는 척도는 다른 정보 포인트를 평가할 수있는 기준점이다 .24 데이터 측정치는 역학적, 사회 경제적, 지리적, 건강 관리 활용, 건강 관리의 질 등 다양한 지표 범주에서 기인 할 수있다 , 26 사회 자본, 27 자원 배분 .28

Quantifiable measures, at the lowest point in our hierarchy, are the standard reference points through which other points of information can be evaluated.24 Data measures can originate from various indicator categories including epidemiological, socioeconomic, geographic, health care utilization,25 health care quality,26 social capital,27 and resource distribution.28

우리는 다른 사람들이이 같은 용어를 다른 목적과 다른 의미로 사용했다는 것을 인정합니다. 예를 들어 건강의 성과 우수성을위한 발드리지 기준 (Baldridge Criteria for Performance Excellence in Health)과 같은 프로그램에서 용어 표시기의 일부 용도는 프로세스 또는 메타 비교의 비교를 기술하는 반면 측정은보다 직접적인 데이터 중심 평가를 나타냅니다 .23

We acknowledge that others have used these same terms for other purposes and to have other meanings; for example, some uses of the term indicator in programs such as the Baldridge Criteria for Performance Excellence in Health describe comparisons of processes or meta-comparisons, whereas measure indicates a more direct, data-driven evaluation.23

제안 된 분류법 접근법을 사용한 커뮤니티 건강 지표 프로젝트의 요약
Summary of Community Health Indicator Projects Using the Proposed Taxonomy Approach

우리는 건강 지표 프로젝트를 국제 (다 국가), 20,29-32 국가 (국가), 7,11,12,24,26,33-35 또는 지역 (주, 카운티 및 / 또는 중)의 세 가지 관할 구역 중 하나로 관장했습니다. 또는 특수 집단) .17,36-41,45
We organized health indicator projects into one of three jurisdictions: international (multi-country),20,29–32 national (country),7,11,12,24,26,33–35 or local (state, county, and/or special populations).17,36–41,45

다음으로, 우리는 2 가지 수준의 빈도로 건강 지표 프로젝트 유형을 주문했습니다.

한 수준에서, 우리는 문헌에서 각각 확인 된 특정 양적 측정의 상대적 수에 따라 건강 범주의 광범위한 결정 요인을 지시했다. 다시 말하면, "건강 시스템 서비스"는 구체적인 양적 측정치가 가장 많았지만 수집하는 것이 더 어려웠지만 "사회 구조"범주는 매우 중요했습니다.
두 번째 수준에서, 우리는 각 결정 요인 건강 범주 내에서 다양한 지표 프로젝트를 통해 가장 잘 대표되는 지표를 선정했습니다. 예를 들어 보건 시스템 서비스 범주에서 21 개 프로젝트 중 18 개에서 "의료 서비스 제공자 접근" 척도가 논의되지만 반면에 이러한 프로젝트 중 하나에서만 "복합composite" 척도가 논의됩니다.

Next, we ordered the types of health indicator projects by frequency at two levels. At one level, we ordered the broad Determinants of Health categories by the relative number of specific quantifiable measures identified for each in the literature; in other words, “Health System Services” had the highest number of specific quantifiable measures, while the more challenging to collect, but critically important “Social Structure” category had the fewest. At the second level, we ranked, within each Determinant of Health category, the indicators with the greatest representation across the various indicator projects; for example, within the Health System Services category, “access to health care provider” measures are discussed in 18 out of 21 projects, whereas “composite” measures are discussed in only one of these projects.

마지막으로 부록 1의 측정 영역에있는 음영 처리 된 상자는 표시기 범주에서 식별 된 하나 이상의 특정 측정을 나타냅니다.

Finally, the shaded boxes in the Measures area of Appendix 1 denote at least one specific measure that has been identified within an indicator category.

지역 건강 지표를 확인하기위한 지역 사회 파트너와의 협력
Working With Community Partners to Identify Local Health Indicators

지표의 범주는 건강 개선 중재를 개발하고 계획하는 개인과 공동체를위한 중요한 지침이 될 수 있습니다. 그러나 이러한 지표는 간소화되고 개별 커뮤니티와 관련성이 있어야한다는 점을 분명히 밝혀야합니다. 기존의 일부 세트는 신뢰할 만하고 유효하지만 연방 및 기타 시스템 전반에 걸쳐 이러한 일련의 다양한 세트가 합의에 도달하는 데 막대한 장애물을 만들고 종종 비슷한 또는 중복되는 지표 프로젝트로 이어집니다.
Categories of indicators can become important guides for individuals and communities developing and planning health improvement interventions. However, these indicators clearly need to be streamlined and made relevant to individual communities. And, although some existing sets are reliable and valid, the sheer variety of these sets, across federal and other systems, creates enormous barriers to reaching consensus and often leads to parallel or overlapping indicator projects.

따라서 지역 사회의 신뢰를 높이고 지표에 대한 관심을 자극하기 위해 다음 단계는 현존하는 지표 옵션을 평가하고 자신의 우선 순위를 파악하는 데있어 보건 전문가, 연구원 및 정책 입안자뿐만 아니라 지역 사회 이해 관계자를 참여시키는 것입니다.
Therefore, to promote community trust and to stimulate interest in the indicators, a next logical step is to involve community stakeholders, as well as health care professionals, researchers, and policy makers, in assessing existing indicator options and in identifying their own priorities.

지역사회 파트너의 역할

The role of community partners

지난 20 년 동안 지역 건강 부서, 임상 보호 시스템, 비영리 단체 및 지방 / 카운티 정부가 주도하는 지역 사회의 증가로 인해 해당 지역 또는 주의 context 과 관련된 지역 사회 건강 지표가 개발되었습니다. 한 가지 예가 위스콘신 카운티 건강 순위입니다.
Over the last two decades, a growing number of communities, led by local health departments, clinical care systems, not-for-profit organizations, and local/ county governments, have developed their own community health indicators relevant to their local or state context; one example is the Wisconsin County Health Rankings.45

지역 사회 학업 파트너십을 평가하여 지역 사회 참여가 건강에 미치는 영향을 보여 주려면 파트너십 프로세스와 파트너십이 시스템에 미치는 영향 (예 : 더 큰 역량, 커뮤니티 역량 강화, 새로운 정책 또는 임상 실습 변경)을 평가해야합니다. 변화를위한 논리 모델을 만드는 공동체 참여는 진전을위한 벤치 마크를 문서화하고 어떤 지표 및 파트너십 관행이 역량을 강화하거나 시스템 변화 조치를 향상시킬 수 있는지에 대한 가설을 세울 수있게한다 .49이 가설 테스트 과정과 파트너십 통합은 인구 건강 변화에 기여할 수 있다.50

Showing the impact of community engagement on health through evaluating community–academic partnerships requires evaluating both the process of partnering and the resulting impact of the partnership on the system (e.g., greater capacity, community empowerment, new policies, or clinical practice changes). Community involvement in creating logic models for change enables communities to document benchmarks for progress and to formulate hypotheses about which indicators and which partnership practices may enhance capacity or improve system change measures.49 This process of hypothesis testing and partnership consolidation can, in turn, contribute to population health changes.50

참여하는 커뮤니티 그룹(Engaging community groups)은 또한 지역 복지를 향상시킬 수 있는 가장 큰 잠재력을 지닌 건강 지표를 지역 사회가 파악할 수 있도록 도와줍니다. 또한 지역 주민들은 지역 사회의 필요와 지역 사회의 강점 또는 자산에 대한 평가를 실시하여 건강 개선 노력을위한 데이터를 제공하고, 힘의 영역을 확인하며, 이러한 강점을 활용하여 필요 사항이나 우려 사항을 해결할 수 있습니다 .28
Engaging community groups also helps the community identify the health indicators that have the greatest potential to improve local well-being. Additionally, local neighborhoods may assist in conducting assessments of community needs and community strengths or assets so as to provide data for health improvement efforts, identifying areas of strength and leveraging these strengths to address needs or concerns.28

자체 요구 사항 평가를 수행 한 지역 사회 기관 중 일부는 사회 봉사 기관에서 신앙 기반 조직, 병원, 지역 기금 제공자 및 지역 사회 연합에 이르기까지 다양합니다. 커뮤니티 그룹은 다양한 데이터 소스와 조직 원리를 사용합니다. 지역 연대는 건강 필요를 평가하고 시간 경과에 따른 진행 상황을 모니터링하기위한 지표를 수립하기 위해 독립적 인 자금을 얻을 수 있습니다. 그들은 주 및 지방 당국이 제공 한 데이터를 사용하거나 지표에 대한 합의를 도출하기 위해 지역 사회 조직 원칙 (예 : 신축 건물)을 사용하여 자체적으로 데이터를 수집 할 수 있습니다.

Some of the community agencies that have conducted their own needs assessments range from social service agencies to faith-based organizations, to hospitals, local funders, and community coalitions. Community groups use a variety of data sources and organizing principles. Local coalitions may obtain independent funding to assess health needs and establish indicators to monitor progress over time. They may use data supplied by state and local authorities and/or collect data on their own using community-organizing principles (e.g., trust building) to develop consensus on indicators.

CTSA의 역할

The role of the CTSAs

우리의 권고는 CTSA 기관이 건강 범주의 주요 결정 요인 각각을 나타내는 조사 및 연구 프로토콜 지표에 포함시키는 것이다. 즉, 건강 시스템 서비스 및 일반 건강 상태, 개인 행동 및 지역 사회 사회 경제적 구성, 사회적 응집력 및 사회적 구조와 관련된 요소를 조사하는 것입니다. CTSA가 지표를 선택하고 측정 할 때 커뮤니티와 의견을 나눌 때 커뮤니티 이해 관계자는 이미 존재하는 커뮤니티 지표 프로젝트에 참여하고 추가 할 수 있습니다.

Our recommendation would be for CTSA institutions to include in their investigations and research protocols indicators representing each of the major Determinants of Health categories; that is, to examine factors related, for example, to health system services and general health status, to personal behavioral and community socioeconomic composition, and to social cohesion and social structure. As CTSAs engage with communities in selecting and measuring indicators, community stakeholders can participate in and add to already-extant community indicator projects.54,55

옳은 조합 고르기

Choosing the right combination

이 지역 사회 건강 지표 개발 작업에 대한 우리의 희망은 개인 공동체가 지표를보다 의미있게 사용할 수있게 할 것입니다. 데이터의 크기는 특히 AHC와 같은 의료 시스템이 전자 건강 기록을 배포 할 때 유용하므로 여러 기본 커뮤니티 건강 지표 중 어느 것이 특정 커뮤니티에 적합한 지 판단하는 것이 중요합니다.

Our hope for this community health indicator development work is that it will allow individual communities to use indicators more meaningfully. A magnitude of data is available, especially as health systems such as AHCs deploy electronic health records, so determining which of the multiple basic community health indicators are appropriate for a specific community is important.

Taxonomy 그 자체의 장점

Benefits to the taxonomy itself

CTSA 컨소시엄은 전국적으로 채택 될 수있는 표준화 된 범주 또는 지표 이외에도 CTSAs 내의 지역 사회 참여 구조 및 프로세스에 대한 인프라 논리 모델을 개발했습니다 .4이 논리 모델은 단기 결과 및 중간 결과 ( 장기적 결과 (즉, 궁극적으로 인구 건강을 향상시키는 건강 관행, 정책 및 프로그램에 대한 과학 번역 개선)과 관련이있다.

In addition to standardized categories or indicators that could be adopted nationally, the CTSA Consortium has, as mentioned, developed an infrastructure logic model of community engagement structures and processes within CTSAs.4 This logic model posits short-term outcomes, intermediate-term outcomes (increases in community capacity to engage in research and university capacity to engage with communities), and long-term outcomes (i.e., improved translation of science to health practices, policies, and programs that, ultimately, improve population health).

지역사회와 관련성을 찾을 기회

Seizing the Opportunity to Be Relevant to Communities

IOM은 CTSA의 진전 상황을 평가 한 후 지역 사회 참여를 "임상 및 번역 과학을 효과적으로 발전시키는 데 필수적인 세 가지 교차 도메인"중 하나로 파악했습니다 .1 동일한 보고서에서 IOM은 지역 사회 참여 지원을 강화하기위한 권장 사항을 제공했습니다 커뮤니티 지원은 "기초 연구에서부터 임상 실습 및 지역 사회 및 공중 보건에 이르기까지 임상 및 번역 연구의 모든 단계에서 중요합니다."

The IOM, after evaluating progress of the CTSAs, identified community engagement as one of “three crosscutting domains that … are integral to effectively advancing clinical and translational science.”1 In the same report, the IOM provided recommendations to strengthen the support of community engagement efforts and noted that community support “is critical in all phases of clinical and translational research from basic research to clinical practice and community and public health.”1

CTSA 컨소시엄 회원이 수행하는 도전 과제는 공중 보건 결과 개선의 진전을 모니터링하고 비교할 수있는 표준화 된 건강 지표에 도달하는 한편 잠재적으로 모순 된 목표를 조정하는 것입니다. 외부에서 부과 된 것보다 지역 우선 순위를 반영하는 건강 지표를 식별하기위한 프로세스의 소유권을 유지하려는 커뮤니티. 최소한 CTSA 기관과 컨소시엄은 공동 언어와 지역 사회 건강 지표 범주의 표준화 된 계층 구조가 필요합니다. 가능하면 커뮤니티 건강 지표, 정량화 가능한 결과 측정 및 지역 사회 단체가 데이터를보다 쉽게 수집하기 시작할뿐만 아니라 정책 입안자와 대중에게 건강을 개선하기 위한 진행 상황을 알리는 모니터링 시스템에 대한 구체적인 메트릭스를 개발할 수도 있습니다

The challenge CTSA Consortium members have undertaken is to reconcile the potentially contradictory goals of, on one hand, arriving at standardized health indicators that allow for the monitoring and comparing of progress in improving public health outcomes and, on the other, respect for the interests of communities who want to retain ownership of the process for identifying health indicators that reflect local priorities rather than those imposed from outside. Minimally, the CTSA institutions and consortia need a shared language and a standardized hierarchy of categories of community health indicators. Possibly, they could also develop specific metrics for a core set of community health indicators, quantifiable outcome measures, and monitoring systems that not only allow for local, community organizations to begin to gather data more readily but also inform policy makers and the public on progress made in improving health.26

2014 Apr;89(4):564-72. doi: 10.1097/ACM.0000000000000198.

Towards a unified taxonomy of health indicators: academic health centers and communities workingtogether to improve population health.

Aguilar-Gaxiola S1, Ahmed S, Franco Z, Kissack A, Gabriel D, Hurd T, Ziegahn L, Bates NJ, Calhoun K, Carter-Edwards L, Corbie-Smith G, Eder MM, Ferrans C, Hacker K, Rumala BB, Strelnick AH, Wallerstein N.

Author information

1Dr. Aguilar-Gaxiola is professor of clinical internal medicine; director, Center for Reducing Health Disparities; director, Community Engagement Program, Clinical and Translational Science Center; and codirector, Latino Aging Research and Resource Center, University of California, Davis School of Medicine, Sacramento, California. Dr. Ahmed is senior associate dean for community engagement; director, Community Engagement Key Function, Clinical and Translational Science Institute of Southeast Wisconsin; professor, Department of Family and Community Medicine; professor, Institute for Health and Society; and director, Healthier Wisconsin Partnership Program, Medical College of Wisconsin, Milwaukee, Wisconsin. Dr. Franco is assistant professor, Community Engagement Key Function, Clinical and Translational Science Institute of Southeast Wisconsin, Department of Family and Community Medicine, Medical College of Wisconsin, Milwaukee, Wisconsin. Ms. Kissack is program manager, Community Engagement Key Function, Clinical and Translational Science Institute of Southeast Wisconsin, Department of Family and Community Medicine, Medical College of Wisconsin, Milwaukee, Wisconsin. Ms. Gabriel is data integration and interoperability manager, Biomedical Informatics, Clinical and Translational Science Center, University of California, Davis School of Medicine, Sacramento, California. Dr. Hurd is associate professor of surgery, Division of Surgical Oncology, University of Texas Health Science Center at San Antonio, San Antonio, Texas. Dr. Ziegahn is community engagement and research program manager, Clinical and Translational Science Center, University of California Davis School of Medicine, Sacramento, California. Dr. Bates is senior evaluation specialist, Evaluation and Tracking Program, Center for Clinical and Translational Science, University of Illinois at Chicago, Chicago, Illinois. Ms. Calhoun is clinical research associate and cofacilitator, Community Engagement Program, Michi

Abstract

The Clinical and Translational Science Awards (CTSA) program represents a significant public investment. To realize its major goal of improving the public's health and reducing health disparities, the CTSA Consortium's Community Engagement Key Function Committee has undertaken the challenge of developing a taxonomy of community health indicators. The objective is to initiate a unified approach for monitoring progress in improving population health outcomes. Such outcomes include, importantly, the interests and priorities of community stakeholders, plus the multiple, overlapping interests of universities and of the public health and health care professions involved in the development and use of local health care indicators.The emerging taxonomy of community healthindicators that the authors propose supports alignment of CTSA activities and facilitates comparative effectiveness research across CTSAs, thereby improving the health of communities and reducing health disparities. The proposed taxonomy starts at the broadest level, determinants of health; subsequently moves to more finite categories of community health indicators; and, finally, addresses specific quantifiable measures. To illustrate the taxonomy's application, the authors have synthesized 21 health indicator projects from the literature and categorized them into international, national, or local/special jurisdictions. They furthered categorized the projects within the taxonomy by ranking indicators with the greatest representation among projects and by ranking the frequency of specific measures. They intend for the taxonomy to provide common metrics for measuring changes to population health and, thus, extend the utility of the CTSA Community Engagement Logic Model. The input of community partners will ultimately improve population health.

PMID:: 24556775
PMCID:: PMC4124598
DOI:: 10.1097/ACM.0000000000000198

[PubMed - indexed for MEDLINE]

Free PMC Article

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 농촌,취약지,공공의료' 카테고리의 다른 글

토마스 제퍼슨 대학의 지역의사부족지역 접근법의 교훈(Acad Med, 2022) (0)	2022.09.24
의학교육의 사회적 미션: 순위 매기기(Ann Intern Med, 2010) (0)	2018.07.25
도심의료와 공공의료 교육: TRUIMPH (Acad Med, 2013) [출력완료] (0)	2016.02.12
의학교육에 공공보건 통합시키기 (Am J Prev Med. 2011) (0)	2016.02.05
The Urban Medicine Program: 소외당하는 도시 커뮤니티를 위한 의사-리더 양성 프로그램(Acad Med, 2015) (0)	2016.01.29

영속성을 위해 만들기: 교육프로그램의 장기적 지속가능성 (Med Teach 2006)

Meded. 2017. 1. 19. 09:39

2017. 1. 19. 09:39

영속성을 위해 만들기: 교육프로그램의 장기적 지속가능성 (Med Teach 2006)

‘Built to last?’: the long-term sustainability of educational programmes

TREVOR GIBBS

Bute Medical School, St Andrews, Scotland

의학 교육은 현재 뜨거운 주제입니다. 점점 더 많은 사람들이 새로운 교육 및 평가 방법 개발 및 연구 수행에 참여하기를 원합니다. (Schuwirth & van der Vleuten, 2006)

Medical education is currently a hot topic. More and more people want to be involved in developing new educational and assessment methods and in conducting research. (Schuwirth & van der Vleuten, 2006)

그러나 그들이 덜 중요하게 생각하는 것은 프로그램이 교육 패러다임을 유지할 수있는 능력, 즉 장기적인 효과와 지속 가능성을 보여주는 능력입니다.

What they give less importance to, however, is the ability of programmes to maintain their educational paradigm; to demonstrate long-term effectiveness and sustainability.

그러나 이러한 새 프로그램을 설계, 개발 및 평가 한 AMEE 참가자 모두가 프로그램을 다시 발표 할 수있는 시간으로 5 년을 되돌려 줄 것을 요청하면 동일한 프로그램을 몇 명이나 발표 할 수 있는지, 그들의 프로그램은 여전히 효과적이고 효과적 이었습니까? 아니면 그들의 프로그램이 장기적인 변화를 가져 왔습니까?

However, if all of the participants in AMEE who had designed, developed and evaluated these new programmes were asked to return in five years time to re-present their programmes, how many would be able to present either the same programme, or could demonstrate that their programme was still operative and effective or that their programme had led to long-term change?

그들은 인력 충원 변화를 암시합니다. 사용 된 원래 36 개 에이전시 중 5 개 업체 만 동일한 담당자를 보유하고있었습니다. 서비스 부하 증가 및 사용 가능한 리소스 감소를 통한 서비스 약속 증가는 모두 해당 프로그램의 장기적인 지속 가능성을 부정적으로 위협했습니다. 그들의 작업은 Taylor et al.의 이전 문헌을 뒷받침하는 어떤 방향으로 간다. (2001)와 Swerissen & Crisp (2004)는 장기적인 지속 가능성이 재정적 생존력, 의료 요원의 유지 및 예상 결과의 현실과 적합성에 근거한다고 제안했다.

They allude to staffing changes; only five of the original 36 agencies used had the same contact person.Increased service commitments through increased service loads and decreasing available resources all negatively threatened the long-term sustainability of their programme. Their work goes some way to support the previous literature of Taylor et al. (2001) and Swerissen &Crisp (2004) who also suggest that long-term sustainability is based on financial viability, retention of healthcare personnel and the reality and appropriateness of the expected outcomes.

O'Keefe & White (2006)는 5 년 전에 발표 한 공동체 아동 보건 프로그램을 되돌아보고,
O’Keefe & White (2006) have looked back over a community child health programme they introduced five years ago,

부과 된 사회적, 문화적, 종교적 상호 작용과 역할 정의의 불확실성이 전체 론적 건강 관리의 명확한 그림을 제공하지 못하는 변화하는 건강 관리 요구의 역동적 인 환경에서 지속 가능성을 유지할 수 있습니까?

Can sustainability be maintained in a dynamic environment of changing healthcare needs, where imposed societal, cultural and religious inter- action, and an uncertainty of role definition fail to provide a clear picture of holistic healthcare?

오키프 앤 화이트 (O'Keefe & White (2006))가 지적한 바와 같이, 건전한 이론과 실천에 기반하여 교육 프로그램이 개발되었더라도, 교육 프로그램은 지속된 효과만큼만 우수합니다. 우리는 안정성stability에 의존하지 않으며, 변화에 적응함으로써 지속 가능한 프로그램을 설계 할 필요가 있습니다.

As O’Keefe & White (2006) demonstrate, despite the development of educational programmes based on sound theory and practice, the programme is only as good as its sustained effectiveness. We need to design programmes that are not dependent on stability, but are sustainable by adapting to change.

Med Teach. 2006 Dec;28(8):673-4.

'Built to last?': the long-term sustainability of educational programmes.

Gibbs T1.

Author information

1Bute Medical School, St Andrews, Fife KY16 9TS, Scotland. tjgl@st-andrews.ac.uk

Comment on

Continuing effectiveness of a community child health programme for medical students. [Med Teach. 2006]

PMID:: 17594575
DOI:: 10.1080/01421590601181471

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교육과정 개발&평가' 카테고리의 다른 글

플렉스너에서 역량으로: CBME를 향한 여정의 성찰(Acad Med, 2013) (0)	2017.04.20
패러다임의 전환: 플렉스너에서 역량으로 (Acad Med, 2002) (0)	2017.04.20
역량바탕교육(CBME, CBE): 프로그램 설계와 시행의 과제(Med Educ, 2016) (0)	2016.11.18
Competencies, Milestones, EPAs - 과거를 잊은 자는 반복하게 될 것이다 (Med Teach, 2016) (0)	2016.11.17
임상과학자프로그램 평가 - 커크패트릭을 넘어서. "효과가 있었나"와 "어떻게 효과가 생겼나" (Acad Med, 2011) (0)	2016.11.08

형성적 피드백(Formative Feedback) (Review of Educational Research, 2008)

Meded. 2017. 1. 19. 09:21

2017. 1. 19. 09:21

형성적 피드백(Formative Feedback) (Review of Educational Research, 2008)

Focus on Formative Feedback (Review of Educational Research, 2008)

Valerie J. Shute

Florida State University

It is not the horse that draws the cart, but the oats. —Russian proverb

교육적 맥락에서 사용 된 피드백은 일반적으로 지식과 기술 습득을 향상시키는 데 결정적인 역할을한다 (예, Azevedo & Bernard 1995, Bangert-Drowns, Kulik, Kulik, & Morgan, 1991, Corbett & Anderson, 1989; Epstein et al. , 2002, Moreno, 2004, Pridemore & Klein, 1995). 성취에 미치는 영향 외에도 피드백은 학습 동기 부여에 중요한 요소로 묘사됩니다 (예 : Lepper & Chabay, 1985; Narciss & Huth, 2004). 그러나 학습을 위해서는 피드백에 관한 이야기가 너무 장밋빛 또는 단순하지 않습니다.

Feedback used in educational contexts is generally regarded as crucial to improv- ing knowledge and skill acquisition (e.g., Azevedo & Bernard, 1995; Bangert- Drowns, Kulik, Kulik, & Morgan, 1991; Corbett & Anderson, 1989; Epstein et al., 2002; Moreno, 2004; Pridemore & Klein, 1995). In addition to its influence on achievement, feedback is also depicted as a significant factor in motivating learn- ing (e.g., Lepper & Chabay, 1985; Narciss & Huth, 2004). However, for learning, the story on feedback is not quite so rosy or simple.

Cohen (1985)의 의견에 따르면 피드백은 "교육 설계에서 교육적으로 강력하지만, 가장 덜 이해되어있는 특성 중 하나입니다"(33 쪽). 수백 가지의 연구 보고서가 피드백의 주제에 관해 발표되었습니다.
According to Cohen (1985) feedback “is one of the more instructionally pow- erful and least understood features in instructional design” (p. 33). the hundreds of research studies published on the topic of feed- back

이러한 피드백 연구의 큰 범위 내에서 많은 결과가 상충하며 일관된 결과 패턴이 존재하지 않습니다.

Within this large body of feedback research, there are many conflict- ing findings and no consistent pattern of results.

형성적 피드백의 정의

Definition of Formative Feedback

형성 피드백은이 리뷰에서 학습 향상을 목적으로 자신의 생각이나 행동을 수정하려는 의도로 학습자에게 전달 된 정보로 정의됩니다.

Formative feedback is defined in this review as information communicated to the learner that is intended to modify his or her thinking or behavior for the pur- pose of improving learning.

이 분야에서 수행 된 대부분의 연구의 전제는 올바른 피드백이 학습 과정과 결과를 올바르게 개선 할 수 있다는 것입니다. 마지막 3 단어 - "올바르게 전달 된 경우"-이 검토의 요점을 구성합니다.

The premise underlying most of the research conducted in this area is that good feedback can significantly improve learning processes and outcomes, if delivered correctly. Those last three words—“if delivered correctly”—constitute the crux of this review.

Goals and Focus

이 글의 두 가지 목적은 (a) 특징, 기능, 상호 작용 및 학습에 대한 링크를 더 잘 이해하기 위해 피드백에 대한 광범위한 문헌 검토 결과를 제시하고 (b) 문헌 검토에서 발견 한 결과를 적용하는 것이다 형성 피드백과 관련된 일련의 가이드 라인을 작성합니다.

The dual aims of this article are to (a) present findings from an extensive liter- ature review of feedback to gain a better understanding of the features, functions, interactions, and links to learning and (b) apply the findings from the literature review to create a set of guidelines relating to formative feedback.

이 리뷰는 일반적인 요약 피드백과는 달리 작업 수준 피드백(task-level feedback)에 중점을 둡니다. 과제 수준 피드백은 일반적으로 학생들에게 문제에 대한 특정 대응에 대한보다 구체적이고 시기 적절한 (때로는 실시간) 정보를 요약 피드백과 비교하여 제공하며 학생의 현재 이해력 및 능력 수준을 추가로 고려할 수 있습니다. 예를 들어, Struggling student는 숙련 된 학생과 비교하여 형성피드백에서 더 큰 지지와 구조를 요구할 수 있습니다

This review focuses on task-level feedback as opposed to general summary feedback. Task-level feedback typically provides more specific and timely (often real-time) information to the student about a particular response to a problem or task compared to summary feedback and may additionally take into account the student’s current understanding and ability level. For instance, a struggling student may require greater support and structure from a formative feedback message com- pared to a proficient student.

방법

Method

절차

Procedure

Seminal articles in the feedback literature were identified (i.e., from sites that provide indices of importance such as CiteSeer), and then collected. The bibliog- raphy compiled from this initial set of research studies spawned a new collection- review cycle, garnering even more articles, and continuing iteratively throughout the review process.

포함 기준

Inclusion Criteria

The focus of the search was to access full-text documents using various search terms or keywords such as feedback, formative feedback, formative assessment, instruction, learning, computer-assisted/based, tutor, learning, and performance.

문헌 고찰

Literature Review

이 주제에 관한 많은 연구에도 불구하고, 학습에 피드백을 관련시키는 특정 메커니즘은 여전히 거의 없고, (매우 소수의) 일반적인 결론이 있더라도 대부분 애매하다. 피드백 데이터에 대한 메타 분석을 수행하는 어려운 과제를 해결 한 연구원은 피드백 결과를 설명하기 위해 "일관적이지 못한", "모순 된", "매우 가변적 인" 이라고 묘사한다 (Azevedo & Bernard, 1995, Kluger & DeNisi , 1996). 10 년 후 그 기술 어는 여전히 적용됩니다.

Despite the plethora of research on the topic, the specific mechanisms relating feedback to learning are still mostly murky, with very few (if any) general conclusions. Researchers who have tackled the tough task of performing meta-analyses on the feedback data use descriptors such as “inconsistent,” “contradictory,” and “highly variable” to describe the body of feedback findings (Azevedo & Bernard, 1995; Kluger & DeNisi, 1996). Ten years later those descriptors still apply.

피드백은 학습과 수행의 중요한 촉진자로 널리 인용되었지만, 몇몇 연구에서 피드백이 학습에 영향을 미치지 않거나 쇠약하게 만드는 영향을 미친다 고보고했다
Feedback has been widely cited as an important facilitator of learning and per- formance but quite a few studies have reported that feedback has either no effect or debilitating effects on learning

예를 들어, 비판적critical이거나 통제하는controlling 것으로 간주되는 피드백 (Baron, 1993)은 종종 성과를 향상시키기위한 노력을 좌절시킨다 (Fedor, Davis, Maslyn, & Mathieson, 2001). 학습을 방해하는 피드백의 또 다른 특징은 다음과 같다 :

동료들에 대한 학생의 입장을 나타내는 점수 또는 전반적인 점수를 제공하고
그러한 규범적 피드백을 낮은수준의 특이성 (즉, 모호함)과 결합 시킴 (Butler, 1987; Kluger & DeNisi, 1998; McColskey & Leary, 1985; Wiliam, 2007, Williams, 1997).

For instance, feedback that is con- strued as critical or controlling (Baron, 1993) often thwarts efforts to improve performance (Fedor, Davis, Maslyn, & Mathieson, 2001). Other features of feed- back that tend to impede learning include:

providing grades or overall scores indi- cating the student’s standing relative to peers, and
coupling such normative feedback with low levels of specificity (i.e., vagueness) (Butler, 1987; Kluger & DeNisi, 1998; McColskey & Leary, 1985; Wiliam, 2007; Williams, 1997).

이 검토의 정의에 따르면 학습에 부정적인 영향을 미치는 피드백은 형성 적이지 않습니다.
In line with the definition in this review, feedback that has negative effects on learning is not formative.

피드백 목적

Feedback Purposes

다양한 형식의 피드백 외에도 다양한 기능이 있습니다. Black and Wiliam (1998)에 따르면 피드백의 두 가지 주요 기능이있다 : 지시directive 및 촉진facilitative.

Directive 피드백은 학생들에게 수정해야 할 내용을 알려주는 것입니다. 이러한 피드백은 촉진적 피드백과 비교하여보다 구체적으로 나타나는 경향specific이 있으며, 이는 학생들이 자신의 목표를 바꾸고 개념화하는 데 도움이되는 의견과 제안을 제공합니다.

In addition to vari- ous formats of feedback, there are different functions. According to Black and Wiliam (1998), there are two main functions of feedback: directive and facilita- tive. Directive feedback is that which tells the student what needs to be fixed or revised. Such feedback tends to be more specific compared to facilitative feedback, which provides comments and suggestions to help guide students in their own revi- sion and conceptualization.

인지 메커니즘과 형성적 피드백

Cognitive Mechanisms and Formative Feedback

형성적인 피드백을 학습자가 사용할 수 있는 몇 가지 인지 메커니즘이 있습니다.

There are several cognitive mechanisms by which formative feedback may be used by a learner.

첫째, 현재 performance 수준과 원하는 수준의 performance 또는 목표 사이의 차이를 나타낼 수 있습니다. 이러한 격차를 해소하면보다 높은 수준의 노력을 위한 동기부여가 될 수있다 (Locke & Latham, 1990; Song & Keller, 2001). 즉, 형성적 피드백은 학생이 과제 수행 능력 (또는 저조한 정도)에 대한 불확실성을 줄일 수있다 (Ashford, 1986; Ashford, Blatt, & VandeWalle, 2003). 불확실성은 그것을 줄이거 나 감당하기위한 전략에 동기를 부여하는 혐오적인 상태이다 (Bordia, Hobman, Jones, Gallois, and Callan, 2004). 불확실성은 종종 불쾌감을 느끼고 업무 성과에서주의를 산만하게하기 때문에 (Kanfer & Ackerman, 1989) 불확실성을 줄이면 더 높은 동기와 더 효율적인 업무 전략으로 이어질 수 있습니다.

First, it can signal a gap between a current level of performance and some desired level of performance or goal. Resolving this gap can motivate higher levels of effort (Locke & Latham, 1990; Song & Keller, 2001). That is, for- mative feedback can reduce uncertainty about how well (or poorly) the student is performing on a task (Ashford, 1986; Ashford, Blatt, & VandeWalle, 2003). Uncertainty is an aversive state that motivates strategies aimed at reducing or man- aging it (Bordia, Hobman, Jones, Gallois, & Callan, 2004). Because uncertainty is often unpleasant and may distract attention away from task performance (Kanfer & Ackerman, 1989), reducing uncertainty may lead to higher motivation and more efficient task strategies.

둘째, 형성 피드백은 학습자, 특히 초보자 또는 고생하는 학생들의 인지적 부하를 효과적으로 줄일 수 있습니다 (예 : Paas, Renkl, & Sweller, 2003; Sweller, Van Merriënboer, & Paas, 1998). 이러한 학생들은 고성능 요구로 인해 학습 중에 압도적으로 압도 될 수 있으므로 인지부하를 줄이기 위해 고안된 supportive 피드백의 이점을 누릴 수 있습니다.

Second, formative feedback can effectively reduce the cognitive load of a learner, especially novice or struggling students (e.g., Paas, Renkl, & Sweller, 2003; Sweller, Van Merriënboer, & Paas, 1998). These students can become cog- nitively overwhelmed during learning due to high performance demands and thus may benefit from supportive feedback designed to decrease the cognitive load.

마지막으로, 피드백은 부적절한 task strategies, 절차상의 오류 또는 오해를 교정하는 데 유용한 정보를 제공 할 수 있습니다 (예 : Ilgen et al., 1979; Mason & Bruning, 2001; Mory, 2004; Narciss & Huth, 2004). 수정 기능 효과는보다 구체적인 피드백에 대해 특히 강력 해 보인다 (Baron, 1988; Goldstein, Emanuel, & Howell, 1968).

Finally, feedback can provide information that may be useful for correcting inappropriate task strategies, procedural errors, or misconceptions (e.g., Ilgen et al., 1979; Mason & Bruning, 2001; Mory, 2004; Narciss & Huth, 2004). The corrective function effects appear to be especially powerful for feedback that is more specific (Baron, 1988; Goldstein, Emanuel, & Howell, 1968),

피드백 구체성

Feedback Specificity

피드백 특이성(Feedback specificity)은 피드백 메시지에 제시된 정보의 레벨로 정의된다 (Goodman, Wood, & Hendrickx, 2004). 즉, 특정 (또는 정교한) 피드백은 특정 응답이나 행동에 대한 정보를 정확도를 넘어 제공하며 촉진적facilitative이기보다는 지시적directive입니다.

Feedback specificity is defined as the level of information presented in feedback messages (Goodman, Wood, & Hendrickx, 2004). In other words, specific (or elaborated) feedback provides information about particular responses or behaviors beyond their accuracy and tends to be more directive than facilitative.

몇몇 연구자들은 학생들의 작업이 올바른지 아닌지를 나타내는 것보다는 답변을 개선하는 방법에 대한 세부 정보를 제공 할 때 피드백이 훨씬 더 효과적이라고보고했습니다 (예 : Bangert-Drowns et al., 1991; Pridemore & Klein, 1995) . 특이성이 결여 된 피드백은 학생들로 하여금 쓸데없는 것, 좌절하는 것, 또는 둘 다로 보게 할 수도 있습니다 (Williams, 1997). 또한 피드백에 어떻게 반응 할 것인가에 대한 불확실성을 야기 할 수 있고 (Fedor, 1991) 의도 된 메시지를 이해하기 위해 학습자가 더 많은 정보 처리 활동을 요구할 수있다 (Bangert-Drowns et al., 1991). 불확실성과인지 부하는 학습 수준을 낮추고 (Kluger & DeNisi, 1996; Sweller et al., 1998), 피드백에 대해 반응respond하려는 동기를 감소시킬 수도있다 (Ashford, 1986, Corno & Snow, 1986).

Several researchers have reported that feedback is significantly more effective when it provides details of how to improve the answer rather than just indicating whether the student’s work is correct or not (e.g., Bangert-Drowns et al., 1991; Pridemore & Klein, 1995). Feedback lacking in specificity may cause students to view it as useless, frustrating, or both (Williams, 1997). It can also lead to uncer- tainty about how to respond to the feedback (Fedor, 1991) and may require greater information-processing activity on the part of the learner to understand the intended message (Bangert-Drowns et al., 1991). Uncertainty and cognitive load can lead to lower levels of learning (Kluger & DeNisi, 1996; Sweller et al., 1998) or even reduced motivation to respond to the feedback (Ashford, 1986; Corno & Snow, 1986).

요약하면, 개념적이고conceptual 절차적인procedural 학습 작업에 대해, 명확하고 명확한 피드백을 제공하는 것이 합리적이고 일반적인 지침입니다. 그러나 이는 학습자의 특성 (예 : 능력 수준, 동기 부여) 및 학습 결과 (예 : 보존 및 전송 작업)와 같은 다른 변수에 따라 달라질 수 있습니다. 또한, 형성 피드백 자체의 특이성 차원은 문헌에서 기술 된 바와 같이 그다지 "특이 적이 지 않다".

In summary, providing feedback that is specific and clear, for conceptual and procedural learning tasks, is a reasonable, general guideline. However, this may depend on other variables, such as learner characteristics (e.g., ability level, moti- vation) and different learning outcomes (e.g., retention vs. transfer tasks). In addi- tion, the specificity dimension of formative feedback itself is not very “specific” as described in the literature.

형성적 피드백의 특징

Features of Formative Feedback

피드백에 대한 훌륭한 역사적 검토에서 Kulhavy and Stock (1989)는 효과적인 피드백이 학습자에게 두 가지 유형의 정보 (검증 및 정교화)를 제공한다고보고했습니다.

검증: 대답이 정확한지,
정교화: 메시지의 정보적 측면

...에 대한 간단한 판단으로 정의되며, 정확한 답을 얻기 위해 학습자를 안내하는 관련 단서를 제공합니다. 연구원은 효과적인 피드백은 검증과 정교화의 요소를 모두 포함해야 한다는 견해로 수렴하는 것처럼 보인다 (예 : Bangert-Drowns et al., 1991; Mason & Bruning, 2001).

In an excellent historical review on feedback, Kulhavy and Stock (1989) reported that effective feedback provides the learner with two types of information: verifi- cation and elaboration. Verification is defined as the simple judgment of whether an answer is correct, and elaboration is the informational aspect of the message, pro- viding relevant cues to guide the learner toward a correct answer. Researchers appear to be converging toward the view that effective feedback should include ele- ments of both verification and elaboration (e.g., Bangert-Drowns et al., 1991; Mason & Bruning, 2001).

확인 Verification

가장 일반적인 방법은 간단히 "정확함"또는 "부정확함"을 말합니다.보다 유익한 옵션이 있습니다
The most common way involves simply stating “correct” or “incor-rect.” More informative options exist

명시적 검증 중에서 응답 정확도를 나타 내기 위해 응답을 강조 표시하거나 마킹하면 (예 : 체크 표시와 함께) 정보를 전달할 수 있습니다. 암시 적 검증은 예를 들어 학생의 응답이 예기치 않은 결과 (예 : 시뮬레이션 내)를 초래할 때 발생할 수 있습니다.
Among explicit verifications, highlighting or otherwise marking a response to indicate its correctness (e.g., with a checkmark) can convey the infor- mation. Implicit verification can occur when, for instance, a student’s response yields expected or unexpected results (e.g., within a simulation).

정교화 Elaboration

피드백 정교화는 검증보다 훨씬 다양합니다. 예를 들어 (a) 주제를 다룰 때, (b) 응답을 할 때, (c) 특정 오류를 토론 할 때, (d) 예제를 제공 할 때, (e) 온화한 안내를 할 수 있습니다.
Feedback elaboration has even more variations than verification. For instance, elaboration can (a) address the topic, (b) address the response, (c) discuss the par- ticular error(s), (d) provide worked examples, or (e) give gentle guidance.

정교한 피드백(Elaborated feedback)은 일반적으로 정답을 다루고, 선택된 응답이 왜 틀린 지 설명 할 수 있으며, 정답이 무엇인지 나타낼 수 있습니다. 한 가지 유형의 정교화, 즉 반응-관련 피드백이 단순한 검증이나 "정확한 때까지의 대답"과 같은 다른 유형의 피드백보다 학생들의 성취, 특히 학습 효율성을 향상시키는 것처럼 보입니다 (예 : Corbett & Anderson , 2001, Gilman, 1969, Mory, 2004, Shute, Hansen, & Almond, 2007).
Elaborated feedback usually addresses the correct answer, may explain why the selected response is wrong, and may indicate what the correct answer should be. There seems to be growing consensus that one type of elaboration, response- specific feedback, appears to enhance student achievement, particularly learning efficiency, more than other types of feedback, such as simple verification or “answer until correct” (e.g., Corbett & Anderson, 2001; Gilman, 1969; Mory, 2004; Shute, Hansen, & Almond, 2007).

피드백의 복잡성과 길이

Feedback Complexity and Length

특정 피드백 하에서보다 구체적인 피드백이 일반적으로 덜 구체적인 피드백보다 좋을지라도 고려해야 할 관련 차원은 정보의 길이 또는 복잡성입니다. 예를 들어, 피드백이 너무 길거나 너무 복잡하면 많은 학습자가 주의를 기울이지 않아 사용하지 않게됩니다. 긴 피드백은 또한 메시지를 확산 시키거나 희석시킬 수 있습니다.

Although more specific feedback may be generally better than less specific feedback (at least under certain conditions), a related dimension to consider is length or complexity of the information. For example, if feedback is too long or too complicated, many learners will simply not pay attention to it, rendering it use- less. Lengthy feedback can also diffuse or dilute the message.

많은 연구 논문들이 피드백 복잡성에 대해 다루었지만 복잡성의 차원에서 주요 변수를 배열하려고 시도한 것은 소수다 (Dempsey, Driscoll, & Swindell, 1993; Mason & Bruning, 2001; Narciss & Huth, 2004). 각 목록의 정보를 하나의 컴파일로 집계했습니다 (표 1 참조).

Many research articles have addressed feedback complexity, but only a few have attempted to array the major variables along a dimension of complexity (albeit, see Dempsey, Driscoll, & Swindell, 1993; Mason & Bruning, 2001; Narciss & Huth, 2004). I have aggregated information from their respective lists into a single compilation (see Table 1),

형성적 피드백이 교정 기능을 제공하는 것이라면 가장 단순한 형태로도 (a) 학생의 대답이 옳은지 또는 틀린지를 확인하고 (b) 정확한 응답 (지시 또는 촉진)에 대한 정보를 학습자에게 제공해야합니다. .

If formative feedback is to serve a corrective function, even in its simplest form it should (a) verify whether the student’s answer is right or wrong and (b) provide information to the learner about the correct response (either directive or facilita- tive).

피드백 복잡성은 영향이 없다

No Effect of Feedback Complexity

정보의 양(=피드백 복잡성)은 피드백 효과와 유의한 관계가 없다.

Schimmel (1983) found that the amount of information (i.e., feedback complexity) was not significantly related to feedback effects.

TABLE 1 Feedback types arrayed loosely by complexity

피드백 복잡성의 부정적 영향

Negative Effects of Feedback Complexity

피드백 복잡성은 다양했습니다. 가장 낮은 수준은 단순히 정답이었으며, 가장 복잡한 피드백에는 검증, 정답 및 해답이 잘못 된 텍스트 통로의 관련 부분에 대한 포인터가 잘못된 이유에 대한 설명이 포함되었습니다. .

Feedback complexity was systematically varied. The lowest level was simply correct answer feedback, and the most complex feedback included a com- bination of verification, correct answer, and an explanation about why the incorrect answer was wrong with a pointer to the relevant part of the text passage where the answer resided.

요약하면, 피드백 복잡성에 대한 inconclusive한 발견은 형식적 피드백과 학습 간의 관계에 관련된 다른 중개 요인이있을 수 있음을 시사한다. 예를 들어, 피드백 복잡성보다 피드백의 더 중요한 측면은 학습 목표에 관한 정보 제공과 이를 달성하는 방법과 같은 컨텐츠의 특성과 품질 일 수 있습니다.

In summary, the inconclusive findings on feedback complexity suggest that there may be other mediating factors involved in the relationship between forma- tive feedback and learning. For instance, instead of feedback complexity, a more salient facet of feedback may be the nature and quality of the content, such as pro- viding information about learning goals and how to attain them.

목표-지향적 피드백과 동기부여

Goal-Directed Feedback and Motivation

목표 지향 피드백은 개별 응답 (즉, 개별 작업에 대한 응답)에 대한 피드백을 제공하기보다는 학습자가 원하는 목표 (또는 목표 집합)에 대한 진행 상황에 대한 정보를 제공합니다. 연구 결과에 따르면 학습자가 동기를 부여 받고 참여하게하려면 학습자의 목표와 이러한 목표를 달성 할 수 있다는 자신의 기대치가 밀접하게 일치해야 합니다 (Fisher & Ford, 1998, Ford, Smith, Weissbein, Gully, & Salas, 1998). 목표를 달성 할 수 없을 정도로 높게 설정하면 학습자는 실패를 경험하고 낙담하게됩니다. 목표가 너무 낮아 달성이 확실하지 않을 경우 성공은 더 많은 노력을 촉진 할 수있는 힘을 잃습니다 (Birney, Burdick, & Teevan, 1969).

Goal-directed feedback provides learners with information about their progress toward a desired goal (or set of goals) rather than providing feedback on discrete responses (i.e., responses to individual tasks). Research has shown that for a learner to remain motivated and engaged depends on a close match between a learner’s goals and his or her expectations that these goals can be met (Fisher & Ford, 1998; Ford, Smith, Weissbein, Gully, & Salas, 1998). If goals are set so high that they are unattainable, the learner will likely experience failure and become discouraged. When goals are set so low that their attainment is certain, success loses its power to promote further effort (Birney, Burdick, & Teevan, 1969).

Malone (1981)에 따르면 학습자가 목표를 달성하는 데 필요한 몇 가지 특징이 있습니다. 예를 들어, 목표는 개인적으로 의미 있고 쉽게 생성되어야하며 학습자는 목표 달성 여부에 관한 성과 피드백을 받아야합니다. Hoska (1993)는 목표를 두 가지 유형, 즉

획득 (즉, 바람직한 것을 얻기 위해 학습자를 돕는 것)과
회피 (즉, 학습자가 바람직하지 않은 것을 피하는 것을 돕기)로 분류했다.

According to Malone (1981), there are certain features that goals must have to make them challenging for the learner. For example, goals must be personally meaningful and easily generated, and the learner must receive performance feed- back about whether the goals are being attained. Hoska (1993) classified goals as being of two types: acquisition (i.e., to help the learner acquire something desirable) and avoidance (i.e., to help the learner avoid something undesirable).

동기 부여는 학습자의 성취에 중요한 중재 요소로 나타 났으며 (Covington & Omelich, 1984), 피드백은 목표 중심의 노력에 응답하여 전달 될 때 강력한 동기가 될 수 있습니다.

Motivation has been shown to be an important mediating factor in learners’ per- formance (Covington & Omelich, 1984), and feedback can be a powerful motiva- tor when delivered in response to goal-driven efforts.

목표-지향성은 사람들이 다른 종류의 목표를 향해 노력하도록 동기 부여되는 방식을 설명합니다. 개인은 과제에 대해 학습learning 또는 성과performance 지향적 태도를 취하는 것으로 생각합니다 (예 : Dweck, 1986).

learning orientation 은 새로운 기술을 개발하고 지능은 가단성이 있다는 신념을 바탕으로 새로운 상황을 마스터함으로써 자신의 능력을 향상시키려는 욕망을 특징으로합니다.
performance orientation은 자신의 능력을 다른 사람에게 보여주고, 다른 사람에게 좋은 평가를 받으며, 지능은 타고난 것이라고 믿는 바램을 반영합니다 (Farr, Hofmann, & Ringenbach, 1993).

Goal orientation describes the manner in which people are motivated to work toward different kinds of goals. The idea is that individuals hold either a learning or a performance orientation toward tasks (e.g., Dweck, 1986). A learning orientation is characterized by a desire to increase one’s competence by developing new skills and mastering new situations with the belief that intelligence is malleable. In contrast, performance orientation reflects a desire to demonstrate one’s competence to others and to be positively evaluated by others, with the belief that intelligence is innate (Farr, Hofmann, & Ringenbach, 1993).

연구에 따르면 두 가지 유형의 목표 지향이 개인이 과제 난이도와 실패에 어떻게 반응하는지에 차별적으로 영향을 미치는 것으로 나타났습니다 (Dweck & Leggett, 1988).

학습 지향learning orientation은 실패 직면의 지속성,보다 복잡한 학습 전략의 사용, 도전적인 자료 및 과제의 추구로 특징 지워집니다.
성과 지향performance orientation은 업무 (특히 실패의 직면)에서 벗어나고, 어려운 업무에 대한 관심이 적으며, 성공할 가능성이 적은 도전 과제 및 과제를 찾는 경향이 특징입니다.

이러한 연구 결과에 따르면 연구 결과는 일반적으로 학습 지향은 긍정적 인 결과와 관련이 있으며 성과 지향은 모호하거나 부정적 결과와 관련이 있음을 보여 주었다 (Button, Mathieu, & Zajac, 1996, Fisher & Ford, 1998, VandeWalle , Brown, Cron, & Slocum, 1999).

Research has shown that the two types of goal orientation differentially influ- ence how individuals respond to task difficulty and failure (Dweck & Leggett, 1988). That is, learning orientation is characterized by persistence in the face of failure, the use of more complex learning strategies, and the pursuit of challenging material and tasks. Performance orientation is characterized by a tendency to with- draw from tasks (especially in the face of failure), less interest in difficult tasks, and the tendency to seek less challenging material and tasks on which success is likely. Consistent with these labels, research has generally shown that learning ori- entation is associated with more positive outcomes and performance orientation is related to either equivocal or negative outcomes (e.g., Button, Mathieu, & Zajac, 1996; Fisher & Ford, 1998; VandeWalle, Brown, Cron, & Slocum, 1999).

학습자의 목표-지향성에 영향을 미치는 한 가지 방법 (예 : 수행 강조에 초점을 학습에 중점을 두는 것)은 형성적 피드백을 통해 이루어집니다.

One way to influence a learner’s goal orientation (e.g., to shift from a focus on performing to an emphasis on learning) is via formative feedback.

스캐폴딩으로서 형성적 피드백

Formative Feedback as Scaffolding

훈련 바퀴와 마찬가지로 스캐폴딩은 학습자가보다 advanced 활동을 할 수있게 해주 며, 그러한 도움없이 할 수있는 것보다 더 진보 된 사고와 문제 해결에 참여할 수있게 해줍니다.

Like training wheels, scaffolding enables learners to do more advanced activi- ties and to engage in more advanced thinking and problem solving than they could without such help.

기존에는 촉진적 피드백 (지침 및 단서 제공)이 지침 피드백 (교정 정보 제공)보다 학습을 향상시킬 수 있다고 제안하지만, 반드시 그런 것은 아닙니다. 사실, 일부 연구는 Directive 피드백이 실제로 주제 나 내용 영역을 학습하는 학습자 (특히 Knoblauch & Brannon, 1981; Moreno, 2004)의 경우보다 실질적으로 도움이 될 수 있음을 보여주었습니다. 스캐 폴딩은 학습 과정에서 학습자가 명시 적으로 지원하는 것과 관련되어 있기 때문에 교육적 측면에서 모델, 단서, 프롬프트, 힌트, 부분 해법 및 직접 교육 (Hartman, 2002)이 포함될 수 있습니다. 스캐폴딩은 학생들이 인지적 발판을 얻음에 따라 점차적으로 제거됩니다. 따라서 Directive 피드백은 학습 초기 단계에서 가장 유용 할 수 있습니다. 촉진 적 피드백은 나중에 도움이 될 수 있으며, 관련된 질문은 "언제입니까?"이다.

Vygotsky (1987)에 따르면, 학습자가, 외부 스캐폴딩은 기존의 지식 시스템이 새로운 학습을 위한 스캐폴딩의 일부가 되는, 보다 정교한 인지 시스템을 개발할 때 제거 될 수 있습니다. 피드백 타이밍 문제는 이제 더 자세히 논의됩니다.

Conventional wisdom suggests that facilitative feedback (providing guidance and cues, as illustrated in the research cited previously) would enhance learning more than directive feedback (providing corrective information), yet this is not nec- essarily the case. In fact, some research has shown that directive feedback may actu- ally be more helpful than facilitative—particularly for learners who are just learning a topic or content area (e.g., Knoblauch & Brannon, 1981; Moreno, 2004). Because scaffolding relates to the explicit support of learners during the learning process, in an educational setting, scaffolded feedback may include models, cues, prompts, hints, partial solutions, and direct instruction (Hartman, 2002). Scaffolding is grad- ually removed as students gain their cognitive footing; thus, directive feedback may be most helpful during the early stages of learning. Facilitative feedback may be more helpful later, and the question is: When? According to Vygotsky (1987), exter- nal scaffolds can be removed when the learner develops more sophisticated cogni- tive systems, where the system of knowledge itself becomes part of the scaffold for new learning. The issue of feedback timing is now discussed in more detail.

시기

Timing

It was my teacher’s genius, her quick sympathy, her loving tact which made the first years of my education so beautiful. It was because she seized the right moment to impart knowledge that made it so pleasant and acceptable to me. —Helen Keller

앞서 언급 한 피드백 변수 (예 : 복잡성 및 특이성)와 마찬가지로 피드백시기와 학습 결과 및 효율성에 미치는 영향에 관한 문헌에서 상충되는 결과가 있습니다.
Similar to the previously mentioned feedback variables (e.g., complexity and specificity), there are also conflicting results in the literature relating to the timing of feedback and the effects on learning outcome and efficiency.

일부 연구자들은 오류가 메모리에 인코딩되는 것을 방지하기위한 수단으로 즉각적인 피드백을 주장했지만, 지연된 피드백은 사전 간섭을 줄여 초기 오류를 잊어 버리고 올바른 정보를 간섭없이 인코딩 할 수 있다고 주장했습니다
Some researchers have argued for immediate feedback as a means to prevent errors being encoded into memory, whereas others have argued that delayed feedback reduces proactive interference, thus allowing the initial error to be forgotten and the cor- rect information to be encoded with no interference

지연된 피드백

Support for Delayed Feedback

즉각적 피드백

Support for Immediate Feedback

피드백 타이밍과 연결

Conjoining Feedback Timing Findings

문헌에서보고 된 이러한 상호 작용 중 하나는 피드백 타이밍과 작업난이도와의 관련성이 있다.

작업이 어려우면 즉각적인 피드백이 도움이 되지만
작업이 쉬운 경우 지연된 피드백이 바람직 할 수 있습니다 (Clariana, 1999).

이것은 이전에 Scaffolding으로 Formative Feedback 하위 섹션에서 제시 한 아이디어와 유사합니다.

One such interaction reported in the literature concerns feedback timing and task difficulty. That is, if the task is difficult, then immediate feedback is beneficial, but if the task is easy, then delayed feedback may be preferable (Clariana, 1999). This is similar to the ideas presented earlier in the Formative Feedback as Scaffolding subsection.

피드백 타이밍 요약

Summary of Feedback Timing Results

피드백 타이밍과 학습 및 성과 간의 관계를 조사한 연구는 일관되지 않는 결과를 나타냅니다. 하나의 흥미로운 관찰은 많은 현장 연구가 즉각적인 피드백 (Kulik & Kulik, 1988 참조)의 가치를 입증하는 반면, 많은 실험실 연구는 지연된 피드백의 긍정적 인 효과를 나타내는 반면 Schmidt & Bjork (1992; Schmidt et al.)

불일치를 해결할 수있는 한 가지 방법은 즉각적인 피드백으로 긍정적 인 학습 결과와 부정적인 학습 효과가 모두 활성화 될 수 있다는 점입니다. 예를 들어 즉각적인 피드백의 긍정적 인 효과는 의사 결정을 촉진하거나 실행 동기와 원인에 대한 결과의 명확한 연관성을 제공하는 것으로 볼 수 있습니다. 즉각적인 피드백의 부정적인 영향은 전송하는 동안 사용할 수 없는 정보에 대한 의존을 촉진하고 덜 신중하거나 주의 깊은 행동을 조장 할 수 있습니다. 이 가정이 사실이라면 즉각적인 피드백의 긍정적이고 부정적인 영향은 서로 상쇄 될 수 있습니다. 양자 택일로, 긍정적 인 영향이나 부정적인 영향이 실험적 맥락에 따라 전면에 나타날 수있다.

학습에 대한 지연된 피드백 효과에 대해서도 비슷한 주장이 제기 될 수있다. 예를 들어, 긍정적인면에서 피드백 지연은 학습자가 능동적인 인지 및 메타인지 과정에 참여하도록 유도하여 자율감을 고취시킨다. 그러나 부정적인 측면에서 struggling하고 덜 동기 부여 된 학습자에 대한 피드백을 지연시키는 것은 지식과 기술 습득에 실망스럽고 해로운 것으로 판명 될 수 있습니다.

Research investigating the relationship of feedback timing to learning and per- formance reveals inconsistent findings. One interesting observation is that many field studies demonstrate the value of immediate feedback (see Kulik & Kulik, 1988), whereas many laboratory studies show positive effects of delayed feedback (see Schmidt & Bjork, 1992; Schmidt et al. 1989). One way to resolve the inconsis- tency is by considering that immediate feedback may activate both positive and neg- ative learning effects. For instance, the positive effects of immediate feedback can be seen as facilitating the decision or motivation to practice and providing the explicit association of outcomes to causes. The negative effects of immediate feed- back may facilitate reliance on information that is not available during transfer and promote less careful or mindful behavior. If this supposition is true, the positive and negative effects of immediate feedback could cancel each other out. Alternatively, either the positive or negative effects may come to the fore, depending on the exper- imental context. A similar argument could be made for delayed feedback effects on learning. For example, on the positive side, delayed feedback may encourage learn- ers’ engagement in active cognitive and metacognitive processing, thus engender- ing a sense of autonomy (and perhaps improved self-efficacy). But on the negative side, delaying feedback for struggling and less motivated learners may prove to be frustrating and detrimental to their knowledge and skill acquisition.

피드백과 다른 변인과의 관계

Feedback and Other Variables

학습자 수준

Learner Level

이 리뷰의 Timing Subsection에서 언급했듯이, 성취도가 낮은 학생들은 즉각적인 피드백으로 이익을 얻는 반면, 성취도가 높은 학생은 지연된 피드백을 선호하거나 이익을 얻을 수 있다고 제안했습니다. (Gaynor, 1981; Roper, 1977). 게다가 다양한 유형의 피드백을 테스트 할 때, Clariana (1990)는 능력이 부족한 학생들이 try-again feedback보다 correct response feedback을받는 것으로 이익을 얻는다 고 주장했습니다. Hanna (1976)는 또한 다양한 피드백 조건과 관련하여 학생의 수행 능력을 검증했다. 검증, 정교화, 피드백 없음.

Verification피드백 조건은 우수한 학생의 경우 가장 높은 점수를,
Elaborated 피드백은 낮은 학생의 경우 가장 높은 점수를 받았습니다.
중상위 학생들을위한 검증과 정교한 피드백 간에는 유의미한 차이가 없었지만 이러한 피드백 유형 모두는 피드백이없는 것보다 우위에있었습니다.

As alluded to in the Timing subsection of this review, some research has sug- gested that low-achieving students may benefit from immediate feedback, whereas high-achieving students may prefer or benefit from delayed feedback (Gaynor, 1981; Roper, 1977). Furthermore, when testing different types of feedback, Clariana (1990) has argued that low-ability students benefit from receipt of correct response feedback more than from try again feedback. Hanna (1976) also examined student performance in relation to different feedback conditions: verification, elaboration, and no feedback. The verification feedback condition produced the highest scores for high-ability students and elaborated feedback produced the highest scores for low-ability students. There were no significant differences between verification and elaborated feedback for middle-ability students, but both of these types of feedback were superior to no feedback.

정답에 대한 확신

Response Certitude

Kulhavy and Stock (1989)는 정보 처리의 관점에서 피드백과 응답 증명 문제를 조사했다. 즉 학생들은 다양한 과제에 대한 각 답변에 따라 자신감 평가 ( "응답 성"등급)를 제공하게했습니다. 그들은 학생들이 스스로 답이 정확하다고 확신 할 때 피드백을 분석하는 데 더 적은 시간을 할애하고, 학생들이 스스로 답이 정확하지 않다고 생각할 때 피드백을 검토하는 데 더 많은 시간을 할애 할 것이라고 가설을 세웠습니다. 이것의 암시는 간단합니다. 즉, 자신의 대답이 틀렸다고 확신하는 학생들에게보다 Elaborated 피드백을 제공하고 정답의 정확성이 높은 사람들에게 더 Constrained 피드백을 제공합니다.

Kulhavy and Stock (1989) examined feedback and response certitude issues from an information-processing perspective. That is, they had students provide confidence judgments (“response certitude” ratings) following each response to various tasks. They hypothesized that when students are certain their answer is cor- rect, they will spend little time analyzing feedback, and when students are certain their answer is incorrect, they will spend more time reviewing feedback. The impli- cations of this are straightforward; that is, provide more elaborated feedback for students who are more certain that their answer is wrong and deliver more con- strained feedback for those with high certitude of correct answers.

목표 지향성

Goal Orientation

Davis, Carson, Ammeter, and Treadway (2005)는 learning orientation 이 낮은 사람들한테는 피드백 특이성 (저, 중등도, 고레벨)이 유의한 영향을 미친다는 것을 발견했다. 이 연구 결과는 피드백 활동의 전반적인 긍정적 효과를 뒷받침하며, 학습자가 high-performance 또는 low-learning 지향성을 가질 때 more specific 피드백을 사용할 것을 제안합니다.

Davis, Carson, Ammeter, and Treadway (2005) found that feedback specificity (low, moderate, and high levels) had a significant influence on performance for individuals who were low on learning orientation (i.e., high feedback specificity was better for learners with low learning orientation). They also reported a significant influence of feedback specificity on performance forpersons high in performance orientation (i.e., this group also benefited from more specific feedback). The findings support the general positive effects of feedback on performance and suggest the use of more specific feedback for learners with either high-performance or low-learning goal orientations.

규범적(서로 비교하는) 피드백

Normative Feedback

McColskey와 Leary (1985)는 실패가 self-referenced 된 용어로 표현 될 때, 즉 다른 측정에 의해 평가 된 학습자의 알려진 수준의 능력과 관련하여 실패의 해로운 영향이 줄어들 수도 있다는 가설을 조사했다. 그들은 norm-referenced feedback에 비해 self-referenced feedback은 미래 성과에 대한 기대치롤 높여주고 노력에 대한 기여도가 증가한다는 것을 발견했다. (예를 들어, "나는 정말로 열심히했기 때문에 성공했다.") 능력에 대한 기여 (예 : '나 때문에 성공했습니다.')는 영향을받지 않았습니다. 주된 의미는 성취도가 낮은 학생들은 규범적 피드백이 아니라 자기 참조 된 피드백을 받음으로써, 자신의 progress에 주의를 집중할 수 있다는 것이다.

McColskey and Leary (1985) examined the hypothesis that the harmful effects of failure might be lessened when failure is expressed in self-referenced terms—that is, relative to the learner’s known level of ability as assessed by other measures. They found that, compared to norm-referenced feed-back, self-referenced feedback resulted in higher expectancies regarding future performance and increased attributions to effort (e.g., “I succeeded becauseI worked really hard”). Attributions to ability (e.g., “I succeeded because I’msmart”) were not affected. The main implication is that low-achieving students should not receive normative feedback but should instead receive self-referenced feedback—focusing their attention on their own progress.

형성적 피드백의 프레임워크

Toward a Framework of Formative Feedback

To understand the world, one must not be worrying about one’s self. —Albert Einstein

Kluger and DeNisi (1996)

Kluger와 DeNisi (1996)는 피드백 개입 (FI)이 다양한 시각에서 성과에 미치는 영향을 조사하고 1900 년대 초 Thorndike의 고전적 연구에 이르기까지 수십 년간의 연구를 조사했다. 그들의 예비 피드백 개입 이론 (FIT)은 FI 효과를 조사하는 광범위한 접근법을 제공하며,

Kluger and DeNisi (1996) examined and reported on the effects of feedback interventions (FIs) on performance from multiple perspectives and spanning decades of research—back to Thorndike’s classic research in the early 1900s. Their preliminary feedback intervention theory (FIT) offers a broad approach to investigating FI effects,

FIT의 기본 전제는 FI가 세 가지 수준의 제어 (a) 작업 학습, (b) 작업 동기 부여, (c) 메타 태스킹 프로세스 (그림 1 참조) 사이에서 학습자의 관심의 위치를 변경한다는 것입니다.

The basic premise underlying FIT is that FIs change the locus of a learner’s attention among three levels of control: (a) task learning, (b) task motivation, and (c) metatask processes (see Figure 1).

FI가 유도한 관심 영역의 위계가 낮을수록 FI에 따른 performance에 이득이 향상된다는 장점이 있습니다. 즉, 학습자가 과제의 측면 (즉, 그림 1의 아래 부분)에 초점을 두는 형성 피드백은 자기 자신에게주의를 환기시키는 FI (즉, 그림 1의 상단 상자)에 비해 학습 및 성취를 촉진합니다. , 이는 학습을 방해 할 수 있습니다.

The lower in the hier- archy the FI-induced locus of attention is, the stronger is the benefit of an FI for performance. In other words, formative feedback that focuses the learner on aspects of the task (i.e., the lower part of Figure 1) promotes learning and achieve- ment compared to FIs that draw attention to the self (i.e., the upper box in Figure 1), which can impede learning.

FIT는 다섯 가지 기본 논점으로 구성된다 :

(a) 행동은 목표 나 표준에 대한 피드백의 비교에 의해 규제된다.

(b) 목표 또는 표준은 계층 적으로 조직된다.

(c)주의는 제한적이므로 피드백 표준 갭 주의력을 행동 규칙에 적극적으로 참여시키는

(d)주의는 일반적으로 계층 구조의 중간 수준으로 향한다. 그리고

(e) FI는 관심의 장소를 바꾸어 행동에 영향을 미친다.

FIT consists of five basic arguments:

(a) behavior is regulated by comparisons of feedback to goals or standards,
(b) goals or standards are organized hierarchi- cally,
(c) attention is limited and therefore only feedback–standard gaps (i.e., dis- crepancies between actual and desired performance) that receive attention actively participate in behavior regulation,
(d) attention is normally directed to a moderate level of the hierarchy; and
(e) FIs change the locus of attention and therefore affect behavior.

Figure 2 summarizes the main findings.

이러한 결과의 한 가지 중요한 발견은 자기주의의 모델 (Baumeister, Hutton, & Cairns, 1990), 노력의 속성 ( Butler, 1987) 및 통제 이론 (Waldersee & Luthans, 1994).

One important finding from these results concerns the attenuating effect of praise on learning and performance, although this has been described elsewhere in the literature in terms of a model of self-attention (Baumeister, Hutton, & Cairns, 1990), attributions of effort (Butler, 1987), and control theory (Waldersee & Luthans, 1994).

Bangert-Drowns et al. (1991)

행동을 유도하기 위해서는, 학습자는 행동에 의해 초래 된 신체적 변화를 모니터링 할 수 있어야합니다. 즉, 학습자는 새로운 정보에 적응시키고 performance에 대한 자신의 기대치와 일치시킴으로써인지 조작 및 이에 따른 활동을 변경합니다.

The basic idea is that to direct behavior, a learner needs to be able to monitor physical changes brought about by the behavior. That is, learners change cognitive operations and thus activity by adapting it to new information and matching it with their own expectations about performance.

Bangert-Drowns et al. (1991)의 대부분의 변수는 텍스트 기반 피드백을 분석하여 5 단계 모델로 구성했습니다. 이 모델은 학습자가 피드백주기를 통해 움직이고 mindfulness의 구조를 강조하면서 학습자의 상태를 설명합니다 (Salomon & Globerson, 1987). Mindfulness는 "학습자가 상황 별 단서와 관련된 과제에 관련된 근본적인 의미를 탐구하는 반사적 과정"입니다 (Dempsey 외, 1993, 38 페이지).

Most of the variables Bangert-Drowns et al. (1991) analyzed comprised text- based feedback, which they organized into a five-stage model. This model describes the state of learners as they move through a feedback cycle and emphasizes the construct of mindfulness (Salomon & Globerson, 1987). Mindfulness is “a reflec- tive process in which the learner explores situational cues and underlying mean- ings relevant to the task involved” (Dempsey et al., 1993, p. 38).

5 단계는 그림 3에 묘사되어 있으며, 특히 성찰의 중요성과 연관된 다른 학습주기 (예 : Gibbs, 1988, Kolb, 1984)와 유사합니다.

The five stages are depicted in Figure 3 and are similar to other learning cycles (e.g., Gibbs, 1988; Kolb, 1984), particularly in relation to the importance of reflection.

1. 학습자의 초기 또는 현재 상태. 이것은 관심의 정도, 목표 지향성, 자기 효능감 정도 및 이전의 관련 지식에 의해 특징 지어진다.

1. The initial or current state of the learner. This is characterized by the degree of interest, goal orientation, degree of self-efficacy, and prior relevant knowledge.

2. 검색 및 검색 전략. 이러한 인식 메커니즘은 질문에 의해 활성화됩니다. 정교화의 맥락에서 저장된 정보는 정보에 대한 액세스를 제공하는 경로가 더 많기 때문에 메모리에서 찾기가 더 쉽습니다.

2. Search and retrieval strategies. These cognitive mechanisms are activated by a question. Information stored in the context of elaborations would be easier to locate in memory because of more pathways providing access to the information.

3. 학습자가 질문에 응답합니다. 또한, 학습자는 (자신의) 대답에 대해 어느 정도 확신을 갖고 있기 때문에, 피드백에 대해 기대하는 바가 있습니다.

3. The learner makes a response to the question. In addition, the learner feels some degree of certainty about the response and thus has some expectation about what the feedback will indicate.

4. 학습자는 피드백의 정보를 고려하여 응답을 평가합니다. 평가의 성격은 피드백에 대한 학습자의 기대에 달려 있습니다. 예를 들어,

학습자가 자신의 응답을 확신하는데다가 피드백이 (그 응답이) 정확하다는 것을 확인해주면 검색 경로retrieval pathway가 강화되거나 변경되지 않을 수 있습니다.
학습자가 응답을 확신하고 피드백이 정확하지 않다는 것을 나타내면 학습자는 부조화를 이해하려고 노력할 수 있습니다.
피드백 확인 또는 disconfirmation에 대한 응답에 대한 불확실성은 학습자가 수업 내용을 획득하는 데 관심이 없다면 심층 성찰을 시뮬레이트 할 가능성이 적습니다.

4. The learner evaluates the response in light of information from the feedback. The nature of the evaluation depends on the learner’s expectations about feedback. For instance, if the learner was sure of his or her response and the feedback confirmed its correctness, the retrieval pathway may be strength- ened or unaltered. If the learner was sure of the response and feedback indi- cated its incorrectness, the learner may seek to understand the incongruity. Uncertainty about a response with feedback confirmation or disconfirmation is less likely to simulate deep reflection unless the learner was interested in acquiring the instructional content.

5. 응답 평가 결과 관련 지식, 자기 효능감, 관심사 및 목표를 조정합니다. 이러한 조정 된 상태는 이후의 경험과 함께 다음 "현재"상태를 결정합니다.

5. Adjustments are made to relevant knowledge, self-efficacy, interests, and goals as a result of the response evaluation. These adjusted states, with sub- sequent experiences, determine the next “current” state.

Bangert-Drowns et al. (1991)의 메타 분석과 후속 5 사이클 모델의 주된 결론은 피드백이 주의 깊게 받아 들여지면 피드백이 학습을 촉진 할 수 있다는 것이다. 반대로 피드백은 학습자가 자신의 기억 검색을 시작하기 전에 응답이 가능 해지거나 피드백 메시지가 학생들의 인지적 요구 (예 : 너무 쉽거나, 너무 복잡하거나, 너무 모호한 경우)와 일치하지 않는 경우와 같이 어리석은 행동mindlessness을 조장 할 경우 학습을 방해 할 수 있습니다.

The main conclusion from Bangert-Drowns et al.’s (1991) meta-analysis and subsequent five-cycle model is that feedback can promote learning if it is received mindfully. Conversely, feedback can inhibit learning if it encourages mindlessness, as when the answers are made available before learners begin their memory search, or if the feedback message does not match students’ cognitive needs (e.g., too easy, too complex, too vague).

Narciss and Huth (2004)

일반적으로 Narciss and Huth (2004)는 효과적인 형성 피드백을 설계하고 개발하는 것은 복잡한 학습 과제에 효과적인 피드백을 제공하기 위해 학습자의 특성뿐만 아니라 학습 내용(instructional context)을 고려할 필요가 있다고 주장했다. 형성 피드백의 설계를위한 개념적 틀은 그림 4에 묘사되어있다.

In general, Narciss and Huth (2004) asserted that designing and developing effective formative feedback needs to take into consideration instructional context as well as characteristics of the learner to provide effective feedback for complex learning tasks. The conceptual framework for the design of formative feedback is depicted in Figure 4 (modified from the original).

1. 지시. 학습 요소 또는 문맥은

(a) 학습 목표 (예 : 학습 목표 또는 일부 교과 과정과 관련된 표준),

(b) 학습 과제 (예 : 지식 항목,인지 행동, 메타인지 기술), 그리고

(c) 오류 및 장애 (예 : 일반적인 오류, 잘못된 전략, 오류의 출처).

1. Instruction. The instructional factor or context consists of three main elements: (a) the instructional objectives (e.g., learning goals or standards relating to some curriculum), (b) the learning tasks (e.g., knowledge items, cognitive operations, metacognitive skills), and (c) errors and obstacles (e.g., typical errors, incorrect strategies, sources of errors).

2. 학습자. 피드백 설계와 관련된 학습자에 관한 정보는

(a) 학습 목표 및 목표;

(b) 사전 지식, 기술 및 능력 (예 : 콘텐츠 지식과 같은 도메인 종속적, 메타인지 기술과 같은 도메인 독립적)

(c) 학업 동기 (예 : 학업 성취도, 학업 자기 효능감, 그리고 metamotivational 기술).

2. Learner. Information concerning the learner that is relevant to feedback design includes (a) learning objectives and goals; (b) prior knowledge, skills, and abilities (e.g., domain dependent, such as content knowledge, and domain independent, such as metacognitive skills); and (c) academic moti- vation (e.g., one’s need for academic achievement, academic self-efficacy, and metamotivational skills).

3. 피드백. 피드백 요소는 3 가지 주요 요소로 구성된다 :

(a) 피드백의 내용 (즉, 검증과 같은 평가 측면과 힌트, 큐, 유추, 설명 및 실제 예제와 같은 정보 측면) ),

(b) 피드백의 기능 (즉,인지, 메타인지 및 동기 부여),

(c) 피드백 요소의 제시 (예 : 타이밍, 일정 및 적응성 고려 사항).

3. Feedback. The feedback factor consists of three main elements: (a) the con- tent of the feedback (i.e., evaluative aspects, such as verification, and infor- mative aspects, such as hints, cues, analogies, explanations, and worked-out examples), (b) the function of the feedback (i.e., cognitive, metacognitive, and motivational), and (c) the presentation of the feedback components (i.e., timing, schedule, and perhaps adaptivity considerations).

Mason and Bruning (2001)

Mason and Bruning’s theoretical framework, depicted in Figure 5,

프레임 워크에서 가져온 일반적인 권장 사항은 간단한 (낮은 수준) 또는 복잡한 (높은 수준) 작업의 맥락에서

성취도가 낮은 학생에 대한 즉각적인 피드백이 지연된 피드백보다 우월하다는 점입니다.
지연된 피드백은 성취도가 높은 학생, 특히 복잡한 업무에서 권장된다.

The general rec- ommendation they have drawn from the framework is that immediate feedback for students with low achievement levels in the context of either simple (lower level) or complex (higher level) tasks is superior to delayed feedback, whereas delayed feedback is suggested for students with high achievement levels, especially for complex tasks.

Summary and Discussion

Recommendations and Guidelines for Formative Feedback

Tables 2, 3, 4, and 5 present suggestions or prescriptions based on the current review of the formative feedback literature.

사실, 비고츠키 (Vygotsky, 1987)는 지성이 동기 부여와 정서적 (또는 정서적 인) 측면에서 분리 됨으로써 심리학의 연구가 손상되었다고 지적했다. 이것은 정서적 혼란이 정신 활동 (예, 불안, 화가)을 저해 할 수 있다고 주장한 연구자들 (Goleman, 1995; Mayer & Salovey, 1993, 1997, Picard et al., 2004) , 우울한 학생들은 배우지 않습니다). 따라서 미래 연구의 한 가지 흥미로운 영역은 피드백과 결과 성과에서 정서적 인 요소들 간의 관계를 체계적으로 조사하는 것입니다.

In fact, Vygotsky (1987) noted that the study of psychology had been damaged by the separation of the intellectual from the motivational and emotional (or affective) aspects of thinking. This seems to be supported by a growing number of researchers (e.g., Goleman, 1995; Mayer & Salovey, 1993, 1997; Picard et al., 2004) who have argued that emotional upsets can interfere with mental activities (e.g., anxious, angry, or depressed students do not learn). Thus, one intriguing area of future research is to systematically examine the relationship(s) between affective components in feedback and outcome performance.

TABLE 2 Formative feedback guidelines to enhance learning (things to do)

학습자가 아닌 과제에 집중하십시오.
학습 향상을 위해 정교한 피드백을 제공하십시오.
정교한 피드백을 다루기 쉬운 단위로 제시하십시오.
피드백 메시지로 구체적이고 명확하게 작성하십시오.
피드백을 가능한 한 간단하지만 (학습자의 요구와 교육 제약에 따라) 단순하게하지 마십시오.
성과와 목표 사이의 불확실성을 줄입니다.
서면 또는 컴퓨터를 통해 공정하고 객관적인 피드백을 제공하십시오. 피드백을 통해 "학습"목표 오리엔테이션을 추진하십시오.
학습자가 솔루션을 시도한 후에 피드백을 제공하십시오.

Focus feedback on the task, not the learner.

Provide elaborated feedback to enhance learning.

Present elaborated feedback in manageable units.

Be specific and clear with feedback message.

Keep feedback as simple as possible but no simpler (based on learner needs and instructional constraints).

Reduce uncertainty between performance and goals.

Give unbiased, objective feedback, written or via computer. Promote a “learning” goal orientation via feedback.

Provide feedback after learners have attempted a solution.

TABLE 3 Formative feedback guidelines to enhance learning (things to avoid)

규범적인 비교를하지 마십시오. 전반적인 성적 제공에 대해서는 신중해야합니다.
학습자를 낙담 시키거나 학습자의 자존심을 위협하는 피드백을 제공하지 마십시오.
'칭찬'은 아끼십시오
구두로 피드백을 제공하지 않도록하십시오.
학습자가 적극적으로 참여하는 경우 피드백을 통해 학습자를 방해하지 마십시오.
항상 정답으로 끝나는 점진적인 힌트를 사용하지 마십시오.
피드백 프리젠 테이션 모드를 텍스트로 제한하지 마십시오.
광범위한 오류 분석 및 진단의 사용을 최소화하십시오.

Do not give normative comparisons. Be cautious about providing overall grades.

Do not present feedback that discourages the learner or threatens the learner’s self- esteem.

Use “praise” sparingly, if at all.

Try to avoid delivering feedback orally.

Do not interrupt learner with feedback if the learner is actively engaged.

Avoid using progressive hints that always terminate with the correct answer.

Do not limit the mode of feedback presentation to text.

Minimize use of extensive error analyses and diagnosis.

TABLE 4 Formative feedback guidelines in relation to timing issues

원하는 결과와 일치하도록 피드백 타이밍을 설계하십시오.
어려운 작업의 경우 즉각적인 피드백을 사용하십시오.
상대적으로 간단한 작업의 경우 지연된 피드백을 사용하십시오.
절차 적 또는 개념적 지식을 유지하려면 즉각적인 피드백을 사용하십시오.
학습 이전을 촉진하려면 지연된 피드백 사용을 고려하십시오.

Design timing of feedback to align with desired outcome.

For difficult tasks, use immediate feedback.

For relatively simple tasks, use delayed feedback.

For retention of procedural or conceptual knowledge, use immediate feedback.

To promote transfer of learning, consider using delayed feedback.

TABLE 5 Formative feedback guidelines in relation to learner characteristics

학습성이 높은 학습자에게는 지연된 피드백 사용을 고려하십시오.
저조한 학습자에게는 즉각적인 피드백을 사용하십시오.
학습 성이 낮은 학습자의 경우 지시 (또는 정정) 피드백을 사용하십시오.
학습성이 높은 학습자에게는 촉진 적 피드백을 사용하십시오. 저학년 학습자의 경우 스캐 폴딩을 사용하십시오.
학습성이 높은 학습자에게는 검증 피드백으로 충분할 수 있습니다.
저학년 학습자의 경우 올바른 응답과 정교한 피드백을 사용하십시오.
낮은 학습 지향 (또는 높은 성취 지향)을 가진 학습자에게 구체적인 피드백을 제공하십시오.

For high- achieving learners, consider using delayed feedback.

For low-achieving learners, use immediate feedback.

For low-achieving learners, use directive (or corrective) feedback.

For high- achieving learners, use facilitative feedback. For low-achieving learners, use scaffolding.

For high- achieving learners, verification feedback may be sufficient.

For low-achieving learners, use correct response and some kind of elaboration feedback.

For learners with low learning orientation (or high performance orientation), give specific feedback.

The general question is: What level of feedback complexity yields the most bang for the buck?

Focus on Formative Feedback

Valerie J. Shute

First Published March 1, 2008 research-article

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > ⓧ교수법, 피드백, 멘토링 (From Misc.)' 카테고리의 다른 글

개인주의를 넘어서: 전문직 문화가 피드백에 미치는 영향(Med Educ, 2013) (0)	2017.04.28
교수 학생간 비공식 멘토링 (Acad Med, 2005) (0)	2017.02.18
임상교육에서의 피드백(Do's and Don'ts) (Perspect Med Educ. 2015) (0)	2016.11.14
Ppsychometrics를 활용한 신뢰성있는 인지부하 측정: 객관적인 교육프로그램 최적화 모델(Med Educ, 2016) (0)	2016.10.24
숙련된 운동능력에 대한 과도한 생각: 또는 왜 가르치는 사람은 할 수가 없는가 (Psychonomic Bulletin & Review, 2008) (0)	2016.04.11

Chapter 15. 국제교수개발 [Faculty Development in the Health Professions]

Meded. 2017. 1. 18. 18:07

2017. 1. 18. 18:07

Chapter 15. 국제교수개발

Chapter 15 International Faculty Development Partnerships

Stacey Friedman , Francois Cilliers , Ara Tekian , and John Norcini

15.1 Introduction

iFDP은 상호 이익을 위해 형성되는 관계이며 개선 된 건강 관리와 같은 공동적이고 때로는 복잡한 목표를 달성하기 위해 노력합니다. 이들은 파트너가 독립적으로 할 수있는 것보다 효과적으로 특정 목표를 달성하고자하는 바람에 동기 부여됩니다 (Kolars 외. 2012; Leffers and Mitchell 2011). 또한 보건 전문 교육, 연구 및 실행의 세계화에 대한 대응이기도하다 (Marchal and Kegels 2003). 세계화에는 국경 간 통합과 아이디어와 자원의 교환이 포함 된 글로벌 용어로 보건 전문 교육을 개념화하는 것이 포함된다 (Hodges et al., 2009).

International faculty development partnerships are relationships that form for mutual benefit and seek to achieve shared, and sometimes complex, goals such as improved health care. They are motivated by a desire to achieve specific goals more effectively than any partner could independently (Kolars et al. 2012 ; Leffers and Mitchell 2011 ). They are also a response to the globalization of health professions education, research, and practice (Marchal and Kegels 2003 ). Globalization includes conceptualizing health professions education in global terms, with cross-border integration and exchange of ideas and resources (Hodges et al. 2009 ).

iFDP는 다음과 같은 이름들로 불린다.

International faculty development partnerships have variously been called collaborations, networks, coalitions, alliances, consortia, task forces, joint-working, and twinning (Dowling et al. 2004 ).

참여기관의 경우, 파트너십은 기관에 대한 세계적인 인식을 구축하고, 학생 모집 및 교수진 유지를 향상 시키며, 학생, 교직원 및 졸업생을위한 자원을 제공 할 수 있습니다 (Kanter 2010).

For institutions that participate, partnerships may

build global awareness of the institution,
improve student recruitment and faculty retention, and
provide a resource for students, faculty members, and alumni (Kanter 2010 ).

잘 작동하는 파트너쉽을 통해 교수진은 (Locally 경험하기 힘든) 다양한 교수 및 학습 방법, 연구 기회 확대, 임상 적 맥락, 자료 및 방법에 노출 될 수 있습니다 (McAuliffe and Cohen 2005). 또한 교수진은 공동 연구자 네트워크와 자신이 일하는 community of scholarship를 확장 할 수 있습니다.

Well-functioning partner- ships allow faculty to be exposed to different methods of teaching and learning, expanded opportunities for research, and clinical contexts, materials, and methods that they may not encounter locally (McAuliffe and Cohen 2005 ). Moreover, they allow faculty to expand their networks of collaborators and the communities of schol- arship in which they work.

iFDP(International faculty development partnerships)은 다양한 요구와 기회에 대응하여 발생하지만 목표를 달성하기위한 수단으로 교육의 질과 관련성을 향상시키기 위해 노력합니다. 일부 교수진 개발 파트너십이 해결하기 위해 노력하는 가장 큰 요구 중 하나는 고소득 국가와 저소득 국가의 보건 의료 종사자의 품질, 수량 및 / 또는 분배가 부적절하다는 것입니다 (Norcini and Banda 2011, WHO 2008). 이 필요성의 한 차원은 지역 사회의 요구와 관련이있는 기초 및 고급 자격을 갖춘 충분한 보건 인력의 생산이다 (Scheffl et al., 2009). 또 다른 차원은 교수진에게 자신의 교육 기관에서의 전문적인 성장과 기능 할 수있는 만족스러운 지역 환경을위한 적절하고 적절한 기회를 제공 할 수있는 능력입니다 (Marchal 및 Kegels 2003).

International faculty development partnerships arise in response to a range of needs and opportunities, but they all seek to enhance the quality and relevance of education as a means of achieving their goals. One of the biggest needs some faculty development partnerships seek to contribute toward addressing is that of inadequate quality, quantity, and/or distribution of health care workers in both high and low income countries (Norcini and Banda 2011 ; WHO 2008 ).

One dimension of this need is the production of enough health workers with basic and advanced qualifi cations that are relevant to the needs of the community (Scheffl er et al. 2009 ).
Another dimension is the ability to offer faculty members adequate and appropriate opportunities for professional growth in their own institutions and a satisfactory local environment in which to function (Marchal and Kegels 2003 ).

교원의 결정에 영향을 주어 다른 교육 기관, 국가 또는 지역으로 이전 할 수있는 전문적 요인 및 개인적 요소에는 보상, 장비 및 첨단 기술에 대한 접근, 직업 및 훈련 기회, 기술 개발, 전문 네트워크 창출, 경력 향상 기회, 근무 환경이 포함됩니다 , 다른 환경에서의 경험 기회, 건강 관리의 지역 정치, 지역에서의 의약품 개선 욕구, 사회적 조건, 개인의 안전, 개인의 자유 정도, 가족 문제 (Burch et al., 2011; Burdick et al., 2006) ).

Professional and personal factors that may influence faculty decisions to relocate to a different institution, country, or region include

remuneration,
access to equipment and advanced technology,
career and training opportunities,
skills development,
professional network creation,
opportunities for career advancement,
work environment,
opportu- nity for experience in a different environment,
regional politics of health care,
desire to improve medicine in region,
social conditions,
personal safety,
degree of personal freedom, and
family issues (Burch et al. 2011 ; Burdick et al. 2006 ).

이 장의 사례에 설명 된 바와 같이, iFDP는 구조와 목적, 조직적 독립성 (Gajda 2004)의 상응하는 정도에서 서로 다르며 시간이 지남에 따라 발전합니다. 조직 독립성은

Cooperation (독립적 인 조직이 정보를 공유하는 곳)에서부터
Coordination (독립적 인 조직이 활동을 지원하거나 이벤트를 공동 후원하는 경우)
Collaboration (조직이 상호 목표를 달성하기 위해 독립성을 포기하는 경우)

...에 이르기까지 연속적으로 개념화 될 수 있습니다.

As illustrated by the examples in this chapter, international faculty development partnerships differ (and evolve over time) in structures and purposes, and in the corresponding degree of organizational independence (Gajda 2004 ). Organizational independence can be conceptualized along a continuum from cooperation (where fully independent organizations share information) to coordination (where indepen- dent organizations align activities or co-sponsor events) to collaboration (where organizations give up some independence to achieve mutual goals).

파트너십은 파트너 리소스 및 요구 사항 측면에서 다양합니다. 파트너 기부 및 혜택의 성격은 파트너 리소스 및 필요에 따라 부분적으로 다릅니다. 상대적으로 자원이 풍부하고 자원이 제한적인 기관들간의 파트너십에서 자원이 풍부한 기관은 이타주의와 향상된 명성, 영향력, 관점과 지식을 넓히고자 하는 잠재성에 의해 동기 부여가 될 수 있습니다.

이상적인 파트너십은 각 파트너와 동등하거나 별개의 이익을 얻는 것입니다. Einterz et al. (2007)은 '선진국과 개발 도상국의 의료 시스템은 본질적으로 불평등하다'는 점에서 Equality보다는 Equity이 생산적인 관계의 특징이되어야한다고 주장했다 (Einterz 외, 2007 p 813). 파트너쉽은 상호 공헌과 혜택으로 지원됩니다. 이는 모든 파트너의 역량 강화와 제도적 힘 강화에 중점을 둡니다.

Partnerships also vary in terms of partner resources and needs. The nature of partner contributions and benefi ts differ in part depending on partner resources and needs. For partnerships between relatively well-resourced and resource-limited institutions, the well-resourced may in part be motivated by altruism, as well as the potential for enhanced reputation, infl uence, and broadened perspectives and knowledge. The ideal partnership would be one in which there were equal, if distinct, benefi ts to each partner involved. Einterz et al. ( 2007 ) argue that equity, rather than equality, should be a characteristic of productive relationships, given that ‘medical systems in the developed and developing world are inherently unequal’ (Einterz et al. 2007 p. 813). Partnerships are supported by mutual contributions and benefi ts. This entails empowerment of all partners and a focus on fostering institutional strength.

15.2 iFDP의 장점은 무엇인가?

15.2 What Are the Benefits of International Faculty Development Partnerships?

필연적으로 국제적인 교수진 개발 파트너십에는 다양한 이해관계자가 있습니다. 각각의 파트너는 서로 다른 맥락에서 운영되며 각각 독특한 요구와 강점을 가지고 있습니다. (도 15.1 참조).

There are inevitably multiple stakeholders in international faculty development partnerships, each operating within a different context and each with unique needs and strengths. (see Fig. 15.1 ).

교수진 개발 평가는 종종 개인 수준의 결과에 초점을 맞 춥니 다. 그러나 교수진 개발의 '관계'측면을 검토 할 필요성이 점차 커지고있다 (Asthana 외 2002, El Ansari 외 2001, Halliday 외 2004, O'Sullivan and Irby 2011).

Faculty development evaluation has often focused on individual- level outcomes; however, there is increasing recognition of the need to examine ‘relationship’ aspects of faculty development (Asthana et al. 2002 ; El Ansari et al. 2001 ; Halliday et al. 2004 ; O’Sullivan and Irby 2011 ).

15.2.1. 개인의 이득

15.2.1 Individual Benefits

그러나 일부 혜택은 국제 프로그램에 참여하는 개별 교수진에게 특히 중요합니다. 새로운 맥락에서의 건강과 문화뿐만 아니라 궁극적으로 다른 나라의 아이디어와 노출은 교수진에게 동기 부여가 될 수있다 (Kanter 2010). 파트너십에 참여하는 것은 다른 문화에서 질병과 건강에 대한 지식을 향상시킴으로써 교수진과 학생의 성장에 기여할 수 있으며, 따라서 보건 전문가 교육과 건강 관리를 강화할 수 있습니다 (Brook et al. 2010; Kanter 2010). 또한 혜택에는 저 자원 환경에서 보건 전문가 교육 혁신에 참여함으로써 얻은 향상된 업무 만족도가 포함될 수 있습니다 (Kolars 외. 2012). 이러한 파트너십에 참여한 사람은 전문성을 인정 받거나 승진 할 수도 있습니다 (Tekian and Dwyer 1998).

However, some benefi ts are particular to indi- vidual faculty members participating in an international program.

Exposure to fac- ulty and ideas from other countries, as well as to health care and culture in new contexts, can be motivating to faculty (Kanter 2010 ).
Participation in partnerships can contribute to faculty and student growth by enhancing their knowledge about illness and wellness in different cultures and can thereby enrich their practice of both health professions education and health care (Brook et al. 2010 ; Kanter 2010 ).
Benefits might also include enhanced work satisfaction accrued from participating in innovations in health professions education in low resource settings (Kolars et al. 2012 ).
Greater professional recognition and advancement may also accrue to individuals for involvement in such partnerships (Tekian and Dwyer 1998 ).

15.2.2 기관의 이득

15.2.2 Institutional Benefits

대부분의 교수진 개발 이니셔티브는 참여 기관의 역량을 높이고 교육의 질을 향상시키기위한 것입니다. 이러한 혜택은 학생들의 학습과 건강 관리로 확대되어야합니다. 이상적으로, 이러한 이점은 교수진 개발 파트너십의 기간을 넘어 서서 유지되는 것이어야합니다. 이니셔티브의 디자인은 참여한 개인 너머에 어떤 유익이 발생 하는지를 결정하는 몇 가지 중요한 요소 중 하나이다 (Grossman and Salas 2011; Holton et al., 2003).
Most faculty development initiatives are intended to increase capacity and improve the quality of education at the participating institutions. These benefi ts should in turn extend to student learning and health care. Ideally, these benefi ts should be such that they are sustained beyond the duration of the faculty development partnership. The design of the initiative would be one crucial factor among several in determining whether any benefi t accrues beyond participating individuals (Grossman and Salas 2011 ; Holton et al. 2003 ).

파트너십에 참여하면 파트너가 자원을 공유하거나 개발할 수 있습니다.
Involvement in partnerships can result in resource sharing or development by partners.

파트너쉽 참여는 자원이 제한적인 환경에서 가능하지 않은 역량 개발을 가능하게하는 funding에 대한 접근을 생성 할 수있다 (Kanter 2010; Kolars 외. 2012). 관련 기관은 기관을 통해 전달되는 외부 기관의 자금 지원 (예 : 보조금 지원)을받을 수 있습니다. 이 기금은 파트너십에 참여한 교수진 시간을 buy함으로써 부서 및 / 또는 기관 리소스를 늘릴 수 있습니다.

Involvement in partner- ships can also generate access to funding that allows the development of capacity that would not otherwise be possible in resource-constrained environments (Kanter 2010 ; Kolars et al. 2012 ). Institutions involved may benefi t from funding of external agencies (such as grant funding) that is channeled through their institutions. This funding may augment departmental and/or institutional resources by buying out faculty time for their involvement in the partnership.

교원 개발 파트너십이 고소득 국가와 저소득 국가의 기관들 사이에있을 때, 고소득 국가의 파트너에 대한 가치 제안은 부분적으로 이타 적이 될 수 있습니다 (Kolars 외. 2012). 자원 제약이있는 환경에서 보건 전문가의 교육이나 건강의 질을 향상시키는 것을 돕는 것은 고소득 국가의 기관의 명성을 향상시킬 수 있습니다 (Kanter 2010).

When the faculty development partnership is between institutions from high and low income countries, the value proposition for partners from high income nations may be in part altruistic (Kolars et al. 2012 ). Helping to improve the quality of health professions education or health in resource constrained settings can enhance the reputation of institutions from high income countries (Kanter 2010 ).

또한 모든 파트너의 명성은 혁신의 공동 작업과 개발을 통해 향상 될 수 있습니다 (Kanter 2010). 국 제, 지역 및 국제 자금 지원 기관 (Conaboy et al., 2005; Tekian and Dwyer 1998)과 같은 중요한 역할을 담당하는 파트너가있는 경우 국제 협력에 대한 참여가 신뢰를 얻을 수 있습니다. 장기적인 관점에서 볼 때 이러한 혜택은 더 나은 교수진과 학생들을 끌어들이도록하여 교육 기관을 강화시킬 수 있습니다 (Kanter 2010).

Moreover, the reputation of all partners can be enhanced through collaboration and development of innovations (Kanter 2010 ). Involvement in international collaborations can gain credibility for partners with infl uential role players like legislators and national, regional, and international funding agencies (Conaboy et al. 2005 ; Tekian and Dwyer 1998 ). Over the longer term, benefi ts such as these could strengthen institutions by allowing them to attract better faculty and students (Kanter 2010 ).

15.2.3 시스템과 사회의 이득

15.2.3 System and Societal Benefits

많은 국제 교수진 개발 파트너십의 궁극적 인 목표는 일반적으로 교육 시스템을 강화하는 방법으로 자국 내에서 의료 서비스를 강화하는 것입니다 (Kanter 2010). 국제 파트너십의 중점은 주요 질병, 전문 교육 분야 또는보다 일반적인 교육 분야에있을 수 있습니다. 파트너 국가에서 교육을 강화하는 교수진 개발은 특히 보건 의료 노동자 migration가 문제가되는 곳에서 의료 종사자의 retention에 기여할 수있다 (Burch et al. 2011; Clinton et al. 2010). 국가 간 및 빈곤 지역 (종종 농촌 지역) 간의 이 migration를 막을 경우 국가의 건강 필요를 충족시키는 데 드는 비용을 잠재적으로 줄일 수 있습니다 (Kanter 2010).

The ultimate goal of many international faculty development partnerships is strengthening health care in their countries, typically by way of strengthening educa- tional systems (Kanter 2010 ). The focus of international partnerships may be on a major illness, an area of specialty training, or more general areas of education. Faculty development that enhances education in partners’ countries may contribute to the retention of health workers, especially where health care worker migration is an issue (Burch et al. 2011 ; Clinton et al. 2010 ). Stemming this migration, both between countries and from underserved (often rural) areas within countries, poten- tially reduces the costs of meeting the health needs of a nation (Kanter 2010 ).

그러나 교수진의 교육 준비, 커리큘럼 개발 기술, 다른 보건 전문가 교육자와의 네트워크 구축 능력, 의료 시스템에서 리더십과 관리 역할을 맡을 수있는 능력 (Kolars 외, 2012)과 같은 문제는 그러한 이니셔티브에 의해 해결 될 수 있습니다.

However, issues like

faculty preparedness to teach,
curriculum development skills,
the ability to network with other health professions educators, and
preparation to assume leadership and management roles in the health care system (Kolars et al. 2012 )

can be addressed by such initiatives.

고소득 국가의 강사 개발 파트너는 전 세계 보건 전문가 교육의 질 향상 (Guo 외 2009)과 같은 인도주의적 목표 달성에 기여함으로써 어느 정도 이익을 얻을 수 있으며 자원이있는 지역 또는 국가의 건강 증진 건강 전문가의 교육의 질과 관련성을 개선함으로써 긴급한 건강 문제를 해결할 수 있도록 돕는다 (Kanter 2010, Kolars 외). 저소득 국가의 건강 관리 강화 및 건강 증진은 모든 파트너에게 혜택을 줄 수 있습니다. 예를 들어, 이것은 한 국가에서 다른 국가로 병의 확산을 감소시키는 데 기여할 수 있습니다 (Kanter 2010).

Faculty development partners from high income countries may benefit to some degree by

contributing to the realization of humanitarian goals like improving the quality of health professions education around the world (Guo et al. 2009 ),
enhancing health in a district or nation where resources are limited, and
helping solve pressing health problems by improving the quality and relevance of the educa- tion of health professionals (Kanter 2010 ; Kolars et al. 2012 ).

Strengthening health care and enhancing health in lower income countries may have benefi ts that extend to all partners. For instance, this could contribute to decreasing the spread of illness from one country to another (Kanter 2010 ).

15.2.4. 관계적 이득

15.2.4 Relationship Benefits

파트너십을 통해 팀을 구성하고 네트워크를 강화할 수 있습니다 (Kolars 외. 2012).

Partnerships can build teams and strengthen networks (Kolars et al. 2012 ).

15.3 사례

15.3 Examples of International Faculty Development Partnership Programs

15.3.1 다기관 참여와 코디네이팅 기관

15.3.1 Coordinating Organization with Multi-institution Participation

International partnership programs that involve a central coordinating organization with multi-institution participation are capable of global reach. The following two examples illustrate this geographic breadth.

첫 번째 사례: The Harvard Macy Institute: Program for Educators in Health Professions

One example of a program run by a coordinating organization is The Harvard Macy Institute: Program for Educators in Health Professions ( http://www. harvardmacy.org ; Armstrong et al. 2003 ; Armstrong and Barsion 2006 ; Armstrong 2007 ). Program faculty come from a range of institutions and countries. Some program alumni are involved as faculty. International participants are healthcare professionals with a role as educators. The program was established with a grant from the Josiah Macy Jr. Foundation, and additional funding comes from tuition fees paid by participants. Additional support comes from faculty and staff time from Harvard and other institutions.

The program consists of two residential sessions about 4 months apart.
There are five curricular themes: learning and teaching, curriculum, evaluation, leadership, and information technology.
Participants undertake an educational project (e.g. revision of curriculum or implementation of a faculty development program in the participant’s home institution).
The informal curriculum is noted to be as important as the formal curriculum (i.e. largely ad hoc interpersonal interactions between and among students and faculty are as important to the achievement of program goals as the formally stated and intended curriculum).

효과성

Desired benefits of the program include

enhancing the professional development of health professionals as educators,
supporting institutional changes via changes in participant teaching behaviors and professional activities, and
developing communities of practice across disciplines and institutions.

목표 달성의 근거

Evidence of goal achievement includes participants’ (learners’) report of:

• Increased awareness and use of a greater array of teaching methods; increased knowledge about and comfort with active learning.
• Increased enthusiasm for and commitment to medical education as a primary career direction and stronger identity and confidence as a medical educator.
• New understanding of, and appreciation for, ways in which medical education is implemented in institutions nationally and globally (i.e. broadened perspectives).
• Evidence of organizational change via participant behaviors (e.g. additional projects, joining educational committees, educational grant applications).
• Creation/expansion of a global network of resources and connections, including support from like-minded colleagues.

두 번째 사례: FAIMER Institute and FAIMER Regional Institutes

The Foundation for Advancement of International Medical Education and Research (FAIMER): FAIMER Institute and FAIMER Regional Institutes are also examples of programs with a coordinating organization ( http://www.faimer. org ; Burdick et al. 2006 2007 2010 2011 2012 ; Norcini et al. 2005 ).

The FAIMER Institute program has on-site sessions based in the USA with international participants;
FAIMER Regional Institutes have on-site sessions and participants based in their regions (including programs based in India, Brazil, China, and South Africa).

The core program faculty and leadership include

FAIMER personnel,
alumni of the fel- lowships (including local alumni for the Regional Institutes), and
other international faculty.

Health professions educators apply in a competitive process to participate in the fellowship programs, with evidence of institutional support as part of the application process.

The FAIMER programs are 2-year fellowships, with two residential sessions (at the start of each year) interspersed with an 11-month intersession of learning at a distance.
An educational innovation project is central as an opportunity for hands- on application of fellowship learning and work towards institutional or regional change in health professions education.
Community building occurs via extensive interaction during residential sessions, overlap of the on-site sessions of year 1 and 2 fellows, and continued engagement with program alumni.

Desired benefits of the programs include

strengthening fellows’ skills in health professions education methods, leadership, management, research, and scholarship.
At the institutional level, there is the desire to improve health pro- fessions education in the fellows’ home institutions and countries/regions, stimu- late growth in the field of health professions education, and improve opportunities for professional advancement.
The programs also aim to build a transnational community of practice by creating a critical mass of health professions educators and facilitating interaction, resource sharing, and collaboration.

목표 달성의 근거

• Fellows have reported applying knowledge and skills gained from the fellowship experience in their home institutions, including achievement of a range of project outcomes.
• The majority of fellows have reported that their educational innovation projects have been incorporated into the curriculum or institutional policy, and/or replicated in their institution or another setting.
• Follow-up data indicate that fellowship program alumni have health professions education career paths, produce education scholarship, engage in collaborative projects, and serve as resource experts in health professions education.
• Fellows have reported a community of practice characterized by support, shared learning and problem solving, and a network of expanded breadth in terms of geographic diversity and expertise.

15.3.2 학위 수여 기관

15.3.2 Health Professions Education Degree- and Diploma- Conferring Institutions

파트너 기관의 역할과 장기간의 지속가능성 계획에 따라 다양하다

International partnerships for health professions education degree/diploma programs (Tekian and Harris 2012 ) vary in

the roles of each partner institution (including degree conferral), and
plans for long-term sustainability (e.g. joint degree program versus capacity building for program administered by one partner institution).

The Joint Master of Health Professions Education (JMHPE) Maastricht University – Suez Canal University ( http://www.maastrichtuniversity.nl/web/ show/id=449891/langid=42 ; http://www.themedfomscu.org ; Mohamed et al. 2012 ) involves core program faculty and leadership from both Maastricht and Suez Canal Universities. Global faculty are chosen from program graduates. Participants are graduates of any health professions education institution (e.g. medicine, nursing, dentistry, pharmacy, health sciences, physiotherapy, and speech therapy).

The program is a 1 year (9 blocks) Master program, conducted entirely via distance learning. By the end of the program a master degree is jointly granted, and the certificate is co-signed by both Maastricht and Suez Canal Universities.

Desired benefits of the programs include

참가자들에게 건강 전문 직업 교육 및 연구 분야에서 필요한 지식과 기술을 갖추도록
equipping participants with the knowledge and skills required for a career in health professions education and research, and
그들의 교육 기관에서 의학 교육의 향상에 적극적으로 참여할 수있는 졸업생의 critical mass을 개발합니다.
developing critical masses of graduates who can actively participate in the enhancement of medical education in their home institutions.

목표 달성의 근거

Evidence of goal achievement includes the following:

• Program graduates and participants (learners) report that the program supports increased knowledge of health professions education as well as enhanced capacity building and career development at the national, regional, and international levels.
• The Medical Education Department of Suez Canal University was awarded a Leadership and Management Award in 2010 by Management Sciences for Health, an international non-profi t organization working with individuals, communities and institutions in developing nations to build stronger health systems, improve health services, and respond to priority health problems.

Another example of a degree- or diploma-conferring partnership is the University of Illinois at Chicago (UIC) and KLE University in Belgaum, India – Diploma and Masters in Health Professions Education (MScHPE) program ( http://www. kleuniversity.edu.in/udeph/index.html ; A. Tekian, personal communication, August 22, 2012).

교수자
The core teaching faculty for this program come from UIC and are full- time professors. There are other local faculty as well who were trained at UIC. All the participants come from India.
참여 우선권
Priority is given to KLE University faculty members; however, a few health professionals from neighboring provinces are accepted as well.
참가자 전공분야
All participants are health professionals, with the majority from medicine, dentistry, and nursing.

이 과정은 2 년 과정이며 일정한 주간 코스가 정기적으로 제공됩니다.
This is a 2-year program, with mandatory week-long courses offered at regular intervals.
모든 교재는 교육 및 문화에 대한 인도의 상황을 고려하여 UIC에서 개발됩니다
All course material is developed at UIC taking into consideration the Indian context of education and culture.
프로그램을 완료하려면 관석이 필요합니다. 모든 관석 프로젝트는 Belgaum에서 개최 된 보건 전문 교육 연례회의에서 상영됩니다.
Completion of the program requires a capstone. All capstone projects are presented at an Annual Conference in health professions education held in Belgaum.

The program is funded by KLE University and is housed at the University Department of Education for Health Professionals (UDEHP). UDEHP provides in- kind support for the daily operation of the program, including coordination of communication, educational resources such as handouts, and the physical facility.

학비는 보조금을 받고 참가자는 기관에서 지원 받거나 스스로 지불합니다.

Tuition fees are subsidized and participants are supported by their institutions, or pay themselves.

Desired benefi ts of the program include

acquisition and improvement in knowledge and profi ciency in essential skills in medical education, including

teaching and learning,
curriculum development,
scholarship, and
leadership.

또한 프로그램 참여자가 대학 및학과 내에서 change agents 및 자원으로 활동하고, 기관 간 협업을 촉진하며, 교육 및 장학금 분야에서 탁월한 교육 환경을 조성하는 데 도움이되기를 기대합니다.

It is also hoped that program participants will

act as change agents and resources within their colleges and departments,
promote collaboration institution wide, and
help to create an educational climate within the institution that fosters excellence in education and scholarship.

시스템 차원에서이 프로그램은 고등 교육 시스템 내에서, 보건 및 교육부와 관련된 기관 내에서, 그리고 전문 사회를 통한 교육 혁신의 보급을 촉진함으로써 전국적으로 교육 체계를 강화할 것으로 기대된다.

On a systems level, it is hoped that the program will strengthen the edu-cational system nation-wide by fostering dissemination of educational innovations within the country’s higher education system, within institutions associated with the Ministries of Health and Education, and through professional societies.

이 프로그램은 또한 아이디어를 교환하고 자원을 공유하는 건강 전문가들 사이에서 실천의 공동체를 만들기 위해 참가자들 간의 관계를 지원하는 것을 목표로한다. 데이터를 공유하고 기관 간 장학금을 실시하기 위해 기관 간 협력 관계 및 협업을 창출한다. 연구비 지원을위한 다기관 보조금 제안서를 준비하고 제출하는 것.

The program also aims to support relationships among participants in order to create a community of practice among health professionals who exchange ideas and share resources; to create working relationships and collaborations among institutions to share data and conduct inter-institutional scholarship; and to prepare and submit multi-institutional grant proposals to fund research.

목표 달성의 근거

Evidence of goal achievement includes the following:

• Participants of the program have been involved in introducing education changes at their institutions (primarily KLE) and have published and presented education scholarship. For example, the concept of competency-based curriculum has been introduced for the fi rst time in the College of Dentistry.
• Faculty development activities in medical education are organized and conducted by the participants of the program. UDEHP and a few participants of the program organized the fi rst medical education conference in Belgaum in 2012.
• A select number of participants have been asked to serve as educational consultants to committees that guide national policies.
• Networking among the participants has initiated multi-institutional projects attracting research funding.

The examples above illustrate different models for partnership capacity building – i.e.

creation of a joint degree program (Suez-Maastricht) versus
enhancing capacity of one partner institution to independently offer degree/diploma conferral (KLE- UIC).

There are also differences in whether the degree/diploma program is

focused on faculty from one of the partner institutions (e.g. KLE University) or
whether it is geared to more broad dissemination (e.g. Suez–Maastricht, which also uses distance learning to broaden its reach).

15.3.3 Two-Institution Partnerships

There are several documented examples of partnerships between two institutions in different countries. These programs vary in their structures and goals, including faculty development as part of a larger initiative such as

development of a new resi- dency program (e.g. Alem et al. 2010 ),
bilateral exchange of faculty and students (e.g. Wong and Agisheva 2004 2007 ), and
long-term institutional partnerships (twinning, e.g. Lacey-Haun and Whitehead 2009 ; Tache et al. 2008 ).

The Indiana University – Moi University (IU-Moi) Partnership (Einterz et al. 2007 ) involves collaboration between virtually all disciplines at both schools and relationships at both individual and department levels.

기대 이득

Desired benefits of the partnership include

파트너 기관과 개인 참가자 모두에게 상호 공평한 혜택을 제공합니다.
achieving mutual, equitable benefi ts for both partner institutions and their individual participants;
미국과 케냐의 건강 관리 분야의 지도자 육성
developing leaders in healthcare for the United States and Kenya; and
의료계의 가치를 키우고
fostering the values of the medical profession and
협력과 교육을 통한 건강 증진.
promoting health through collaboration and education.

두 가지 프로그램

One program based on the Indiana-Moi partnership is the Academic Research Ethics Partnership (AREP).
A second program based on the Indiana-Moi partnership is the Academic Model for the Prevention and Treatment of HIV/AIDS (AMPATH).

목표 달성의 증거로는 AREP 및 AMPATH와 같은 계획 수립 및 교수진, 학생 및 환자에게 제공되는 기회와 서비스를 포함한 이러한 프로그램의 성과가 포함됩니다.

Evidence of goal achievement includes establishment of initiatives such as AREP and AMPATH, and the achievements of these programs including the opportunities and services offered to faculty, students, and patients.

위의 예와 같은 파트너십의 특징

다양한 요소 (예 : 학생 및 교수진 교환, 교수진 개발, 공동 프로그램),
파트너의 요구에 대한 대응 (예 : HIV 전염병에 중점을 둠) 및
추가 파트너와의 협력 (의료기관 및 병원, 정부 기관, 지역 사회, 기금 제공 업체)

Partnerships such as the above example are distinguished by

having multiple components (e.g. student and faculty exchanges, faculty development, joint programs),
evolution over time in response to partner needs (e.g. focusing on HIV pandemic) and
collaboration with additional partners (medical institutions and hospitals, government institutions, communities, funders) to achieve specific goals.

15.4 Descriptors of International Faculty Development Partnerships

일반적으로 프로그램 제공의 핵심에는 두 개 이상의 기관간에 협업 관계 (파트너가 일부 독립성을 포기)가 있습니다. 그러나 종종 다른 기관이나 파트너 기관간에 다른 목적으로 다른 협력적이고 조정적인 관계가 있습니다. 예를 들어, 국제 의학 교육 연구 진흥 재단 (FAIMER) 프로그램은 지역 교수 개발 프로그램을위한 현물 자원을 제공하는 기관들과 참가자들이 참석하는 기관들과의 협력 관계를 수반한다.

Generally there is a collaborative relationship (i.e. partners giving up some independence) between two or more institutions at the core of program delivery. However, there are often other cooperative and coordinating relationships – either with additional institutions or between the partner institutions but for other purposes.

For example, the Foundation for Advancement of International Medical Education and Research (FAIMER) programs involve collaboration with the institutions hosting and providing in-kind resources for regional faculty development programs as well as cooperative relationships with the institutions from which participants come.

따라서 파트너십은 변화하는 요구 사항을 충족시키고 새로운 기회에 대응하기 위해 구조, 목적 및 독립 정도에서 시간이 지남에 따라 발전하는 일련의 관계로 개념화 될 수 있습니다.

Thus, partnerships can be conceptualized as a set of relationships that evolve over time in structure, purpose, and degree of independence in order to meet changing needs and respond to emerging opportunities.

15.5 Factors That Facilitate Successful Partnerships

국제 협력 개발을위한 성공 요인에 대한 더 많은 연구가 필요하지만 (El Ansari 외 2001, Glendinning 2002, Halliday 외 2004, O'Sullivan and Irby 2011), 국제 협력을 포함한 성공적인 파트너십에 관한 기존 문헌 의학 교육에서 iFDP의 관련 요인을 지적한다 (Kolars et al., Tekian and Dwyer 1998).

While there is a need for more research on success factors for international faculty development partnerships (El Ansari et al. 2001 ; Glendinning 2002 ; Halliday et al. 2004 ; O’Sullivan and Irby 2011 ), existing literature on successful partnerships, including international collaborations in medical education, point to relevant factors for international faculty development partnerships (Kolars et al. 2012 ; Tekian and Dwyer 1998 ).

'성공'은 파트너십의 과정과 결과에 의해 정의됩니다.

‘Success’ is defined by both the process and outcomes of the partnership.

프로세스 성공의 지표로는 파트너의 높은 참여와 참여, 파트너십의 목적과 필요에 대한 동의, 높은 수준의 신뢰와 존중,지지적인 주변 환경 (재정 환경, 제도 및 법적 구조,보다 광범위한 조직 간 관계) 파트너십에 대한 적절한 모니터링과 평가, 적극적이고 효과적인 리더십과 관리 (Dowling et al. 2004).

Indicators of process success include

high engagement and commitment of the partners,
agreement about the purpose and need for the partnership,
high levels of trust and respect,
supportive surrounding environments (fi nancial climate, institutional and legal structures, broader inter-organizational relationship),
adequate monitoring and evaluation of the partnership, and
active and effective leadership and management (Dowling et al. 2004 ).

프로세스 성공은 파트너십 형성을 통한 성공과 시간이 지남에 따른 파트너십 유지로 이어질 수 있습니다 (Leffers and Mitchell 2011).

Process success can further be divided into success with partnership formation and success with sustaining partnerships over time (Leffers and Mitchell 2011 ).

결과 성공 지표는이 장의 앞부분에서 설명한 개인, 제도, 시스템 및 관계 이점의 달성과 관련됩니다. 여기에는 파트너 기관(예 : 교수의 질)과 지역사회 (예 : 졸업생의 능력, 지역 사회의 건강)의 긍정적인 변화가 포함될 수 있습니다.

Outcome success indicators relate to

achievement of the individual, institutional, system, and relationship benefits described earlier in this chapter.
These may include positive changes in the partner institutions (e.g. quality of teaching) as well as the community being served (e.g. competence of graduates, health of community).

15.5.1 Partnership Formation

파트너쉽을 수립하는 세 가지 핵심 요소.

Three key elements in the establishment of partnerships are

the respective partners;
certain human, financial, and material resources; and
a process of engagement (Leffers and Mitchell 2011 ).

파트너십 형성과 관련된 요소들

Recognition and acceptance of the need for partnership,
frequent and two-way communication,
mutual goal setting,
adequate resources (including not only tangible assets but also time, expertise, trust, and understanding of each other),
knowledge and information sharing, and
cultural competence

...are cited as factors sup- porting the establishment of partnership relationships (Asthana et al. 2002 ; Gajda 2004 ; Kolars et al. 2012 ; Leffers and Mitchell 2011 ; Tekian and Dwyer 1998 ).

파트너십, 빈번한 양방향 의사 소통, 상호 목표 설정, 적절한 자원 (유형 자산뿐만 아니라 시간, 전문 지식, 신뢰 및 서로 이해함), 지식 및 정보 공유, 문화적 역량. (Asthana et al., 2002; Gajda 2004, Kolars et al., Leffers and Mitchell 2011, Tekian and Dwyer 1998).

이러한 요소들을 파트너십에 통합하는 데는 주의 깊은 계획이 필요합니다. 예를 들어

기관 간 정보 공유를 방해 할 수있는 조직 장벽 (예 : 정보 공유 제한 정책)을 인식하고 최소화해야 할 필요가 있습니다.
상호 목표 설정은 모든 파트너가 이익을 얻도록 보장하는 데 중요할 뿐만 아니라, 한 파트너의 다른 파트너에 대한 의존도를 잠재적으로 조장(foster)하는 것을 피하는 데 도움이됩니다 (Kolars 외. 2012).

Incorporating these factors into a partnership requires mindful planning. For example, there is a need to recognize and minimize organizational barriers that may impede sharing information between institutions (e.g. policies restricting information sharing). Mutual goal setting is important to ensure that all partners benefi t; it also helps to avoid the potential fostering of dependency of one partner on the other (Kolars et al. 2012 ).

문화적 역량은 조직 문화의 차이로 인해 발생하는 문화적 차이와 함께 개방적이고 가치있는 차이를 평가하는 것을 포함합니다 (Asthana 외 2002).

문화적 인식, 지식 및 기술의 차이 해결 (Tekian 및 Dwyer 1998, Campinha-Bacote 2002)과 함께
언어 차이를 해결하는 것이이 부분 일 수 있습니다 (Wong and Agisheva 2007).
문화의 연결은 또한 교육 문화로 확장됩니다 (Wong and Agisheva 2007). 교수진은 교수 개발 활동 중에 다른 환경의 교수 전략에 복종하는 것에 익숙하지 않을 수도 있습니다.

Cultural competence includes being open to and valuing differences, with cultural differences arising also from differences in organizational cultures (Asthana et al. 2002 ).

Addressing language differences may be part of this (Wong and Agisheva 2007 ),
along with cultural awareness, knowledge, and skills (Tekian and Dwyer 1998 ; Campinha-Bacote 2002 ).
The bridging of cultures also extends to educational cultures (Wong and Agisheva 2007 ). Faculty in one setting may not be accustomed to being subjected to teaching strategies in the course of faculty development activities that are commonplace in another setting.

Tekian과 Dwyer (1998)는 중국과 이집트의 보건 전문 교육 (MHPE)에서 석사 과정을 설립하기위한 국제 파트너십을 비교하여 효과적인 의사 소통의 중요성과 언어 차이의 문제점을 강조합니다. 여기에는 교직원들이 서로 의사 소통하고 의사 소통이 제한된 언어로 된 문학의 사용이 제한되어 있습니다 (번역사가없는 경우).

In a comparison of international partnerships to establish Masters programs in Health Professions Education (MHPE) in China and Egypt, Tekian and Dwyer ( 1998 ) highlight the importance of effective communication and the challenges of language differences. This includes potential diffi culty with faculty members communicating with each other and with students (in the absence of translators), and limited use of literature in languages where faculty and students have limited fl uency.

iFDP를 개발할 때 문화적 인식, 즉, 상대의 가치, 정치적 기후 및 국가의 사회 경제적 지위를 이해하는 것이 중요합니다. 따라서 파트너는 서로의 상황, 필요, 자원 및 우선 순위를 이해하고 이러한 인식을 파트너십 아젠다 개발의 기초로 사용하도록 노력해야합니다.

Cultural awareness, understanding of accepted values, political climate, and the socioeconomic status of the country are important when developing international faculty development partnerships. Thus, partners need to work toward understanding each other’s contexts, needs, resources, and priorities, and using this awareness as a basis for developing the partnership agenda.

문화적 역량을 성취하기위한 전략에는

문화적으로 친숙한 교수 및 평가 도구를 찾고,
선입견에 저항하며,
다른 사람들과 문화의 특징에 대해 토론하고,
정체성에 관한 문학을 검토하고,
문화적 역량을 다루는 전문성 개발에 참여할 수 있습니다 (Willis 1999).

Strategies to achieve cultural competence may include

seeking culturally- friendly teaching and assessment tools,
resisting stereo-types,
discussing features of culture with others,
reviewing the literature on identity, and
participating in professional development that addresses cultural competence (Willis 1999 ).

프로그램을 현지 요구에 맞게 조형 및 조정하고 지역 환경에 적합한 사례 및 사례 연구를 통해 내용을 적용 및 보완하는 등의 신중한 준비도 성공에 필수적입니다 (Tekian and Dwyer 1998).

Careful preparation, including

molding and tailoring a program to local needs and
adapting and supplementing the content with examples and case studies appropriate to local environments,

is also imperative to success (Tekian and Dwyer 1998 ).

문화적 시각, 개인적 특성, 개인적 기대, 파트너 국가에 대한 지식은 모두 파트너 관계 개발에 중요한 역할을합니다. 다른 문화에서 가르치려는 교수진을 주의 깊게 선택하면 교수진의 생산성과 기여도가 향상됩니다.

또한 문화적 오해를 최소화하고 여러 렌즈를 통해 세상을 보는 것에 대한 관용을 증대시키기 위해 국제 과제 수행에 관심있는 교수진을 준비하는 데 충분한 시간을 할애해야 합니다 (Tekian and Dwyer 1998).

Cultural perspectives, personal attributes, personal expectations, and knowledge of the partner country all play a role in the development of the partner relationship. Careful selection of faculty who are willing to teach in a different culture improves the productivity and contribution of the faculty. Additionally, suffi cient time should be devoted for preparing faculty interested in undertaking international assignments in order to minimize cultural misunderstandings and increase tolerance to seeing the world through multiple lenses (Tekian and Dwyer 1998 ).

다양한 논문을 인용하면서, Leffers and Mitchell (2011 p 99)은 효과적인 파트너십을위한 다양한 특질의 역할을 강조했다.

상호 동의
커뮤니케이션, 상호 지원, 상호 신뢰, 존중, 평등 및 분쟁 관리를 포함하는 호혜적 동료 관계;
전문가 간의 공유, 협력 및 시너지를 포함하는 상호 의존성;
빈번한 피드백;
합의하고 평등 주의적 인 권력과 리더십 '

Citing various papers, Leffers and Mitchell ( 2011 p. 99) highlight the role of various attributes for effective partnerships, including the following:

‘agreement to partner;
collegial relationships that include reciprocity, communication, mutual support, mutual trust, respect, equality and confl ict management;
interdependency that involves sharing, cooperation, and synergy between professionals;
frequent feedback; and
power and leadership that is consensual and egalitarian’.

아래는 효과적인 협업을 위한 중요한 기술입니다 (Kolars 외, 2012; Leffers and Mitchell 2011, Tekian and Dwyer 1998).

효과적인 의사 소통,
공유 된 의사 결정
협상

Effective communication, shared decision making, and negotiation are important skills for effective collaboration (Kolars et al. 2012 ; Leffers and Mitchell 2011 ; Tekian and Dwyer 1998 ).

이는 협력자 들간의 직접 대면 회의 (Kolars et al. 2012)에 의해 지원됩니다. 상호 합의 된 목표를 수립하는 것은 진행중인 교환 과정의 일부입니다. 이것은 서로 공유하는 가치를 개발하는 과정입니다.
This is aided by face-to-face meetings between collaborators (Kolars et al. 2012 ). Establishing mutually-agreed goals is part of the on-going process of exchange. Implicit in this process is the development of a shared set of values.

적절한 목표를 구성하고 목표를 측정하는 방법에 대한 명확한 의제를 설정하면 효과적인 파트너십을 확보하는 데 도움이 될 수 있습니다. 이를 달성하는 한 가지 방법은 요구도 평가 프로세스를 함께 고안하고 착수하는 것입니다 (Guo et al. 2009). 북아메리카와 사하라 사막 이남 아프리카 기관 들간의 협력 관계 중 하나는 그들의 토론과 처음에 원하는 증거의 틀을 알리기 위해 10 가지 학습 질문을 고안했다 (Kolars 외. 2012). 이 단계를 더욱 발전 시키려면 잠재적 이득와 위험을 평가하여 협력에 참여한 당사자들이 관련 이슈에 대해 알리고 최적으로 해결할 수있는 견고한 접근 방식을 개발해야합니다 (Kanter 2010).

Setting a clear agenda for both what constitute appropriate goals and how those goals will be measured may help ensure an effective partnership. One way of achieving this is devising and undertaking a needs assessment process together (Guo et al. 2009 ). One collective of partnerships between North America and sub-Saharan African institutions devised ten learning questions to inform their discussions and a framework of desired evidence at the outset (Kolars et al. 2012 ). Taking this a step further, robust approaches need to be developed to assess potential benefits and risks so that parties engaging in a collaboration are both informed about and optimally able to address relevant issues (Kanter 2010 ).

15.5.2 파트너십 지속가능성

15.5.2 Partnership Sustainability

이 장의 시작 부분에서 설명한 것처럼 파트너십 구조와 목표는 시간이 지남에 따라 발전 할 수 있습니다. 상호 지원 및 격려(Mutual support and encouragement )는 파트너십의 모든 단계에서 중요합니다. 프로세스의 여러 단계에서 에너지를 제공하는 파트너는 상호 이익과 마찬가지로 지속 가능성에 중요 할 수 있습니다. 이타주의 만이 파트너십을 유지하기에 충분조건이되지 못한다 (Einterz 외. 2007).

As discussed in the beginning of this chapter, partnership structures and goals may evolve over time. Mutual support and encouragement are important at all stages of partnerships. Partners contributing energy at different stages of the process can be important for sustainability, as are mutual benefi ts. Altruism alone is not a suffi cient condition for maintaining a partnership (Einterz et al. 2007 ).

능동적이고 효과적인 리더십과 관리 및 공유 된 프로젝트 소유권은 파트너십의 지속 가능성을 지원하는 것으로 나타났습니다 (Asthana 외 2002, Leffers and Mitchell 2011). 관계가 지속 가능하기 위해서는 특정 개인에 대한 의존성을 초월할 필요가 있습니다 (관련된 개인은 시간이 지남에 따라 변경 될 수 있기 때문에). 관계와 가치가 파트너십이 운영되는 방식과 과정의 일부분이되도록 네트워크를 제도화하여 지원할 수 있습니다 (Asthana 외 2002). 파트너쉽의 평가는 파트너쉽을 개선하고 유지하는데 유용한 정보와 책임성을 제공 할 수도있다 (Asthana 외. 2002).

Active and effective leadership and management and shared project ownership have been noted to support sustainability of partnerships (Asthana et al. 2002 ; Leffers and Mitchell 2011 ). For relationships to be sustainable, there is a need to transcend dependence on specifi c individuals (since the specifi c individuals involved are likely to change over time). Institutionalizing networks so that relationships and values are part of the structure and process of how the partnership operates may support this (Asthana et al. 2002 ). Evaluation of partnerships may also provide information and accountability that is useful for improving and sustaining the partnership (Asthana et al. 2002 ).

관련 업무에 종사하는 다른 단체와의 연계를 구축하면 파트너십의 성공과 지속 가능성이 강화 될 수 있습니다 (Asthana 외 2002). 대규모 협력은 대학, 정부 부처 및 중앙 정부가 참여하기 전에 개인, 부서 및 기관 수준에서 관계를 수립함으로써 효과적으로 수립 될 수있다 (Einterz et al., 2007).

Establishing linkages with other organizations engaged in related work may strengthen the success and sustainability of partnerships (Asthana et al. 2002 ). Large collaborations may be effectively established by fi rst establishing relationships at personal, departmental, and institutional levels, before involving universities, government ministries, and central governments (Einterz et al. 2007 ).

지속 가능성에 대한 관심은 파트너 사가 일시적인 관계 및 이익보다는 제도적 강화에 초점을 맞추기 위해 그 자체로 중요합니다 (Kolars 외. 2012). 이러한 능력 구축은 챔피언, 리더십, 전문 지식 구조, 정책, 절차 및 자원에 대한 관심을 수반 할 수 있습니다 (Leffers and Mitchell 2011). 궁극적 인 파트너십 목표에 따라 시간이 지남에 따라 성공하려면 충분한 용량이 확보 된 후에 공동 소유권에서 파트너로 프로그램 소유권을 이전해야합니다. 또한 개발 도상국의 보건 시스템 구축에 영향을 줄 가능성을 높이기 위해 정부 및 자선 기금 제공처에 장기 제도적 파트너십 구축을 지원할 것을 촉구했다 (Einterz 외. 2007).

Attention to sustainability is in itself of great importance so that partners focus on institutional strengthening rather than transitory relationships and benefits (Kolars et al. 2012 ). This sort of capacity building may entail attention to champions, leadership, expertise structures, policies, procedures, and resources (Leffers and Mitchell 2011 ). Depending on the ultimate partnership goals, success over time may involve transfer of program ownership from joint to one partner, once sufficient capacity exists. There has also been a call for government and philanthropic funders to direct support to the establishment of long-term institutional partnerships so as to increase the likelihood of impact on building developing countries’ health systems (Einterz et al. 2007 ).

15.6 Conclusion

성공적인 파트너십 형성을 지원하는 일반적인 요소로는 잦은 양방향 의사 소통, 상호 목표 설정, 분명한 의제 설정, 적절한 자원 및 문화적 역량이 포함됩니다. General factors that support successful partnership formation include

fre- quent two-way communication,
mutual goal setting,
setting a clear agenda,
ade- quate resources, and
cultural competence.

파트너쉽의 지속 가능성은 상호 이익의 실현, 효과적인 리더십 및 관리, 프로젝트 소유권 공유, 타 조직과의 연계성 제정 및 강화 및 역량 강화를 통해 지원됩니다.

Partnership sustainability is supported by

realization of mutual benefits,
effective leadership and management,
shared project ownership,
establishment of linkages with other organizations, and
insti- tutional strengthening and capacity building.

15.7 Key Messages

• Building relationships is crucial for productive, sustained international faculty development partnerships.

• Well-functioning partnerships allow faculty exposure to methods, materials, opportunities, contexts, and contacts/networks that they may not encounter locally.

• Cultural bridging, effective and frequent communication, and mutual goal setting are important to partnership success.

• Success in partnerships is defined by both process and outcomes success, and rests on attention to and planning for not only partnership formation but also sustainability.

• International faculty development partnerships vary in their structures and purposes, with both potentially evolving over time in response to partner needs and goals.

Armstrong, E. G. & Barsion, S. J. (2006). Using an outcomes-logic-model approach to evaluate a faculty development program for medical educators. Academic Medicine, 81 (5), 483–488.

Armstrong, E. G., Doyle, J., & Bennett, N. L. (2003). Transformative professional development of physicians as educators: Assessment of a model. Academic Medicine, 78 (7), 702–708.

Burdick, W. P., Amaral, E., Campos, H., & Norcini, J. (2011). A model for linkage between health professions education and health: FAIMER international faculty development initiatives. Medical Teacher, 33 (8) , 632 – 637.

Burdick, W. P., Diserens, D., Friedman, S. R., Morahan, P. S., Kalishman, S., Eklund, M. A., et al. (2010). Measuring the effects of an international health professions faculty development fellowship: The FAIMER Institute. Medical Teacher, 32 (5), 414–421.

Burdick, W. P., Friedman, S. R., & Diserens, D. (2012). Faculty development projects for international health professions educators: Vehicles for institutional change? Medical Teacher, 34 (1), 38–44.

~~Burdick, W. P., Morahan, P. S., & Norcini, J. J. (2006). Slowing the brain drain: FAIMER education programs. Medical Teacher, 28 (7), 631–634.~~

Burdick, W. P., Morahan, P. S., & Norcini, J. J. (2007). Capacity building in medical education and health outcomes in developing countries: The missing link. Education for Health, 20 (3), 65.

Clinton, Y., Anderson, F. W., & Kwawukume, E. Y. (2010). Factors related to retention of postgraduate trainees in obstetrics-gynecology at the Korle-Bu Teaching Hospital in Ghana. Academic Medicine, 85 (10), 1564–1570.

Einterz, R. M., Kimaiyo, S., Mengech, H. N. K., Khwa-Otsyula, B. O., Esamai, F., Quigley, F., et al. (2007). Responding to the HIV pandemic: The power of an academic medical partnership. Academic Medicine, 82 (8), 812–818.

Guo, Y., Sippola, E., Feng, X., Dong, Z., Wang, D., Moyer, C. A., et al. (2009). International medical school faculty development: The results of a needs assessment survey among medical educators in China. Advances in Health Sciences Education, 14 (1), 91–102.

Kanter, S. L. (2010). International collaborations between medical schools: What are the benefits and risks? Academic Medicine, 85 (10), 1547–1548.

Kolars, J. C., Cahill, K., Donkor, P., Kaaya, E., Lawson, A., Serwadda, D., et al. (2012). Perspective: Partnering for medical education in Sub-Saharan Africa: Seeking the evidence for effective collaborations. Academic Medicine, 87 (2), 216–220.

Leffers, J. & Mitchell, E. (2011). Conceptual model for partnership and sustainability in global health. Public Health Nursing, 28 (1), 91–102.

Norcini, J. J. & Banda, S. S. (2011). Increasing the quality and capacity of education: The challenge for the 21st century. Medical Education, 45 (1), 81–86.

~~Norcini, J. J., Burdick, W. P., & Morahan, P. (2005). The FAIMER Institute: Creating international networks of medical educators. Medical Teacher, 27 (3), 214–218.~~

Tekian, A. & Dwyer, M. (1998). Lessons for the future: Comparison and contrasts of the Master of Health Professions Education programs offered in China and Egypt. Teaching and Learning in Medicine, 10 (3) , 190 – 195.

Tekian, A. & Harris, I. (2012). Preparing health professions education leaders worldwide: A description of masters-level programs. Medical Teacher, 34 (1) , 52–58.

Wong, J. G. & Agisheva, K. (2004). Cross-cultural faculty development: Initial report of an American/Russian experience. Teaching and Learning in Medicine, 16 (4), 376–380.

Wong, J. G. & Agisheva, K. (2007). Developing teaching skills for medical educators in Russia: A cross-cultural faculty development project. Medical Education, 41 (3), 318–324.

Chapter

Faculty Development in the Health Professions

Volume 11 of the series Innovation and Change in Professional Education pp 311-329

Date: 17 December 2013

International Faculty Development Partnerships

Stacey Friedman
, Francois Cilliers
, Ara Tekian
, John Norcini

Abstract

International faculty development partnerships are motivated by a desire to achieve mutual goals. They are also a response to the globalization of health professions education, research, and practice. For participating institutions, partnerships may build global awareness, improve recruitment, and provide resources for students, faculty members, and alumni. Well-functioning partnerships allow faculty exposure to methods of teaching and learning, opportunities for research, and clinical contexts, materials, and methods that they may not encounter locally. Partnerships allow faculty to expand their networks of collaborators and the communities of scholarship in which they work. This chapter will describe various examples of international faculty development programs. We will also discuss facilitators of success for international partnerships, including the need for cultural competence, shared values, and mutual support.

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

Chapter 2. 교육 개선을 위한 교수개발 [Faculty Development in the Health Professions] (0)	2017.01.19
교육의 스칼라십: 21세기의 필수불가결 요소(Acad Med, 2000) (0)	2017.01.19
교수개발에 관한 Systematic review : 10년간의 업데이트 (BEME Guide No. 40) (참고문헌 검색) (0)	2016.11.16
신임 교수개발자의 정체성 형성과 동기부여: resource-contrained환경연구 (Med Teach, 2016) (0)	2016.11.14
교육프로그램 평가를 위한 열두가지 팁(Med Teach, 2010) (0)	2016.10.25

역량바탕교육(CBME, CBE): 프로그램 설계와 시행의 과제(Med Educ, 2016)

Meded. 2016. 11. 18. 13:55

2016. 11. 18. 13:55

역량바탕교육(CBME, CBE): 프로그램 설계와 시행의 과제(Med Educ, 2016)

Competency-based education: programme design and challenges to implementation

Larry D Gruppen,1 John C Burkhardt,1,2 James T Fitzgerald,1,3 Martha Funnell,1 Hilary M Haftel,1,4

Monica L Lypson,1,5 Patricia B Mullan,1 Sally A Santen,1,2 Kent J Sheets,1,6 Caren M Stalburg1,7 &

John A Vasquez

INTRODUCTION

보건전문직 교육이 CBE / CBME 로 옮겨가고 있다. GME는 CBME 도입의 주요 동력이며, CBME는 학생과 practising professionals 까지 퍼져나가고 있다. 고등교육에서도 CB(M)E를 하고 있지만 보건전문직과는 목표가 다르다. HPE가 졸업생의 역량을 ensuring하는데 목적이 있다면, 고등교육은 학습성과의 달성 외에도 accessibility, affordability and transparency에 목적이 있다.

There has been a recent shift to competency-based education (CBE) for health professionals. Grad- uate medical education was a major driver in adopt- ing CBE,2–4 and CBE is rapidly expanding to practising professionals as well as to undergraduate health profession students. Higher education is also exploring CBE8 but with different goals from those in the health professions. Whereas health professions education has focused on ensuring competence in its graduates, higher education has examined CBE to promote accessibil- ity, affordability and transparency, in addition to improved learning outcomes.9

학습자 성과를 평가하고 대중의 신뢰와 진료전문성 얻기 위해서 혁신의 기회는 HPE교육자들로 하여금 CBME교육과정을 만들게 하였다.

The opportunity for innovation has encouraged health professions educators to develop compe- tency-based curricula in order to both assess learner outcomes and ensure public trust and practice proficiency.1,10

Frank 등은 네 개의 특징을 언급했다.

Frank et al.11 identified four features that distin- guish CBE from more traditional approaches. These are:

(i) 성과를 강조 a focus on outcomes,
(ii) 능력을 강조 an emphasis on abilities,
(iii) 시간-기반 훈련에에 대한 강조 감소 a reduced emphasis on time-based training, and
(iv) 학습자-중심 강조 the promotion of learner centred- ness.

이 네 가지 각각이 CBME 설계와 도입에 과제가 된다.

Each poses challenges and implications for designing and implementing CBE,

성과를 강조

FOCUS ON OUTCOMES

전통적인 교육은 교육 성과를 검증하지 못하고 너무 자주 빈번하게 specific intended outcome를 명백히하지 못하는 것에 대한 비판을 받아왔다 .10) 많은 전통적인 프로그램은 "교수진이 중요하다고 정의한 내용"을 폭넓게 다루도록 고안되었지만 다른 outcome를 무시했다.

Traditional education has been criticised for failing to verify educational outcomes and, too frequently, failing even to make the specific intended outcomes explicit.1,10 Many traditional programmes were designed to provide a broad coverage of the content that faculty experts define as important, but neglected other outcomes.

대조적으로, CBE는 학습 내용이 cover되었다는 것 만으로 학습이 이루어진 것으로 가정하기보다는, 학습 성과를 측정하는 데 초점을 맞춘다. (그림 1) CBE는 이해 관계자의 요구를 반영하는 역량을 정의한 다음, 해당 역량을 사용하여 커리큘럼과 평가를 guide합니다. 따라서 CBE 커리큘럼은 발달과 학습의 근거를 support하며, 그 support에 도움이 되지 않는 것은 불필요하다 .11,16,17

By contrast, CBE focuses on measuring the out- comes of learning12–15 rather than merely assuming that learning has taken place because content was ‘covered’. (Fig. 1), CBE defines competencies that reflect stakeholder needs and then uses those competencies to guide the curriculum and assessment. Thus, CBE curric- ula, support the devel- opment and evidence of learning, and anything that does not add to that support is dispensable.11,16,17

CBME는 성과에 중점을두고 있기 때문에 이러한 결과를 평가하는 데 더 많은 관심와 투자가 필요합니다. CBME는 시간이 역량의 '대리자'로 충분하다고 가정하지 않기 때문에 평가에 더 중대한 의미를 갖는다.

Because of this emphasis on outcomes, CBE requires greater attention to and investment in assessing those outcomes. CBE has a greater empha- sis on assessment because it does not assume that time is sufficient as a surrogate for competence.

기술과 능력의 강조

EMPHASIS ON SKILLS AND ABILITIES

CBME는 단순한 지식 그 이상에 초점을 맞추며, 경쟁력이란 '특정 맥락에서 여러 영역에 걸친 능력의 array 또는 의사가 수행해야 하는 측면들'라고 정의합니다. 역량을 기술하기 위해서는 relevant abilities, context, and stage of training등을 정의하기 위한 descriptive qualifier가 필요하다. 역량은 다차원적이고 역동적입니다. 그것은 시간, 경험, 세팅에 따라 변합니다 . 기술과 능력에 초점을 맞추는 것이 CBE만 그런 것은 아니다. 많은 세련된 전통적인 커리큘럼도 점을 강조하는 점은 공통이지만, CBME를 정의하는 특징 중 하나입니다.

CBE focuses on more than just knowledge and defines compe- tence as ‘the array of abilities across multiple domains or aspects of physician performance in a certain context. Statements about competence require descriptive qualifiers to define the relevant abilities, context, and stage of training. Competence is multi-dimensional and dynamic. It changes with time, experience, and setting’.11 The focus on skills and abilities is not unique to CBE. Many sophisti- cated traditional curricula share this emphasis, but it is a defining feature of CBE.

시간-기반 훈련 최소화

REDUCED EMPHASIS ON TIME-BASED TRAINING

CBE와 전통적인 교육적 관점을 명확하게 구별하는 한 가지 측면은 시간의 역할입니다. 시간 기반 교육에서 시간이 고정되어 있고 결과 (졸업 능력)가 가변적 인 반면 CBE에서는 산출물이 고정되어 있고 시간이 가변적이라는 것입니다.

One dimension that clearly distinguishes CBE from traditional educational perspectives is the role of time. A common aphorism is that in time-based education, time is fixed and outcomes (graduating competence) are variable, whereas in CBE, out- comes are fixed and time is variable.

프로그램을 끝내려면 최소 수의 과목 또는 학점이 필요하며 이는 프로그램 전체의 최소 시간으로 해석됩니다. CBME에서는 학기 나 과목에 제약받지 않고 능력을 획득하고 demonstrated 할 수 있습니다. 프로그램 참여과정에서 역량의 습득은 학습자의 사전 역량 수준, 이전의 전문 활동, 동기 부여 및 학습 기회에 따라 신속하거나 느리게 발생할 수 있습니다. 따라서 CBE는 프로그램 완료에 필요한 시간에 대해서 훨씬 더 유연한 관점을 가지고 있으며, 학습자의 고유한 requirement에 따라 프로그램 기간 및 활동이 달라진다.
A minimum number of courses or credits is required to finish the programme, which translates into a minimum amount of time for the programme as a whole. In CBE, competence can be attained and demonstrated without being con- strained by semesters or courses. Competence that is acquired through participation in the programme may take place quickly or more slowly, depending on the learner’s prior competence level, prior pro- fessional activities, motivation and learning opportu- nities. Thus, CBE takes a much more flexible view of the time needed for programme completion, adapting the programme duration and activities to a learner’s unique requirements.

학습자 중심

PROMOTION OF LEARNER CENTREDNESS

역량 기반 교육은 학습자의 사전 학습, 현재 진행 상황, 학습 기회 및 평가 피드백을 포함하는 개별 학습 계획에 중점을 둡니다. 학습자 중심으로의 전환은 '가르침'이 아니라 '학습'에 초점을 맞추는 것으로 보완됩니다. 교수진의 역할은 전문 지식의 원천에서 촉진자 및 학습 코치로 변화합니다

Competency-based education focuses on individu- alised learning plans that encompass the learner’s prior learning, current progress, learning opportuni- ties and assessment feedback. The shift to learner centredness is comple- mented by a shift from focus on ‘teaching’ to a focus on ‘learning’. The role of the faculty member changes from being a source of expert knowledge to being a facilitator and learning coach.

이러한 변화는 learner practice에 지식을 더 lasting and meaningful하게 통합할 수 있게 촉진하려는 원칙에 따른 것이다. 학습자 중심성은 시간과 공간 모두에서 융통성이 필요하며, 시간과 장소에 제약을 받는 topic-focused course에 의해 방해받는다. 이 접근법의 이점은 학습자가 자신의 속도와 일정으로 다양한 활동을 통해 학습 할 수 있다는 것입니다.

This shift is in keeping with the principle of promoting more lasting and meaningful incorpora- tion of knowledge into learner practice.20 Learner centredness requires flexibility in both time and space and may be hindered by topic-focused courses held at a set time and place. The benefit of this approach is that learners can learn through a wide range of activi- ties at their own speed and schedule.21

학습자 중심성의 또 다른 구성 요소는 피드백의 중요성이다 .22-24 CBME에서는 형성적인 피드백을 위하여 학습자의 목표와 필요 따른 평가를보다 빈번하게 시행해야 한다.

Another component of learner centredness is the importance of feedback.22–24 This formative feedback demands more frequent, if lower stakes, assessments in CBE that are aligned with the lear- ner’s goals and needs.

ENTRUSTABLE PROFESSIONAL ACTIVITIES

CBME의 맥락에서 EPA가 개발되었으며, 여러 CBME프로그램의 공통요소가 되었다. EPA는 지식과 술기를 요구하는 professional work이며, 사회가 qualified personnel을 신뢰할 수 있도록 recognizable output을 낼 수 있어야 한다. EPA는 '역량의 집합'을 반영하며, 주어진 영역에서 canonical mapping 된다.

Although not a defining attribute of CBE, entrusta- ble professional activities (EPAs) have been devel- oped in the context of CBE and have become a common component of many CBE programmes. Originally developed by Olle ten Cate,25 an EPA is a part of professional work that requires knowledge and skills and leads to recognisable outputs, which are entrusted by society to qualified personnel. Any given EPA reflects a set of competencies and, in aggregate, they are proposed as a canonical map- ping of a given domain.5–7

CBME를 현실로

PUTTING CBE INTO PRACTICE

여러가지 과제가 있다. CBME도입을 위한 대부분의 노력은 '역량을 정의'하는 것에 집중되는데, 이는 고작 '기존의 목적과 목표를 '역량'에 맞게 재기술recast하는 수준에서 이뤄진다. 이는 특히 ACGME의 여섯 역량이나 CanMEDS의 일곱 역할을 기반으로 한 역량 프레임워크를 도입한 학부교육과정에서 그러하다.

the implementation that various challenges emerge. Most efforts to implement CBE have focused on defining competencies and often pro- ceed only as far as recasting previous curriculum goals and objectives in the new language of compe-tencies. This is particularly true for many under- graduate curricula that adopt a competency framework based on the ACGME six-competency model or the CANMED seven roles.

CBME의 핵심 원칙 중 가장 도입이 안 되고 있는 것은 시간에 관한 것인데, 교육프로그램에 따라 variable duration의 형태여야 한다는 것이다. 극히 일부를 제외하면, CBME를 도입했다고 하는 프로그램은 그 기간이 여전히 time-based definition을 가지고 있으며, 이들 프로그램에서 역량과 평가는 quality assurance의 목적이지, 프로그램에 걸친 progression의 guide목적이 아니다.

The key principle of competency-based medical edu- cation (CBME) that has been the slowest to be adopted is that of time in the form of variable dura- tion of educational programmes. With very few exceptions,28 the programmes that have adopted CBME still maintain a time-based definition of the programme length. In these programmes, compe- tencies and their assessment are more often quality assurance concerns (verifying that graduates are competent) than they are guides to progression through the programme.

도입의 과제: 사례 묘사

CHALLENGES IN IMPLEMENTING CBE: AN ILLUSTRATIVE CASE STUDY

As a case study of the expected and unexpected challenges and lessons in implementing CBE, we examine the University of Michigan Master of Health Professions Education (UM-MHPE) pro- gramme.29 However, a detailed examination of the programme descriptions con- tained in the Foundation for Advancement of Inter- national Medical Education and Research (FAIMER) list of Masters degree programmes around the world33 suggests that the UM-MHPE programme is unique in applying CBE to health professions education.

The UM-MHPE breaks with traditional time-based pro- grammes, focusing instead on ensuring competence in its graduates. Although competence as a goal does not distinguish CBE from traditional educational frameworks, key differences between CBE and traditional educational frameworks lie in the structure and process of education.

일반 특징

Briefly, the key features of the UM-MHPE are as fol- lows.

역량 The degree is centred around demonstrating competence in 12 educational competencies (e.g. understand and apply principles of assessment, develop a programme of educational scholarship, and understand the background of medical educa- tion so as to provide a context for current educa- tional issues and problems [see the UM-MHPE web page29 for a full description]).
EPA Evidence of compe- tence is provided by completion of entrustable pro- fessional activities (EPAs)5–7 in education that are mapped to identified educational competencies. Our programme identifies 20 EPAs (e.g. select a learning outcome and design, select and develop an appropriate assessment method; design and imple- ment a research study; design and implement a cur- ricular intervention) that map onto the 12 competencies (Fig. 2).
멘토 Learners work closely with programme mentors to create an individualised learning plan that selects and sequences these EPAs. EPAs are designed to be completed in conjunction with the educational responsibilities and activities of the learners in their professional roles as health pro- fessions educators. This embeds learning in an applied context and highlights existing opportuni- ties for these educational activities. The EPAs pro- vide both evidence for assessing competence and the vehicle for learning.
과목이 없음 The UM-MHPE has no courses; all learning is done in the context of EPAs and utilises any viable instructional resource or format.

시간에 관련된 특징. EPA근거를 제출해서 인정받으면 추가적인 평가를 받을 필요가 없다.

In keeping with the CBE principle of disregarding ‘time in training’ as a key component of a pro- gramme, the UM-MHPE can be completed within variable time intervals, depending on learner initia- tive, prior competence and rate of demonstrated acquisition of competence. Learners who can demonstrate competence that is derived from prior experience and learning can receive credit for it once they submit the required EPA evidence; they do not need to spend time in areas in which they are already assessed to be competent. Conversely, learners cannot graduate until they demonstrate the requisite level of performance in all competencies, regardless of how long that requires them to stay in the programme.

평가에 관련된 특징. 평가에 투자를 많이 하였음.

The focus on competence rather than time taken for progression through the programme highlights the importance of rigorous and trustworthy assess- ment of competence.34 The UM-MHPE invests heav- ily in a competency assessment process in which learner-generated evidence of performance is evalu- ated by a designated assessment committee of pro- gramme faculty members. The assessment process explicitly recuses (배제하다) any faculty member who worked with a given learner on the EPA being assessed. This is intended as a means of minimising bias as a result of the relationship between the learner and teacher35–39 and promotes a more objective, unbi- ased judgement of the evidence provided. In addi- tion to the summative judgements of competence in a given EPA, the assessment committee also pro- vides formative feedback on how the EPA can be improved and where performance does not meet the standards.

교수의 역할

Rather than teach courses, faculty members serve as subject-matter experts for each EPA in order to guide learners towards specific resources to address identified gaps. They also advise on the selection and presentation of evidence within the EPA sub- mission to the assessment committee. Finally, pro- gramme faculty members also serve as mentors and as members of the assessment committees.

'과목'은 역량과 EPA로 대체될 수 있다.

COMPETENCIES AND EPAS CAN REPLACE COURSES

학생의 적응

Abandoning traditional courses in favour of EPAs as a curricular structure was one of the more radi- cal innovations in the UM-MHPE, so there was con- cern about how well this would be accepted by students and function as a vehicle for learning. Although there were a few puzzled inquiries about a course list, learners have quickly understood the nature and value of the EPAs as reflections of the work of a health professions educator and as opportunities to learn by doing. The fact that most learners make use of EPAs that build on their existing responsibilities is seen as an added advan- tage that makes learning relevant. Although learn- ers were open to the EPA framework, building the case within universities and higher education that competencies and EPAs could rigorously replace traditional courses required considerable time and effort.

EPA의 두 가지 용도: 학습과 평가

The use of EPAs for both learning and for assess- ment has worked well, providing authentic evi- dence of performance and relevant learning opportunities. This dual use of the EPAs has made providing feedback more complex, however. When an EPA is submitted to the assessment committee, learners frequently have to revise their EPAs to respond to assessment committee feedback and resubmit them before the evidence is considered of sufficient quality to be judged competent. Most often, a single revision is adequate but there have been instances of multiple resubmissions before the evidence is judged to meet the standards. These resubmissions provide opportunities for fur- ther and deeper learning in the context of the EPA, but learners seem to be more familiar with assessment as an evaluation process rather than as a guide to learning. The individualised nature of the EPAs, each of which reflects the particular opportunities and unique context of the individual learner, and the individualised scheduling of EPAs has required considerable flexibility on the part of the assessment committee.

Time-bound world에서 Timeless되기

BEING TIMELESS IN A TIME-BOUND WORLD

기대했던 것보다 상당한 도전과제가 있었다.

The contrast between CBE and traditional, time- based education has been one of the greatest com- plexities of the UM-MHPE. Although we anticipated that the decision to not base progress on time would be challenging, the extent of the challenges has been somewhat surprising.

학습자는 빠르게 적응하였다.

The learners have adapted to the framework quite readily and relish(즐기다) the idea of being able to finish the programme more or less quickly.

학생 간 학습속도의 차이

We have found considerable variation among learners in the rate at which they achieve and provide evidence of competence.

Some enter the programme with considerable levels of competence and only need to demonstrate these to the assessment commit- tee.
Others have little experience and require more time and work to acquire the necessary knowledge, skills and values to then establish their competence.

학생 간 학습강도의 차이

There is also considerable variation in how intensively learners can work on the programme; a few have some protected time for the programme but many are very much part-time learners.

행정구조상의 과제. 등록/등록금계산/재정지원/과목설명시스템 등등.

A competency-based programme is a challenge to traditional university administrative structures that are designed around credit hours and semester-long courses. The UM-MHPE does not fit well into the University of Michigan’s registration, tuition compu- tation, financial aid or course transcript systems, so we have adapted and ‘translated’ our CBE structures into elements that the university can accommodate. This translation is not always ideal and has created additional administrative overheads that would not be necessary in a system designed with CBE in mind.

정부 재정지원 관련

Specifically related to accepting financial aid (e.g. student loans, etc.), the UM-MHPE is classified as a ‘direct-assessment’ programme, which requires review and approval by the United States Depart- ment of Education in order for financial aid to be awarded to learners. The Department of Education determines whether the programme meets the mini- mum requirements for an academic year and is the basis for payment periods and award calculations.40

개별화의 댓가는 비싸다

INDIVIDUALISATION WORKS BUT IS NOT CHEAP

UM-MHPE는 학습 계획, EPA 구현, 순서 및 일정, 그리고 학습 맥락에서 매우 높은 수준의 개별성을 가지고 있습니다. 학습자는 이러한 개인 성을 높이 평가하며 프로그램은 이러한 개별화를 효과적으로 지원합니다. 그러나 이런 것을 우선적으로 하기 위해 들어가는 실제 비용이 있습니다.

The UM-MHPE has a very high level of individuali- sation in its learning plan, EPA implementation, sequencing and schedule, and its professional con- text for learning. Learners value this individualisa- tion highly and the programme has operated effectively to support this individualisation. There are, however, real costs that stem from this priority.

전통적인 코스 기반 프로그램은 특정 시간에 학습자에 대한 그룹 수업 및 상당히 균일 한 경험을 강조하는 경향이있어 학습자가 프로그램과 교수의 일정을 수용하도록 요구합니다. 전통적인 교육에서 한 명의 교수진이 여러 명의 학습자를 가르 칠 수있는 "규모의 경제"를 제공합니다. 개별 교육은 종종 규모의 경제를 상당히 줄입니다.

Traditional, course-based programmes tend to emphasise group instruction and fairly uniform experiences for learners at specific times, requiring learners to accommodate the schedule of the pro- gramme and faculty. This provides economies of scale that enable one faculty member to teach mul- tiple learners. Individualised education reduces the economies of scale, sometimes significantly.

UM-MHPE 프로그램의 개별화는 학습자가 각각 다른 주제 전문가 (SME)와 상호 작용하고, 다른 EPA에서 작업하며, 다양한 순서와 활동 일정을 조정하고, 다른 목표를 추구합니다. 전통적 프로그램에서도 학습의 학생마다 다양한 양상을 보이지만, 코스 제목, 강의 계획서, 목표, 평가 방법 및 프로그램 일정 등 "겉으로 드러나는 일관성"으로 위장하고 있다. 개별화는 교수자가 학습 프로그램을 공동으로 설계하고, 학습자에게 자원에 대해 조언하고, 학습자의 질문, 발견 및 평가와 상호 작용하는 데 더 많은 관심을 기울여야 할 것을 요구합니다.
Individualisation also highlights the fact that learn- ers in the UM-MHPE programme each have very different experiences as they interact with differ- ent subject-matter experts (SMEs), work on differ- ent EPAs, arrange different sequences and schedules of activities, and pursue different goals.

Such individual variability in learning is also true in traditional programmes as students bring differ- ent backgrounds, interests and experiences to the same course and draw their own conclusions, work on their own projects and write their own papers. However, this diversity is often camouflaged in tra- ditional programmes by the apparent uniformity of course titles, syllabi, objectives, assessment methods and programme schedules. Individualisa- tion requires faculty members to give considerably more attention to

collaboratively designing a learning programme,
advising the learner on resources, and
interacting with learners’ questions, discoveries and assessments.

의도적인 커뮤니티 빌딩이 필요하다

COMMUNITY BUILDING MUST BE INTENTIONAL

학습자공동체를 만들어주는 것이 과제이다. 학생들이 동일한 물리적 위치에 있지 않기에 고립된 상태에 놓일 위험이 있다.

The individualised character of the UM-MHPE is a key feature but it carries with it new challenges in building a community of learners. When learners are pursuing their own learning programmes, activities and mentored instruction instead of common course- work, they are seldom in the same physical location. The typical casual interactions that occur naturally in face-to-face settings are often missing and the learn- ers are at greater risk of being isolated.

학습자 상호작용에 의한 교육적 장점이 명시적으로 장려될 필요가 있다

Community building is also challenged by the asyn- chronous and dispersed nature of the learner cohort. It has become clear that the educational benefits of learner interactions need to be explicitly fostered and promoted. The learners have taken the lead on this in several ways and the programme con- tinues to evolve to promote a community of learn- ers, alumni and faculty members.

결론

CONCLUSIONS

Competency-based education is a broad framework for education that has utility for many fields. The UM-MHPE reflects the trend towards CBE in the health professions as well as in higher education more generally. We believe the UM-MHPE represents a bold new direction for the education of health professional educators. It is appealing to learners, exciting for faculty members, but often challenging for administrators. It demonstrates that CBE ‘works’ in this setting and fits the needs and goals of learners. The programme’s CBE format allows learners to fully integrate their learning into their own interests and career goals. It assesses competence in authentic, workplace-based activities and certifies that graduates have demonstrated competence.

5 ten Cate O, Billett S. Competency-based medical education: origins, perspectives and potentialities. Med (3):325–32. Educ 2014;

8 Johnstone SM, Soares L. Principles for developing competency-based education programs. Chang Mag (November):12–9. High Learn 2014;

11 Frank JR, Snell LS, ten Cate O et al. Competency- based medical education: theory to practice. Med (8):638–45. Teach 2010;

37 Kogan JR, Conforti LN, Iobst WF, Holmboe ES. Reconceptualizing variable rater assessments as both an educational and clinical care problem. Acad Med (5):721–7. 2014; 89

2016 May;50(5):532-9. doi: 10.1111/medu.12977.

Competency-based education: programme design and challenges to implementation.

Gruppen LD1, Burkhardt JC1,2, Fitzgerald JT1,3, Funnell M1, Haftel HM1,4, Lypson ML1,5, Mullan PB1, Santen SA1,2, Sheets KJ1,6, Stalburg CM1,7, Vasquez JA1.

Author information

1Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan, USA.
2Department of Emergency Medicine, University of Michigan Medical School, Ann Arbor, Michigan, USA.
3Ann Arbor VA Geriatrics Research, Education and Clinical Center, University of Michigan Medical School, Ann Arbor, Michigan, USA.
4Department of Pediatrics and Communicable Diseases, University of Michigan Medical School, Ann Arbor, Michigan, USA.
5Department of Internal Medicine, University of Michigan Medical School, Ann Arbor, Michigan, USA.
6Department of Family Medicine, University of Michigan Medical School, Ann Arbor, Michigan, USA.
7Department of Obstetrics and Gynecology, University of Michigan Medical School, Ann Arbor, Michigan, USA.

Abstract

CONTEXT:

Competency-based education (CBE) has been widely cited as an educational framework for medical students and residents, and provides a framework for designing educational programmes that reflect four critical features: a focus on outcomes, an emphasis on abilities, a reduction of emphasis on time-based training, and promotion of learner centredness. Each of these features has implications and potential challenges for implementing CBE.

METHODS:

As an experiment in CBE programme design and implementation, the University of Michigan Master of Health Professions Education (UM-MHPE) degree programme was examined for lessons to be learned when putting CBE into practice. The UM-MHPE identifies 12 educational competencies and 20 educational entrustable professional activities (EPAs) that serve as the vehicle for both learning and assessment. The programme also defines distinct roles of faculty members as assessors, mentors and subject-matter experts focused on highly individualised learning plans adapted to each learner.

CONCLUSIONS:

Early experience with implementing the UM-MHPE indicates that EPAs and competencies can provide a viable alternative to traditional courses and a vehicle for rigorous assessment. A high level of individualisation is feasible but carries with it significant costs and makes intentional community building essential. Most significantly, abandoning a time-based framework is a difficult innovation to implement in a university structure that is predicated on time-based education.

PMID:: 27072442
DOI:: 10.1111/medu.12977

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교육과정 개발&평가' 카테고리의 다른 글

패러다임의 전환: 플렉스너에서 역량으로 (Acad Med, 2002) (0)	2017.04.20
영속성을 위해 만들기: 교육프로그램의 장기적 지속가능성 (Med Teach 2006) (0)	2017.01.19
Competencies, Milestones, EPAs - 과거를 잊은 자는 반복하게 될 것이다 (Med Teach, 2016) (0)	2016.11.17
임상과학자프로그램 평가 - 커크패트릭을 넘어서. "효과가 있었나"와 "어떻게 효과가 생겼나" (Acad Med, 2011) (0)	2016.11.08
교육프로그램 평가(AMEE Guide no.29) (Med Teach, 2006) (0)	2016.11.02

오픈북 시험과 클로즈드북 시험 비교(Systematic Review) (Acad Med, 2016) [출력완료]

Meded. 2016. 11. 18. 13:30

2016. 11. 18. 13:30

오픈북 시험과 클로즈드북 시험 비교(Systematic Review) (Acad Med, 2016)

Comparing Open-Book and Closed-Book Examinations: A Systematic Review

Steven J. Durning, MD, PhD, Ting Dong, PhD, Temple Ratcliffe, MD, Lambert Schuwirth, MD, PhD, Anthony R. Artino Jr, PhD, John R. Boulet, PhD, and Kevin Eva, PhD

정보접근성이 쉬워지면서 CBE의 적절성에 대한 의문이 생긴다. 일부 학자는 시험은 외부 리소스를 찾고, 이해하고, 평가하고, 사용하는 능력을 평가해야한다고 주장합니다. OBE (Open-Book Examination)의 지지자는 OBE가 실전 연습에보다 정통하며 성공은 "단순 암기"가 아니라고 주장합니다. 1-3

This easy access to information raises fundamental questions about the adequacy of closed-book examination (CBE) practices commonly used by the health professions. Some scholars argue that any examination of relevance must assess the examinee’s ability to find, understand, evaluate, and use external resources. Such proponents of the open-book examination (OBE) argue that OBEs are more authentic to real-world practice and that success is not about “rote memorization.”1–3

CBE를 지지하는 학자들은 전문가의 성과는 풍부하고 잘 조직화된 내용지식과 밀접한 관련이 있음을 발견 한 문헌을 인용합니다. 예를 들어 연구에 따르면 CBE에 대한 높은 수행 능력은 보다 나은 practice outcome과 관련이 있음을 발견했습니다 .5,6 또한 많은 경우 정보를 찾아볼 수 있는 능력은 (여러 환경적 요인 등으로) 제한된다

Scholars defending CBEs cite literature that has consistently found expert performance to be closely tied to rich, well-organized content knowledge of a subject. For example, studies have found that high performance on CBEs is associated with better practice outcomes.5,6 In many situations a physician’s ability to look up unknown information is restricted

To inform this issue, which affects the examination of physicians across the continuum of their careers, we conducted a systematic review of the literature comparing the two assessment strategies.

단순히 의사의 손끝에 더 많은 정보를 제공하는 것만으로는 치료가 개선되지 않을 수 있다. 왜냐하면 의사는 어떤 것을 찾아봐야 할지에 대한 지식이 있어야 하고, 새로운 정보를 기존의 경험과 통합시킬 수 있어야 하기 때문이다. 따라서 정보 기술에만 의존하게되면 인지 부하 (즉, 정신적 노력)가 악영향을받을 수 있고 정보 학습 및 critical appraisal 능력이 저하되며 궁극적으로 환자의 건강을 해칠 수 있습니다 .7

Merely putting more information at a physician’s fingertips is, therefore, not likely to result in improved care because the physician needs knowledge to guide his or her search and to integrate new information with previous experience. Thus, reliance on information technology could detrimentally increase cognitive load (i.e., mental effort), decrease learning and critical appraisal of information, and ultimately harm patient care.7

방법

Method

범위 Scoping search

Systematic review

We followed PRISMA Guidelines8 and guidelines provided in the medical education literature.9 We limited our search to full-length, published, peer- reviewed, English-language journal articles involving learners in either descriptive reports or educational interventions, using any study design related to our research questions. We further limited the papers reviewed to those that empirically compared (either directly or indirectly) OBEs and CBEs.

We used a data collection form (Supplemental Digital Appendix 2, http:// links.lww.com/ACADMED/A310) to rate each article. This form was constructed based on the findings of our scoping review and refined through conference calls among the authors.

We structured the outcome categories according to the themes that were generated from our scoping review. We report them here in the sequence in which they would occur in the testing process:

(1) examination preparation,
(2) test anxiety,
(3) exam performance,
(4) psychometrics and logistics,
(5) testing effects, and
(6) public perception.

Any article could have multiple outcomes and was reviewed for relevant themes by two of the study authors.

The quality of each manuscript was examined by addressing the extent to which the research found was fit for purpose. This was done by having each reviewer code the manuscript for the presence of explicit research questions, hypotheses, conceptual and/or theoretical frameworks, and by recording additional quality judgments. Reviewers used a five- point rating scale (1 = strongly disagree, 2 = disagree, 3 = neutral, 4 = agree, 5 = strongly agree) to assess four domains:

trustworthiness of findings,
study rigor,
implementation of study findings, and
appropriateness of data analysis.

These latter judgments were made in relation to the degree to which each study effectively addressed a research question comparing the relative benefits of OBEs versus CBEs.

결과

Results

The frequency with which outcomes were identified was as follows:

(1) exam preparation (n = 20; 54%);
(2) test anxiety (n = 14; 38%);
(3) exam performance (n = 30; 81%);
(4) psycho- metrics and logistics (n = 5; 14%);
(5) testing effects (n = 13; 35%); and
(6) public perception (n = 5; 14%).

연구 퀄리티

Study quality

Overall, the quality of the articles included in our review was deemed to be adequate for our purpose. Explicit research questions were presented in 31 articles (84%), hypotheses were stated in 14 (38%), and hypotheses were justified in 10 (27%). Conceptual and/or theoretical frameworks were described in 7 articles (19%).

연구 맥락

Study context

Thirty-four investigations (92%) were single-institution studies.
Nearly half were performed in the United States (n = 18; 49%).
Other locations included the Netherlands (n = 5; 14%), the United Kingdom (n = 4; 11%), Greece (n = 3; 8%), and Australia (n = 2; 5%), and 1 study (3%) was included from each of the following locations: Canada, Denmark, Norway, Africa, and Israel.

대부분 대학생

The majority of studies pertained to college-level students (n = 24; 65%); 2 studies investigated high school students (5%); 8 investigated medical students (22%; 2 of these were multi- institutional); 2 investigated other postcollege instructional settings (5%); and 1 study (3%) included practicing physicians.

대부분 중-부담 시험

For the majority, the stakes of the examination were rated as medium (n = 21; 57%) in that the assessments were generally end-of- course examinations. Two (5%) were considered high-stakes, being equivalent to national licensing examinations. Few studies included a formal incentive (e.g., extra credit or a small payment) (n = 6; 16%) to participants beyond earning a course grade.

시험 준비

Exam preparation

종합해보면, 시험 준비 시간은 CBE에서 더 길었다.

In terms of preparation time, findings were inconsistent across studies, but in sum appear to favor CBEs.

시험 준비 시간이 길다는 것은 (학습이 향상되었음을 보여주는 대리지표라기보단) 사전에 학습자료와의 engagement가 불충분했다는 의미일 수 있다.

Of note, an increase in preparation time could indicate insufficient prior engagement with the material rather than being a proxy for improved learning and performance.15

OBE나 CBE에서 학습전략이 달라지지 않았다.

Reviewing the articles examining preparation strategy revealed that students did not change study tactics for OBEs versus CBEs,16,17 and no correlation between test format and deep versus surface learning approaches was found.17

학생이 어떻게 시험준비를 하는지는 CBE나 OBE나 차이가 별로 없다. 차이가 있었을 경우에는, 참가자들은 CBE일 때 더 공부하였다.
Thus, research exploring exam preparation was equivocal with respect to whether students prepare differently (or at greater length) for CBEs or OBEs. When differences did exist, they tended to show that participants studied more when they expected a CBE.

시험 불안

Test anxiety

감정은 인지 능력에 영향을 미친다. 부정적인 감정은 한때 성과에 독점적으로 해로운 영향만을 미쳤다고 생각되었지만 감정의 현대 이론은 그러한 가정이 지나치게 단순하다는 것을 암시한다. 예를 들어, 불안과 같은 부정적인 감정은 실제로 학생이 CBE는 OBE를 준비중인 스트레스를받지 않는 학생과 비교했을 때 뛰어난 성능을 나타낼 수 있습니다. 그럼에도 불구하고 시험 불안감을 줄이는 것이 종종 OBE를 고려한 첫 번째 동기라고보고됩니다. 그러나 우리의 연구 결과에 따르면, 불안 효과는 일반적으로 연구의 주요 목적 (부록 1 참조)과 관련하여 2 차적 문제로 조사되었으며, 감정을 평가 한 모든 연구에는 이론적 근거가 부족한 것으로 나타났습니다.

Emotions affect cognitive performance.44 Although negative emotions were once thought to have exclusively deleterious effects on performance, contemporary theories of emotion suggest that such an assumption is overly simplistic.45 For example, a negative emotion like anxiety might actually motivate a student to study for a CBE, which could result in superior performance when compared with an unstressed student preparing for an OBE. Regardless, reducing test anxiety is often reported to be a primary motivation for considering OBEs. Our findings indicate, however, that anxiety effects were typically examined as a secondary issue relative to a study’s primary purpose (see Appendix 1), and all studies that assessed emotions lacked a theoretical grounding.

학생들이 OBE 또는 부분적인 OBE (즉, 학생들이 원하는 자료에 액세스하지 않고 "치트 시트"와 같은 준비된 자료를 가져올 수있는 시험)가 자신의 불안을 줄이는 효과가 있다는 것을 과대 평가할 수 있다는 증거가 있습니다. 여러 연구에 의하면 학생들은 덜 우울한 태도로 OBE를 연관 시키지만, 소수의 학생 만이 실제로 불안감을 덜보고한다고 제안하고있다 .24,28 더 어려운 문제가 출제될 것이라는 생각은 학생들에게 불안감을 유발할 수 있습니다 .19

Evidence suggests that students may overestimate the effect that OBEs or partial OBEs (i.e., exams in which students can bring some prepared material like a “cheat sheet” rather than having access to any desired material) have on reducing their anxiety. Several studies suggest that students associate OBEs with less anxiety,16,27,28 but only a minority of students actually report lower anxiety.24,28 It has been suggested that certain aspects of OBEs, such as the belief that examiners will choose questions of greater difficulty, can be anxiety provoking for students.19

종합하면, 이러한 결과는 OBE가 불안을 줄이는데 미치는 영향을 과대 평가할 수 있으며 잠재적으로 성적을 향상시킬 수 있음을 시사합니다. 불안 효과를 조사하기위한 방법과 분석에 대한 보고가 불완전하지만, 이러한 영향은 현존하는 연구의 afterthought로 탐구되며, 이론적 인 근거가 부족합니다.

On balance, these findings suggest that students may overestimate the impact that OBEs have on reducing their anxiety and, by extension, on potentially improving their performance. Not only was the reporting of methods and analyses for examining anxiety effects incomplete, but these effects are often explored as an afterthought in extant studies, and they lacked theoretical grounding.

시험 수행능력

Exam performance

가장 일반적인 결과는 학습자의 OBE 대 CBE 성취도 (부록 1)와 비교 한 시험 수행이었다. 직관적으로, 수험생이 책을 찾아볼 수 있기 때문에 OBE 성적이 더 좋을 것이라고 기대할 수 있습니다. CBE를 반대하는 사람들은 OBE 형식이 본질적으로 난이도를 낮추는 것은 아니지만 대신 시험에서 지식을 적용 할 수있는 능력에 대한 질문에 초점을 맞추도록 (즉, 간단히 책을 찾아서는 알 수 없는 것을 테스트하는) 하는 장점이 있음을 강조한다.
The most common outcome explored was examination performance, defined as comparing learners’ achievement on OBEs versus achievement on CBEs (Appendix 1). Intuitively, one might expect that examinees would perform better on OBEs because they have the capacity to look up answers. Opponents suggest that the OBE format does not inherently lessen difficulty but, instead, frees the examiner to focus questions on the test taker’s ability to apply knowledge (i.e., testing what cannot simply be “looked up”),

시험 성과를 결과로 고려할 때 두 가지 주의 사항이 주목할 만하다.

(1) 대부분의 연구에서 학생들은 OBE에 대한 경험이 거의 없었습니다.
(2) 시험 성적은 문제의 난이도 등에 따라 달라지므로 성과로서 평가하기에 어려운 부분이 있으며, 다만 OBE의 일부 지지자는 강사가 다른 스타일 또는 다른 포커스의 문항을 출제할 수 있는 점을 강조한다.

Two caveats are noteworthy when considering exam performance as an outcome: (1) In most studies, students had little to no experience with OBEs—only one study21 that addressed examination performance reported that students had prior OBE experience; and (2) exam performance is a challenging outcome to study because the difficulty of an exam depends on the questions asked, and some proponents of OBE argue that its main advantage is enabling instructors to pose questions with a different style or focus.

대부분의 시험은 MCQ 형식 이었지만 일부는 에세이 및 / 또는 짧은 대답이었습니다 (부록 1). 전형적으로, 수험자의 성과에서 중요한 차이는 발견되지 않았고, CBE (30,34,38)에서 성과가 더 좋았다 (부록 1).

The majority of the examinations were MCQ format, but some were also essay and/or short answer (Appendix 1). Typically, no significant difference in examinee performance was found,30,34,38 or performance was better on CBEs (Appendix 1).

결론적으로 CBE에서 시험성적이 더 높은 것처럼 보입니다. 그러나 OBE에 대한 경험이 비교적 적은 것과 두 시험에서 나타나는 시험 준비의 차이는 학생들에게 OBE에 대해 더 알려주거나, 연습시험을 제공하여 OBE에서의 학업성취를 향상시킬 수 있음을 제시한다. 학생들이 OBE에서 잘 하기 위해서는 무엇이 필요한지에 대한 right expectation을 가져야 한다고 언급했다.

In sum, studies comparing exam performance appear to favor CBEs. However, the combination of relatively little experience with OBEs and the differences in exam preparation noted in several investigations highlighted in this section leave open the possibility that OBE performance could be improved through instructing students about OBEs or providing practice tests. On this point, three sets of authors indicated that students need to have the right expectation for what it takes to do well on OBEs.19,21,24

Psychometrics 과 로지스틱스

Psychometrics and logistics

연구에 따르면 일반적으로 검사의 validity는 형식보다 내용에 따라 결정됩니다 .46-48
Research has generally shown that the validity of a test is determined more by the content of the questions included than by the examination format.46–48

실제로 문항 수를 일정하게 유지하면서 테스트 형식에 대한 안정성을 비교하는 것이 현실적이지 않을 수 있습니다. 시험을 치는 데 필요한 시간에 미치는 영향에 대해 CBE와 OBE를 비교 한 3 가지 연구에서 OBE를 완료하는 데 10 % ~ 60 % 더 오래 걸리는 것으로 나타났습니다 .10,30,32 따라서 시험시간의 양을 제어하는 경우, OBE 형식에서의 문항이 더 줄기때문에 CBE 형식 시험의 신뢰도가 높아질 수 있습니다.

In practice, it may not be realistic to compare reliability across test formats while keeping the number of items constant. Three studies that compared CBEs with OBEs with respect to their influence on the time required to take the test found that students took 10% to 60% longer to complete OBEs.10,30,32 Thus, if one controls for amount of testing time, it is likely that fewer questions would be asked in OBE format, and, hence, the reliability of the equivalent CBE-formatted exam can be anticipated to be higher.

시험 효과

Testing effects

Testing effect는 시험을 본느 것 자체로 후속 성과가 향상되는 것을 말한다. 이러한 향상은 간접적인 방법 (예 : 공부하도록 유도하는 등) 또는 직접적인 방식으로 나타난다(참가자가 단순히 공부만 할 때보다 시험을 보는 과정에서 자료가 더 memorable하게 됨). study group보다 tested group이 성적이 더 좋은 걸 보여줘서 확인가능하다. 이 testing effect는 여러 분야에서 확인되었습니다.

Testing effects occur when taking an exam improves subsequent performance. Such benefits can arise in indirect ways (e.g., being prompted to study) or from direct effects of the material becoming more memorable when participants are tested on it than when they simply study for a test.49 The testing effect is demonstrated when the tested group outperforms the study group on a subsequent outcome exam. This testing effect (test-enhanced learning) has been well documented in multiple fields.50

CBE의 지지자들은 학습이란 기억의 능동적 구성이라고 주장하며, 문제에 답하기 위해서 외부 자료에 의존할 때는 발생할 가능성이 낮다고 주장한다. OBE 지지자들은 OBE에서는 단순암기가 강조되지 않기 때문에 OBE가 지식을 적용하는 능력을 향상시킬 수 있다고 주장합니다.

Proponents of CBE argue that learning requires active construction of memory that is less likely to occur when one relies on external resources to answer test questions. OBE proponents argue that OBEs may enhance the ability to apply knowledge because rote memorization is not emphasized.

OBE와 CBE 모두에서 시험 효과가 나타난다. OBEs와 CBEs를 비교 한 4 개의 연구는 testing effect가 두 방식에서 거의 동일 함을 보여 주었다.

Both OBE and CBE demonstrate testing effects (Appendix 2). Four studies comparing OBEs and CBEs demonstrated testing effects that were roughly equivalent10,13,31,37 (Appendix 2).

The testing effect of CBEs was superior in one study.12 These researchers demonstrated that during a summative CBE participants performed worse on material covered by an OBE intervention relative to a CBE intervention.12

Testing effects는 시험 형식과 관계 없이 나타난다. 이것은 학생들의 collective self-perceptions 는 testing effect에 대한 연구결과와는 반대로 나타난다는 기존 연구 결과와도 부합하는 것이다. 학생들은 OBE든 CBE든 시험을 보는 것보다 공부만 하는 것studying alone이 더 효과적인 준비라고 느꼈다.

Testing effects were observed regardless of examination format. Consistent with prior studies, students’ collective self-perceptions ran counter to the empirical finding that testing effects occur regardless of test format; students felt that studying alone was more effective preparation than taking either an OBE or CBE.31

공공의 인식

Public perception

연구에 따르면 학습자는 CBE보다 OBE에 대해 긍정적인 인식을 가지고 있음을 보여줍니다. 반면에 학생들은 OBE 문제가 더 어렵고 OBE 형식에 대한 추가 연습이나 훈련이 필요하다고도 의견을 말했습니다 .17

Studies suggest that learners have a more positive perception of OBEs over CBEs.2,17,19,22 On the other hand, students also commented that OBE questions were more difficult and that they desired additional practice or training for the OBE format.17

교사들은 종종 OBE도입에 반대한다. 교사들은 OBE를 준비하는 과정에서 resource가 더 필요하다는 것, 그리고 OBE 준비에 요구되는 추가 시간에 대해 우려했다 .2,22

Teachers’ views often challenged the implementation of OBEs.17,23 Teachers expressed concerns over the increased resources associated with preparing OBEs, as well as the perceived additional time required for learners to take OBEs.2,22

고찰

Discussion

연구 분야 (예 : 의학 교육 대 교육)와 콘텐츠 수준 (예 : 대학생 대 대학원생))에 따라 OBE와 CBE 사이의 체계적인 차이점은 없었다. 연구를 하기 전에는 결과는 모호했다. 테스트 형식이 outcome에 영향을 미친다면, 사람들이 CBE를 볼 때에 많이 준비한다는 주장이 옳아야 한다. 이것은 학생들이 OBE를 볼 때 불안이 줄어들 것으로 기대하기 때문인데, 실제로 불안이 줄어드는 것으로 보이지는 않는다.

The studies we reviewed were generally of adequate quality for the questions addressed, and we did not identify any systematic differences in the use of OBE versus CBE by the field studied (e.g., medical education versus education versus other) or level of content (e.g., graduate versus undergraduate student). Prior to the examination, findings were equivocal; if test format does affect outcomes, it favors the argument that people prepare more for CBEs. This may be driven by the finding that students anticipate lessened anxiety with OBEs even though this does not appear to translate to actual experiences of lessened anxiety.

학생들은 OBE 시험을 보는데 데 더 오랜 시간이 걸리며, 시험 시간이 일정하다면, 이것은 신뢰도에 영향을 줄 수 있있고, 또는 동일한 신뢰도의 시험에 필요한 시간에도 영향을 줄 수 있다. 시험 성과에 대해서는 CBE에서 더 성과가 높았는데, 특히 학습자가 OBE보다 CBE를 준비하는 데 더 많은 시간을 할 경우 그러하였다. CBEs와 OBEs의 postexamination 결과와 관련하여, 우리는 testing effect 또는 public perception의 차이에 대한 확실한 증거를 찾지 못했다. 즉, 사람에 따라서는 "만약 인터넷에서 찾아봐야 뭘 알수 있는 사람이라면, 어떻게 전문가라 부를 수 있나?"라고 우려하는 환자가 있을 수 있다.

During the examination, examinees appear to take longer to complete OBEs, which could either influence the test’s reliability, if testing time is kept constant, or influence the length of time that must be offered to candidates to complete an equally reliable exam. Studies addressing examination performance favored CBEs, particularly when learners reported spending more time preparing for CBEs than for OBEs. With respect to postexamination outcomes of CBEs and OBEs, we did not find robust evidence for differences in testing effects or public perception. That said, one might imagine concerned patients who wonder, “How can you be an expert if you need to look things up on the Internet?”51

어떤 유형의 시험을 사용하는가는 학습성과나 수행능력성과에 따라서 결정되기보다는 로지스틱한 한계에 의해서 결정될 수 있으며, 또한 실제 진료상황에서는 어떻게 하게되는지에 대한 authentical representation을 위해서 결정될 수도 있다. OBE와 CBE 모두 testing effect가 있었기 때문에, 그리고 학생들의 testing effect에 대한 인식은 연구결과와 정반대로 나오기 때문에, 관련된 질문은 'testing effect를 최대화하기 위해서는 얼마나 자주 시험을 봐야 하는가'이다.

The type of examination used might need to be based less on learning and performance outcomes and more on logistical limitations, as well as the desire to authentically represent what individuals do in practice. Given that we found evidence of the testing effect under both OBE and CBE conditions, and that participants’ perceptions of testing effects run counter to empirical findings, a related question is how often an individual should be examined to maximize testing effects.

고부담시허에서 시험기간 동안 인터넷을 사용하게 하는 것은 시험보안에 위협이 된다. 동시에 제한된 수의 웹-기반 외부자료를 정해주는 것은 authenticity를 떨어뜨려서, 선택한 tool에 덜 익숙한 응시생에 불이익을 줄 수 있고, 시험을 치르는 동안 technical difficulties가 발생하면 공정성에도 영향을 준다. 또 다른 feasibility 문제로는 웹-기반 resource를 허용하는데 필요한 비용이며, OBE에서 동일한 신뢰도를 얻기 위에 필요한 추가적 비용이다.

It is challenging for high-stakes testing organizations that value test security to allow learners to have unrestricted access to the Internet during an exam.53 At the same time, choosing a limited number of Web-based external resources erodes authenticity, could disadvantage examinees who are less familiar with the chosen tools, and potentially affects fairness if technical difficulties arise during an examination. Additional feasibility questions include the cost of allowing Web-based resource access and the additional time required to achieve the same reliability with OBE relative to CBE. Issues such as cost and fairness have not been addressed in prior investigations.

authenticity와 관련해서, 지금까지는 '고부담'시험에 대한 연구가 거의 없었다. 정보검색능력이 의사에게 중요한 능력이라는 것에 대해서는 이론의 여지가 별로 없으나, OBE가 CBE보다 더 쉽다는 인식이 있을 수 있다. ABO의 발췌문

In terms of authenticity, the studies conducted to date have rarely looked at “high-stakes” assessment. Although there is good reason to argue that a physician’s ability to find information is an important skill to maintain, there can be a perception that OBEs are easier than CBEs. Although studies are lacking, an excerpt from the American Board of Ophthalmology regarding changes to their recertification examination captures the sentiment of many:

The decision to change from an open- book, take-home examination to a closed-book, computerized proctored examination was based primarily on the recognition of the value of the certificate within the public domain … state medical licensing boards are increasingly asking for a proctored(감독받는) examination.54

proctored exam을 선호하는 것이 OBE가 덜 엄격하고 validity가 낮다는 인식을 나타낸다.

We believe this preference is indicative of the perception that OBEs are perhaps less rigorous and/or less valid than a proctored examination.

OBE와 CBE는 서로의 장단점을 보완하기 때문에 부분적으로 평가 프로그램에 기여할 수 있습니다. OBE는 CBE의 대안으로 생각되어서는 안되지만, OBE의 가치는 CBE가 측정하는 것 이상에 있습니다. 예를 들어, 인터넷에서 정보를 찾는 "기술"을 평가하는 것은 CBE를 달성하기 어려울 것이다. 따라서 전략은 신뢰도를 손상시키지 않으면서 이러한 다양한 "기술"을 탐구하기 위해 OBE와 CBE를 결합 할 수 있습니다. 더욱이, testing effect와 관련하여 몇 번의 시험을 봐야 가장 적절한지의 문제는 아직 최적화되지 않았습니다. 의무적이지만 ungraded OBE는 학습자 불안을 크게 증가시키지 않으면서도 testing effect를 유도할 수 있다. 많은 인증 기관이 시행하는대로 매 10 년마다 한 번씩 시험을 치르는 것으로는 시험의 교육적 효과를 극대화하거나, 지속적인 전문직 개발의 습관 유도할 수 없다. 또한 OBE 항목을 부분적으로 포함시킴으로써 authenticity를 향상시킬 수 있으며, '찾아봐야만 안다'라는 식의 낙인stigma을 줄일 수 있다.

OBEs and CBEs can contribute to an assessment program in part because of their complementary pros and cons. OBEs should not be thought of as an alternative to CBEs, but their value may be in expanding beyond what is measured by CBEs. For example, exploring the “skill” of looking up information on the Internet seems unlikely to be accomplished through CBE. A strategy, therefore, could be coupling OBEs with CBEs to explore these different “skills” without compromising reliability. Furthermore, testing effects are not currently being optimized given the infrequency of examinations. A series of mandatory but ungraded OBEs might help to improve aspects of these processes, such as capitalizing on the testing effect without dramatically increasing learner anxiety. One examination each decade, as is practiced by many certifying bodies, is unlikely to maximize the educational impact of testing or induce habits of continuous professional development. Further, by including some OBE items, the opportunity for improving authenticity and reducing the stigma with the need to look things up could be leveraged.

Conclusions

2016 Apr;91(4):583-99. doi: 10.1097/ACM.0000000000000977.

Comparing Open-Book and Closed-Book Examinations: A Systematic Review.

Durning SJ1, Dong T, Ratcliffe T, Schuwirth L, Artino AR Jr, Boulet JR, Eva K.

Author information

1S.J. Durning is professor of medicine and pathology, Uniformed Services University of the Health Sciences, Bethesda, Maryland. T. Dong is assistant professor of medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland. T. Ratcliffe is assistant professor of medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland. L. Schuwirth is professor of medical education, Flinders University, Bedford Park, South Australia, Australia, and professor for innovative assessment, Maastricht University, Maastricht, the Netherlands. A.R. Artino Jr is professor of medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland. J.R. Boulet is vice president of research and evaluation, Foundation for Advancement of International Medical Education and Research, Philadelphia, Pennsylvania. K. Eva is professor of medicine, University of British Columbia, Vancouver, British Columbia, Canada.

Abstract

PURPOSE:

To compare the relative utility of open-book examinations (OBEs) and closed-book examinations (CBEs) given the rapid expansion and accessibility of knowledge.

METHOD:

A systematic review of peer-reviewed articles retrieved from MEDLINE, ERIC, Embase, and PsycINFO (through June 2013). In 2013-2014, articles that met inclusion criteria were reviewed by at least two investigators and coded for six outcome categories: (1) examination preparation, (2) test anxiety, (3) exam performance, (4) psychometrics and logistics, (5) testing effects, and (6) public perception.

RESULTS:

From 4,192 identified studies, 37 were included. The level of learner and subject studied varied. The frequency of each outcome category was as follows: (1) exam preparation (n = 20; 54%); (2) test anxiety (n = 14; 38%); (3) exam performance (n = 30; 81%); (4) psychometrics and logistics (n = 5; 14%); (5) testing effects (n = 24; 65%); and (6) public perception (n = 5; 14%). Preexamination outcome findings were equivocal, but students may prepare more extensively for CBEs. For during-examination outcomes, examinees appear to take longer to complete OBEs. Studies addressing examination performance favored CBE, particularly when preparation for CBE was greater than for OBE. Postexamination outcomes suggest little difference in testing effects or public perception.

CONCLUSIONS:

Given the data available, there does not appear to be sufficient evidence for exclusively using CBE or OBE. As such, a combined approach could become a more significant part of testing protocols as licensing bodies seek ways to assess competencies other than the maintenance of medical knowledge.

PMID:: 26535862
DOI:: 10.1097/ACM.0000000000000977

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 평가법 (Portfolio 등)' 카테고리의 다른 글

밀러의 피라미드에 대한 새로운 관점: Is와 Do 레벨의 평가 (Med Educ, 2016) (0)	2017.04.19
형성평가에 집중하기: 학생의 성장과 발달을 목적으로 하는 평가시스템 (Acad Med, 2016) (0)	2017.04.19
그룹활동에서 "나" 평가하기: 현황과 권고(Med Teach, 2016) (0)	2016.11.18
결과타당도근거(Consequences Validity Evidence): 교육평가의 임팩트 (Acad Med, 2016) (0)	2016.11.16
Blurprinting을 위한 12가지 팁(Med Teach, 2009) (0)	2016.11.14

그룹활동에서 "나" 평가하기: 현황과 권고(Med Teach, 2016)

Meded. 2016. 11. 18. 13:17

2016. 11. 18. 13:17

그룹활동에서 "나" 평가하기: 현황과 권고(Med Teach, 2016)

Assessing the ‘‘I’’ in group work assessment: State of the art and recommendations for practice

Joost Dijkstraa,e, Mieke Latijnhouwersb,e, Adriaan Norbartc,e and Rene A. Tiod,e

aMaastricht University, Maastricht University Office, Maastricht, the Netherlands; bRadboud University Medical Center Nijmegen, Radboudumc Health Academy, Nijmegen, the Netherlands; cLeiden University Medical Center, Leiden, the Netherlands; dDepartment of Cardiology and Center for Educational Development and Research in Health Professions, University Medical Center Groningen, Groningen, the Netherlands; eSpecial Interest Group on Assessment of the Netherlands Association for Medical Education (NVMO)

Introduction

의대생은 전문가가되기 위해 훈련을받으며 팀에서 함께 일해야합니다. 따라서 의학 교육에서 '협력자collaborator’’ '의 역량 역할을 다루는 것이 중요합니다 (Frank et al 2015).

Medical students are trained to become professionals, who must work together in teams. It is therefore important to address the competency role of ‘‘collaborator’’ in medical education (Frank et al. 2015),

집단 작업 평가Group work assessment는 이 역량을 평가하는 가장 보편적 인 방법이며 (Epstein & Hundert 2002), GW는 학습에 여러 가지 이점이있다. 깊이 있고 적극적인 학습 (Davies 2009), 지식 성과, 팀워크 기술 및 상호 작용 향상 (McMullen 외 2014) 및 직원 및 학생 만족도 향상 (Zgheib 외. 2010).

Group work assessment is the most common way of assessing this com- petency (Epstein & Hundert 2002) and Group work has multiple advantages for learning. It leads to deep and active learning (Davies 2009), increased knowledge outcomes, teamwork skills and interactivity (McMullen et al. 2014) and staff and student satisfaction (Zgheib et al. 2010).

GW평가에서 그룹 전체는 종종 그룹 작업 (예 : 종이, 발표, 포스터)의 결과 인 그룹 제품에 대해 단일 등급을받습니다 (Cheng & Warren 1999) .
In group work assessment, the group as a whole often receives a single grade for a group product, which is the out- come of the group work—for example, a paper, a presenta- tion, a poster (Cheng & Warren 1999).

그룹 프로세스가 면밀히 모니터링되지 않고 개별 학생의 기여가 확인되지 않은 경우 (Watson et al., 1993), 개별 학생의 그룹 점수의 유효성에 대한 문제가 제기 될 수 있습니다. 무임승차자는 그룹 활동에 노력을 기울이지 않지만 다른 사람들의 과업에서 과도하게 이익을 얻기를 희망하는 학생으로 정의됩니다. 질문은 다음과 같습니다 : 우리는 그룹 작업에서 개별 구성 요소를 확인하고 이를 평가 기준에 포함시킬 수 있습니까? 그룹과제을 평가 할 때 accountability에 대한 걱정이 생기는 이유는 주로 개인 기여가 평가되는 방법이 불분명하기 때문이다
When group processes are not closely monitored and contributions of individual students not identified (Watson et al. 1993), the validity of group scores for individual students may be challenged. Free riders are defined as students who do not put effort into group work but hope to benefit excessively from the work of others. The question is as follows: can we identify the individual component in group work and include this in the assessment criteria? Worries about accountability arise when dealing with group assignments, mainly because it is often unclear how individual contributions are assessed.

Methods

주요 포함기준

Main inclusion criterion:

Assessment of the individual component of group work is described

추가 포함기준

Additional inclusion criteria:

The type of group work is described in sufficient detail
Grading/judgment procedures/criteria are described in sufficient detail
Publication in English

Results

Thirteen articles met our inclusion criteria. During an additional citation search, we identified one (Spatar et al. 2015) that cited several of the articles selected and fitted all our inclusion-criteria. We included this paper and ended with a total of 14 articles.

The results from the literature review and the question- naire are presented regarding tools, criteria, and procedures, respectively. Characteristics of the 14 selected studies are described and summarized in Table 1.

평가도구 Tools

동료평과와 자기평가를 대부분 같이 사용

In most studies, the individual component was assessed using peer and/or self-assessment: 12 studies used peer assess- ment, seven of which in combination with self-assessment.

교사가 관찰하지 못하는 부분을 평가하기 위해서 뿐만 아니라, 동료를 평가하면서 배울 수 있게 하려는 교육적 이유도 있다.

Evaluation by peers was not only utilized to assess aspects that cannot be observed directly by teachers (not-ably collaboration in the group) but also for educational reasons, as students learn through the evaluation of the assignments of peers.

평가준거 Criteria

process 또는 product가 별도의 기준으로 사용되곤 하지만, 더 흔한 경우는 ‘‘contribu-tion to the group work.’’ 라는 식으로 명명되는 것이었다. 그러나 이 'contribution'이 무엇인지는 잘 정의되지 않았다.

In our review, we found that in peer assessment, process or product were seldom used as separate criteria to evaluate individual students but more often framed as the ‘‘contribu-tion to the group work.’’

This concept of contribution was poorly defined in eight of the 14 studies.
The other six used well-described criteria or rubrics regarding the group pro-cess.
The study by Lejk and Wyvill describes a set of six cri-teria plus keyword indicators (Lejk & Wyvill 2001, 2002)
that is also used by Sharp (2006), such as motivation, adaptabil-ity, creativity, communication skills, general team skills, and technical skills.
Strom et al. describe a set of 25 criteria on collaboration skills (Strom et al. 1999).
In the remaining 10 studies, students were asked to judge the contributions in a more holistic manner.

holistic judgment 가 준비과정에서 이뤄지기도 한다. 학생에게 출석/노력/책임감 등을 성찰하게끔 시키기도 한다.

This holistic judgment was sometimes preceded by some preparation by the students.

Students were, for example, instructed to reflect on a set of behavior-related questions, for example, concerning peer attendance,effort, responsibility (Dingel & Wei 2014).
Another way of assessing individual contributions is described by Tucker who used a validated instrument using specific and well-described aspects of group work combined with a more holistic approach (Tucker 2013).

다양한 사례들

In only one study, specific teamwork skills were described and used for individual assessment (Strom et al.1999).
In the wiki study by Caple and Bogle (2013), specific aspects of the process were assessed using the Wikispace platform: a History tab revealed the evolution of the page over the duration of the project (and the student respon-sible for each edit); and the Wiki Statistics function collated every contribution/edit made by an individual member(Caple & Bogle 2013).
In the study by Kuisma (2007), a port-folio was used for individual grading, and hence, in this case, only reflection on own learning and no peer assess-ment was used.
The content of the portfolios was graded using the SOLO taxonomy (Biggs & Collis 1982).
Finally, in one study, explicit criteria for evaluating the end product, a presentation, were mentioned. These, as well as a weighting scheme were negotiated with the class (Knight 2004).

그룹 과제에 추가로 개인별 과제를 주고, 이를 기반으로 평가하기도 한다. 예를 들면 결과물 발표의 일부를 담당하게 하여, 개개인이 발표와 관련하여 질의응답 하도록 함.

Other ways to identify an individual component mentioned were based on assessing an additional individual task related to the group assignment. For example, being responsible for a part of the presentation of results of the group work, or individually answering questions regarding the presentation.

Box 1. Recommendations for group work assessment*

1. GW에 적합한 과제 Develop tasks that are suited for group work

collaboration is beneficial for the result (big enough tasks e.g.)
related to a collaborative process in professional practice (realistic/ authentic)

2. 그룹 구성에 관심갖기 Pay attention to group composition

limited group size may diminish the risk of free riding

3. 학습목표와 평가기준에 '협력'을 넣기 Incorporate collaboration in the learning objectives and assessment criteria

4. 능숙한 교사가 '그룹 프로세스'에 관심을 갖고 가이드하기(결과에만 집중하지 않기) Provide attention and guidance to the group process by skilled and experienced teachers (do not focus merely on the resulting product)

5. 그룹 프로세스를 '정기적'으로 평가하기 Evaluate the group process periodically, not only after finishing the task

give opportunity to use feedback to improve group process and product

6. GW의 평가에서 개인별 요소를 구분하게 하여, 개개인의 퍼포먼스를 인정해주고, 무임승차를 억제하기 Distinguish an individual component in the assessment of group work in order to acknowledge individual performance, as well as to discour- age free-riding

7. 학생을 피드백과 평가에 참여시키기 Involve students in feedback and assessment

provide clear guidelines and criteria (rubrics) at the start of the group work
apply self- and peer feedback/peer assessment

평가절차 Procedures

개인별 점수: 단순한 것부터 복잡한 것까지

The individual grade was most often based on an algorithm taking peer and/or self-assessment into account.

These procedures varied in complexity ranging from a holistic view (Lejk & Wyvill 2001, 2002) to a com- plex procedure—which

normalized raw peer ratings,
calcu- lated individual weighting factors,
partially corrected for inter-rater agreement and
constrained above-average con- tributions (Spatar et al. 2015).

대체로 Summative 한 특성이 있지만, 일부에서는 narrative feedback을 제공하게 하였고 이는 학생에게 유용하다.

Respondents to the survey reported a summative nature of group work assessment as the main purpose in all but one institution. of were Summative assessments group assignments reported to provide students with a qualification and also some kind of narrative feed-back (written or oral, provided standard or on request). Such narrative feedback may provide students with useful input for future learning.

GW평가에서 무임승차자가 잠재적 문제였지만, 대부분은 이것을 크리티컬 하다고 보진 않았음.

Free riding is recognized as a potential problem in group work assessment by all of the seven medical schools that use the group work for summative assignments, but most do not regard it as a critical issue.

추가적 관찰결과

Additional findings from the questionnaire

GW는 교육적으로 협력을 배울 수 있는 수단으로 여겨지지만, 현실적인 이유도 있었다. MCQ나 다른 평가들은 더 노동집약적이다. GW평가에서는 supervision이나 correcting에 더 적은 교수만이 필요하다.

Although group work is seen as a means for learning to collaborate and thus is applied for educational reasons, it should be noted that respondents also explicitly mentioned practical reasons for applying group work. Compared to multiple-choice examinations, other forms of assessment, such as essays or papers, are more labor-intensive in terms of staff time needed for correcting. By using group assign- ments, fewer staff are needed for supervision and correcting compared to individual assessments.

고찰

Discussion

평가도구 Tools

조사 결과에 따르면 개인 기여에 대한 동료 평가는 네덜란드의 의과 대학의 정규 관행이다.

peer assessment of individual contributions. is in agreement with regular practice in medical schools in the Netherlands according to the findings based on the questionnaire.

우리의 검토에서 연구의 절반에서 자가 평가가 사용되었지만 Lejk and Wyvill (2002)과 Spatar et al. (2015)는 GW의 총괄평가에서 개개인의 (기여)요소를 식별하기 위해 자체 평가를 사용하지 말라는 권고한 바 있다. 자기 평가는 다양성을 감소시키고 (Lejk & Wyvill 2002), 무임승차자를 굳이 식별 할 필요가 없으며, 학생들은 종종 자신을 평가할 수없는 것처럼 보인다. 그러나 형성평가 목적이나 학습 기회를 위해서는 자체 평가가 여전히 중요 할 수 있습니다.

Although self-assessment is used in half of the studies in our review, we agree with Lejk and Wyvill (2002) and Spatar et al. (2015) who advise not to use self-assessment for identifying the individual component of group work in summative assessments.

Self-assessment reduces the vari- ability (Lejk & Wyvill 2002),
it is not necessary to identify free riders, and
students often appear unable to assess themselves (Spatar et al. (2015) for an elaborate discus- sion on this issue).

Yet, for formative assessment and very learning opportunities, self-assessment can still be valuable.

평가준거 Criteria

개별 기여도 평가는...

The assessment of individual contribution may be derived from

산출물에 대한 개별 노력 the perceived effort individual students put in the group product and/or from
프로세스에 참여 the perceived participa- tion in the group process (e.g. attendance, active participa- tion, creativity).

Process와 Product의 구분에 관한 끊임없는 논쟁이 있다. 동료평가로는 process와 product를 구분할 수 없습니다. 결국 '기여도'라는 모호한 용어를 쓰게 된다. 동료 평가의 기준이 명확하지 않고 잘 정의되지 않은 경우 개인 기여도 평가는 인식된 노력perceived effort의 평가일 뿐입니다. 따라서 우리는 Process와 Product에 대한 학습 목표를 먼저 정의하고 이에 대한 명확한 기준을 수립하는 것이 중요하다는 점을 강조합니다 (Box Recommendation 7 참조).

A recurrent discussion in practice is the distinction between assessing the process or the product of the group work. With peer assessment, it is difficult to dif- ferentiate between process and product. This results in col- lating both with the vague term ‘‘contribution.’’ If the criteria for peer assessment are not clear and well defined, the assessment of individual contribution becomes only an assessment of perceived effort. Therefore, we stress the importance of first defining the learning goals on process and/or product and formulating clear criteria accordingly (see the Box recommendation 7).

평가절차 Procedures

거의 모든 연구에서 교사평가와 동료평가의 조합으로 개인 성적을 부여하였다. 동료 평가의 신뢰성에 대해 종종 의문이 제기된다 (Dancer & Dancer 1992, Stefani 1992, Pond et al 1995, Orsmond et al 1996, Falchikov & Goldfinch 2000). 또한 많은 연구자들이 최종 성적에 동료평가를 넣는 것에 대해 우려를 표한다.

In almost all studies, a combination of tutor and peer assessment was used to give an individual grade. The reli- ability of peer assessment is often questioned (Dancer & Dancer 1992; Stefani 1992; Pond et al. 1995; Orsmond et al. 1996; Falchikov & Goldfinch 2000) and various authors warn to be cautious in weighing peer assessment of contribution into the final grade.

이 두 가지를 비교하는 결정은 학습 목표에 기초해야합니다. 가장 중요한 학습 목표가 product에 의해서 다뤄진다면, 더 많은 가치가 추가되어야하지만, 팀 기술 또는 일하는 기술이 가장 중요하다면 동료 평가에 더 많은 무게를 줘야합니다. 이러한 결정은 언제나 일종의 타협이다.

최종 product에만 초점을 맞추는 것은 개개인의 기여를 고려하면 정의롭지 않다. 최종 product을 고려하지 않고 진공 상태에서 공동 작업 기술을 평가하는 것은 인위적입니다.
반면에, 팀의 공통 목표(product)가 채점 절차에서 중요하지 않게되면 팀의 기능에 영향을 미쳐 결과적으로 validity에도 영향을 준다.

The decision about weighing these two should be founded on the learn-ing objectives (the the Box recommendation 3). If the final product covers most important learning objectives,more value should be added to it, but if team skills or col-laboration skills are most important more weight should be given to peer assessment. Weighing different factors in the decision is always a compromise. Focusing purely on the end product will not do justice to individual contributions.Assessing collaboration skills in a vacuum without taking the final product into account is artificial. On the other hand, if the shared goal of the team (the final product)becomes unimportant in the grading procedure, it will influ-ence the functioning of the team and consequently the val-idity of the assessment of collaboration skills.

GW평가에서 그룹 크기를 고려해야 한다.

It is important to take the group size into account for group work assessment

보통 그룹 사이즈는 7명 이내로 작았고, 4~6명이 적절하다고 Storm은 말한다. 그룹 크기가 커짐에 따라 그룹의 점수에 개인 성과에 대한 정보가 적어 지므로, 개인 성과를 식별하는 것이 점차 중요해지게 된다. 따라서 팀이 클수록 individual component가 더 가중치를 받아야합니다.

The group sizes in the studies included in the review were small (maximum 7 students). According to Strom et al.(1999), four to six students per group is ideal. With increas-ing group size, a group mark becomes less informative of individual performance, so identifying individual perform-ance becomes increasingly important. Hence, the bigger the teams, the more weight the individual component should receive.

팀이 유지되는 기간도 중요하다. 오랜 기간 지속되는 경우는 짧게 끝나는 경우와 다르다. GW동안의 개별기여에 대한 평가가 학생에게 중요한 피드백을 주기 때문에, 장기간 유지되는 팀에서는 다수의 저부담 형성평가가 좋다.

Related to this is the duration of team composi- tions. A continuous group process over a longer period of time differs from a single end-of-course activity. Since evalu- ation of individual contributions during group work pro- vides students with valuable feedback, multiple formative low-stakes assessment moments over a longer period of time are preferred

학생들이 피드백을 받고 성찰해볼 수 있을 것

This enables students to reflect upon the feedback received and improve their teamwork activities.

익명으로 진행될 수 있는데, 비밀이 보장될 때 솔직한 답변이 나온다. 익명일 때 spread of score가 더 높았다.

Finally, peer assessment can be done in the open or anonymously. When given in secret, more honest com- ments can be expected. Lejk and Wyvill (2001) found that the spread of scores is higher in anonymous peer assessment.

추가 이슈 Additional issues

(1)학생의 행동(태도), (2)그룹 구성

During our screening and analysis of the literature, two add- itional issues in defining group work assessment emerged: (1) student behavior (or attitude) and (2) group compos- ition.

여러 연구에 따르면 일반적으로 학생들의 인식은 그룹에 긍정적인 방향으로 나타납니다 (예 : 기사 2004). 그러나 우리를 놀라게 한 점은 성적 시스템의 특성을 학생 행동에 연계시키는 연구가 없었기 때문입니다. Jin (2012)은 단지 공평성이 등급 시스템의 복잡성과 관련이 없다는 것을 발견했습니다. 학생들은 무임 승차 행동을 고려한 성적 시스템이 선호하지 않는 시스템보다 선호 함을 나타냅니다 (Maiden & Perry 2011). 다른 연구들은 또한 직원들과 학생들이 무임 승차 문제를 수입 주제로 간주하고 있음을 보여 주었다 (Maiden & Perry 2011; Spatar 외 2015). 그러나 무임승차자를 식별하는 것이 채점 시스템의 주요 목표가되어서는 안됩니다. 협동 기술에 대한 피드백을 제공하고 학생들의 강점과 약점을 파악하는 것이 더 중요합니다.

Multiple studies found that students’ perceptions work positive towards group are generally (e.g. Knight 2004). However, what struck us was that no study linked the characteristics of the grading system to student behav- ior. Only Jin (2012) found that perceived fairness was not related to the complexity of the grading system. Students do indicate that grading systems that take free-riding behavior into account are preferred over systems that do not (Maiden & Perry 2011). Other studies also indicate that staff and students regard the free-riding issue as an import- ant topic (Maiden & Perry 2011; Spatar et al. 2015). However, identifying free riders should not be the main goal of a grading system. Providing feedback on collabor- ation skills and identifying students’ strengths and weak- nesses should be more valuable.

두 번째 쟁점은 집단 구성 (Takeda & Homberg 2014, Dingel & Wei 2014, Spatar 외 2015)에 기인 한 편향에 관한 것이다. 우리는 그룹의 구성이 그룹의 기능에 영향을 줄 수 있음을 인정합니다. 피어 마킹에서 성별 편견에 대한 주장을지지하는 증거는 거의 없다 (Tucker, 2013). 그러나 평가 이전에 그룹 구성은 그룹 작업 중 공동 작업에 영향을 미칠 수있다. 예를 들어 여성의 팀 스킬이 더 높을 수 있고 (Strom et al. 1999), 성 균형 그룹이 불균형보다 공평한 기여를 하게된다는 증거가있다 그룹 (Takeda & Homberg 2014). 그러나 그룹 작업 평가를위한 그룹 구성의 실질적인 관련성은 코스의 그룹 구성이 종종 영향을 미치기 어렵 기 때문에 덜 명확합니다.

The second issue concerns biases due to group compos- ition (Takeda & Homberg 2014; Dingel & Wei 2014; Spatar et al. 2015). We acknowledge that the composition of the group is likely to influence how the group functions. There is little evidence to support an argument for gender bias in peer marking (Tucker 2013). However, prior to assessment, group composition may influence collaboration during group work—for example, women may have higher team- work skills (Strom et al. 1999) and there is evidence that gender balanced groups result in more equitable contribu- tions than imbalanced groups (Takeda & Homberg 2014). Still, the practical relevance of group composition for group work assessment is less obvious as the composition of groups in a course is often difficult to influence.

한계 Limitations

고찰

Conclusion

목표가 협업을 평가하는 것이라면 타당도는 단순히 product 이상이 되어야 하며, 그룹 전체 및 개인에 관한 process를 포함해야한다고 생각합니다.
if the goal is to assess collaboration, we believe the validity argument should also be based on more than a group product and should include the process, both regarding the group as a whole and its individuals.

문제는 여전히 남아 있습니다 : 그룹 작업 평가를위한 채점 시스템이 어떻게 설정되어야합니까? 다음을 고려하자

The question remains: how should a grading system for group work assessment be set up? In the Box, recommen- dations are provided, collected from the health faculties in the Netherlands. From the studies and the questionnaire, we conclude that the following steps should be considered when constructing and implementing group work assessment.

1. 주요 학습 목표는 무엇입니까? product and process 의 상대적 중요성에 대한 결정이 내려져야한다.
1. What are the main learning goals? A decision should be made about the relative importance of product and process.

2. 가중치 체계와 공식이 목적에 부합합니까? 동료 평가에 대한 기준이 잘 정의되어 있습니까? 동료 평가를 시작하기 전에 교사와 학생들 간의 동료 평가를 위한 그룹 작업 및 기준에 대한 공헌의 성격을 논의하는 것이 좋습니다.
2. Does the weighting scheme and formula fit the pur- pose? Are the criteria for peer assessment well defined? It is worth considering discussing the nature of the contributions to group work and criteria for peer assessment between tutors and students before start- ing the peer assessment.

3. 최종 product(과제)는 GW에 적합한가? (Box Recommendation 1 참조)
3. Is the end product (task) suitable for group work? (see Box recommendation 1)

4. 그룹 구성이 평가 결과에 bias을 의심 할만한 이유를 제시합니까? 만약 그렇다면 이를 방지하기 위해 어떤 안전 조치가 취해 있습니까?

4. Does the group composition give reason to suspect bias in assessment results? If yes: What safety measures are in place to counteract this?

5. 팀 스킬이 그룹에서 항상 분명하지는 않습니다. 이러한 기술을 개발할 수있는 지침과 기회를 제공하십시오. Box Recommendation 4. 마지막에뿐만 아니라 주기적으로 피드백을 제공하십시오.

5. Team skills are not always evident in groups. Provide guidance and opportunities to develop these skills— Box recommendation 4. Provide feedback periodically, not only at the end.

2016 Jul;38(7):675-82. doi: 10.3109/0142159X.2016.1170796. Epub 2016 Apr 25.

Assessing the "I" in group work assessment: State of the art and recommendations for practice.

Dijkstra J1,2, Latijnhouwers M3,2, Norbart A4,2, Tio RA5,2.

Author information

1a Maastricht University, Maastricht University Office , Maastricht , the Netherlands ;
2e Special Interest Group on Assessment of the Netherlands Association for Medical Education (NVMO).
3b Radboud University Medical Center Nijmegen, Radboudumc Health Academy , Nijmegen , the Netherlands ;
4c Leiden University Medical Center , Leiden , the Netherlands ;
5d Department of Cardiology and Center for Educational Development and Research in Health Professions , University Medical Center Groningen , Groningen , the Netherlands.

Abstract

INTRODUCTION:

The use of group work assessment in medical education is becoming increasingly important to assess the competency of collaborator. However, debate continues on whether this does justice to individual development and assessment. This paper focuses on assessing the individual component within group work.

METHOD:

An integrative literature review was conducted and complemented with a survey among representatives of all medical schools in the Netherlands to investigate current practices.

RESULTS:

The 14 studies included in our review show that an individual component is mainly assessed by peer assessment of individual contributions. Process and product of group work were seldom used separately as criteria. The individual grade is most often based on a group grade and an algorithm to incorporate peer grades. The survey provides an overview of best practices and recommendations for implementing group work assessment.

DISCUSSION:

The main pitfall when using peer assessment for group work assessment lies in differentiating between the group workprocess and the resulting product of the group work. Hence, clear criteria are needed to avoid measuring only effort. Decisions about how to weigh assessment of the product and peer assessment of individual contribution should be carefully made and based on predetermined learning goals.

PMID:: 27111741
DOI:: 10.3109/0142159X.2016.1170796

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 평가법 (Portfolio 등)' 카테고리의 다른 글

형성평가에 집중하기: 학생의 성장과 발달을 목적으로 하는 평가시스템 (Acad Med, 2016) (0)	2017.04.19
오픈북 시험과 클로즈드북 시험 비교(Systematic Review) (Acad Med, 2016) [출력완료] (0)	2016.11.18
결과타당도근거(Consequences Validity Evidence): 교육평가의 임팩트 (Acad Med, 2016) (0)	2016.11.16
Blurprinting을 위한 12가지 팁(Med Teach, 2009) (0)	2016.11.14
차이에 관하여: 왜 전문가-초심자 비교가 타당도주장에 기여하는 바가 별로 없는가(Adv in Health Sci Educ, 2015) (0)	2016.11.07

Competencies, Milestones, EPAs - 과거를 잊은 자는 반복하게 될 것이다 (Med Teach, 2016)

Meded. 2016. 11. 17. 12:02

2016. 11. 17. 12:02

Competencies, Milestones, EPAs - 과거를 잊은 자는 반복하게 될 것이다 (Med Teach, 2016)

Competencies, milestones, and EPAs – Are those who ignore the past condemned to repeat it?

DEBRA L. KLAMEN, REED G. WILLIAMS, NICOLE ROBERTS & ANNA T. CIANCIOLO

Southern Illinois University School of Medicine, USA

Introduction

competencies, milestones, CoreEPA라는 용어가 많이 쓰인다. 그러나 CBME는 새로운 것이 아니다.

The terms competencies, milestones, and core entrustable professional activities (COREEPAs) are currently on the lips and minds of many medical educators around the world (Nasca et al. 2012). However, the idea of competency-based medical education is not new.

In 1976, SIUSOM published Curricular Objectives 1976, a book containing 801 pages of the complete set of goals and objectives for the medical degree, the first medical school to do so (Southern Illinois University School of Medicine 1976).
Several years later, Silber et al. (1978) provided a description of the system along with available outcome data.
In 1999, the United States, through the Accreditation Council for Graduate Medical Education (ACGME), developed six broad core competencies (Patient Care, Medical Knowledge, Practice-Based Learning and Improvement, Interpersonal and Communication Skills, Professionalism, and Systems-Based Practice) (ACGME 1999).
Ten years later, as part of the Next Accreditation System(NAS), the ACGME began restructuring its accreditation system to base it on educational outcomes in these competencies (Nasca et al. 2012).
Olle ten Cate’s work (ten Cate & Scheele 2007) contributed the idea of bridging the gap between the theory of competency-based education and clinical practice using the notion of entrustable professional activities(EPA). The push toward outcomes-based medical education (OBME) has been extre- mely active ever since.

NAS는 6개의 core competencies를 sub-competencies로 나누었는데, 이는 발달과정의 'progressive, significant points'이며, milestone이라고 불렀다. Milestone는 레지던트 과정을 지속적으로 모니터링하고보다 명확하고 투명한 기대를 제공하는 프로그램을 돕기 위해 개발되었습니다 (ACGME 2015). 각 전공과목에서 추상적인 것을 구체화하기 위한 작업이 이뤄지고 있다.

The NAS breaks down the six core competencies into sub- competencies, each of which features progressive, significant points of development, called milestones. Milestones were developed to help programs continuously monitor resident progress, as well as to provide more explicit and transparent expectations to them (ACGME 2015). Sub-competencies and milestones are currently being taken from the abstract to concrete specifics by specialty groups in the United States

예를들면 Pediatrics Milestones Report Worksheet 에는...

For example, the Pediatrics Milestones Report Worksheet includes such sub-competencies as:

PC1 – Gather essential and accurate information about the patient;
SBP3 – Work in inter-professional teams to enhance patient safety and improve patient care quality; and
ICS2 – Demonstrate the insight and understanding into emotion and human response to emotion that allows one to appropriately develop and manage human interactions (ACGME Pediatrics Milestone 2015).

각각의 sub-competency 는 1~5점으로 평가된다.

Each sub-competency is rated on a scale of 1–5, with a score of

1 denoting a learner who needs comprehensive supervision for a task, and
5 denoting a learner possessing the ability to performthe task unsupervised.

AAMC는 레지던트 과정에 들어오는 의사를 위한 13개의 CoreEPA를 정의하였다(레지던트 첫날 supervision없이 수행할 수 있어야 하는 것의 목록). 139개의 ‘‘expected behaviors for an entrustable learner.’’ 가 있다.(AAMC 2014)

The AAMC defined 13 COREEPAs for entering residency that residents should be able to perform without supervision on the first day of training. The AAMC has since published two documents, a 114-page curriculum development guide and a 69-page faculty and learners’ guide. These guides outline 139 discrete ‘‘expected behaviors for an entrustable learner.’’ (AAMC 2014). Ten schools are currently involved in a five- year pilot to test their implementation.

이러한 아이디어는 이론적으로는 훌륭하게 들립니다. 졸업생 및 졸업생의 역량을 보장하기 위해 표준화 된 성과 중심 평가를 주장하지 않는 사람은 누구입니까? 그러나 일부는이 새로운 시스템에 대한 우려를 나타 냈는데, 대부분 이론적 인 관점에서였다 (Grant 1999; Huddle & Wear al. Heudebert 2007; Brooks 2009; Regehr et 2011). 예를 들어

Huddle & Heudebert는 "능력 평가에서 객관성과 측정에 대한 ACGME의 요구는 절대적으로 단편적인 방식으로 성과 조각을 평가하게됩니다. 이것들이 다 합해져서 우리가 실제로 관심을 갖고있는 능력을 이룬다고 볼 수 없다"라고 언급했다.
Regehr et al. "가장 큰 차원에서, 지역 사회는 '역량들의 목록이 올바르다고'the right'해서, 이것이 의사가 되는 것의 충분한 조작적 정의가 될 것이라고 생각하지 말아야 한다.'

현재까지 이러한 우려가 잘못되었다는 증거는 없다.

These ideas sound great on paper. Who wouldn’t argue for a standardized set of performance-based assessments to assure competency in graduating students and residents? However, some have expressed concern about this new system, mostly from theoretical perspectives (Grant 1999; Huddle & Wear al. Heudebert 2007; Brooks 2009; 2009; Regehr et 2011). For example,

Huddle & Heudebert argue that ‘‘the ACGME’s demand for objectivity and measurement in assess- ment of competence ineluctably leads to the assessment of pieces of performance in the fragmentary fashion that ...can’t be presumed to add up to the kind of competence we actually are interested in.’’
Regehr et al. note that, ‘‘At the largest level, the community would do well to be cautious in assuming that ‘the right’ list of separate competencies will be a sufficient operational definition of what it is to be a physician.’’ To date, there is no evidence to indicate that these concerns are wrong.

이러한 우려가 CBME의 결정적 약점을 나타 내기 때문에 심각하게 받아 들여져야 한다는 점을 강력히 시사하는 증거가있다. 우리는 과거를 잊어 버린 (또는 의학 교육 영역 밖에서 그것을 인식하지 못하는) 사람들이 그것을 반복 할 운명에 처해 있다고 믿기 때문에이 증거를 제시합니다.

There is evidence to strongly suggest that these concerns be taken seriously because they represent critical weaknesses in the compe- tency-based approach. We present this evidence, as we believe that those who forget the past (or who are not aware of it outside the sphere of medical education), are doomed to repeat it.

미국의 초중등 교육

Elementary and secondary education (K-12 in the United States)

의학교육에서의 오늘날과 같은 접근은 mastery learning, competency-based, and outcomes- based education 에 근원을 두며, 미국(그리고 남아공, 호주) 초중등 교육에서 오랜 역사를 보여준다. 한 가지 혁신은 OBE였는데, 이것은 교육시스템의 각 파트를 목표를 중심으로 base하려는 이론이며, 60년대 초반에 소련의 스푸트니크호 발사에 대응하여 등장하였다. 교육의 이론적 측면에서 두 가지 변화가 있었다.

The current approach to medical education has roots in mastery learning, competency-based, and outcomes- based education and a long history of practice in elementary and secondary education in the United States, as well as in South Africa and Australia. One such innovation, outcomes-based education (OBE), an educational theory that bases each part of an educational system around goals, came about in the early 60s in response to the Sputnik launch by the Soviet Union (Alderson 2007). Two shifts in the theoretical side of education came of this. Hodge refers to the significance of

(1) 행동주의
behav- iorism, which led to the identification of clearly defined learning, which behavioral objectives, and
(2) 숙달
mastery emphasized the need and capacity for learners to master a subject, given enough time, support, and opportunity (Hodge 2007).

OBE의 두 번째 교육 개혁은 1980 년대 말에 전국 우수 교육위원회 (Commission on Excellence on Education 1983)가 "미국의 교육 표준이 침식되고 K-12 교육의 학생들이 충분히 배우지 못했다는 사실"을 지적한 이후에 발생했습니다. 1989 년에 부시 대통령은 2000 년까지 달성 할 국가 목표를 법률로 제정했다 (Manno 1994). 이것은 2001 년 아동 낙오 방지법 (No Child Left Behind Act)으로 바뀌 었습니다.이 법안은 학교에서 학생이 연방 교육 기금을 수령하는 학교의 조건으로 특정 수준까지 도달하도록 의무화 한 것입니다 (Bill Summary & Status 107th Congress 2002).

A second wave of educational reform in OBE occurred in the late 1980s after a National Commission on Excellence in Education 1983 report noted that American educational standards were eroding and that students in K-12 education were not learning enough. In 1989 a set of national goals to be achieved by the year 2000 was signed into law by President Bush (Manno 1994). This was replaced by the much-criticized 2001 No Child Left Behind Act, which mandated students in school perform to certain levels as a condition of schools to receive federal education funds (Bill Summary & Status 107th Congress 2002).

숙달 학습, 역량 기반 교육 및 산출 기반 교육은 모두 다음과 같은 가정에 적용됩니다.

(1) 학습할 내용은 사전에 식별되고 충분히 설명 될 수 있습니다.
(2) 교육은 학생 결과outcome를 산출하기 위해 조직되어야하며, 교육 과정은 학생들이 그 결과를 산출하도록 안내해야한다.
(3) 결과를 달성하기 위해 학생이 필요로하는 시간은 학생마다 다를 수 있으며 이러한 변동성은 학습 환경 (Austin 1995)에 의해 수용되어야합니다.
(4) 그리고 최종적으로 결과를 달성 할 수 있도록 의도 된 결과를 신중히 기술함으로써 (교육 요약서 & 제 107 차 총회, 2002), 또는 이정표 (Kearney 1994)를 통해 교육자는 학생의 성공과 책임있는 교육 시스템을 확보 할 수 있습니다.

Mastery learning, competency-based education and out- comes-based education all hold to assumptions that:

(1) what is learned can be identified in advance and sufficiently described.
(2) Education should be organized to produce student outcomes and the processes of education should be deliberately developed to guide students to produce those outcomes.
(3) The amount of time a student needs to achieve the outcomes may vary per student and this variability must be accommodated by the learning environment (Austin 1995).
(4) And finally, through careful delineation of intended outcomes along with enabling outcomes (Bill Summary & Status 107th Congress, 2002), or milestones (Kearney 1994), educators can ensure student success and a more accountable educational system.

불행히도 성과 기반 교육 (OBE)은 국제적인 실패의 역사를 가지고 있습니다 (Spady 1997, Donnelly 2007, Rice 2015).
Unfortunately, outcomes based education (OBE) has an international history of failure (Spady 1997; Donnelly 2007; Rice 2015).

관찰 가능한 행동Observable behavior은 교육자가 학습자가 배웠는지 여부를 알 수있는 유일한 방법이라고 주장 할 수 있지만, 관찰 가능한 행동은 학습자가 배운 모든 것을 설명 할 수 없습니다. 학습의 일부 측면은 상당히 개별적이며 특이성idiosyncratic이있을 수 있으며 이는 부정적이지 않습니다. 예를 들어 학교 어린이 전체를 박물관으로 데려가도 똑같은 것을 배울 것이라고 보장 할 수는 없지만 각자가 뭔가를 배울 것임은 거의 확실하게 보장합니다.
While it can be argued that observable behaviors are the only way educators can know whether or not their learners have learned, observable behavior can never account for all that a learner has learned. Some aspects of learning can be quite individual and idiosyncratic, and this is not a negative. For example, taking an entire class of school children to the museum does not guarantee that any will learn the same thing, but does almost certainly guarantee that each will learn something.

학습은 선형적이거나 진보적이이거나 비 반복적이지 않으며 학습의 전체 범위를 설명하거나 설명 할 수 없으며 '관찰 된 학습 된 행동'이 학습자의 실제 지식 상태를 나타낸다는 보장은 없다 (Rice 2015). 따라서 accountability의 intended level을 성취하기가 어렵습니다. 다시 말하면, 초등학교 환경에서의 이러한 논쟁은 의학 교육 문헌에서 이전에 인용 된 이론적 기사들과 매우 유사하다 (Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr et al. 2011; Brightwell & Grant 2013).
Learning is NOT linear, progressive and non-recursive, and the full range of learning cannot be described or accounted for, nor can the observed learned behavior be guaranteed to represent the learner’s actual state of knowledge (Rice 2015). Thus the intended level of accountability is difficult to achieve. Again, these arguments in an elementary school setting are quite similar to those theoretical articles previously cited in medical education literature (Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr et al. 2011; Brightwell & Grant 2013).

K-12 환경에서의 운영상의 어려움은 교육적 접근의 바탕이 되는 가정에 따라 행동해야 했기에 나타난 결과였다. 예를 들어, 모든 학생들은 적절한 시간과 자원을 제공함으로써 명시된 결과를 얻을 수 있으므로 학생의 책임은 학교와 교사에게 옮겨갔고, 그 결과 학습자의 개성과 책임감의 역할이 부정되었다. 이러한 교육 원칙에 깔린 이념을 반박하는 것은 불가능합니다. 그러나 여러 연구자가 관찰한 prior capacity를 감안하면, 이 철학을 기존의 교육(적 변후)에 수용하는 것은 비현실적이다.
Operational difficulties in the K-12 setting were a direct result of the practices needed to act on the assumptions underlying these approaches to education. For instance, it is a hallmark of these educational approaches that all students can achieve the stated outcomes given the proper time and resources, thus shifting the responsibility from the student to the school and teacher, therefore denying the role of learner individuality and accountability. The ideals behind this senti- ment are impossible to dispute. However, as observed in a prior capacity by an author (NKR) and described by Schwarz & Cavener (1994), accommodating this philosophy within existing educational parameters is impractical.

OBE 지지자들은 학생들이 다양한 방법으로 결과를 얻을 수 있다고 믿습니다. 교사와 부모에게는 발달 과정의 '체크포인트'가 중요하게됩니다 (Schwarz & Cavener 1994, Morcke et al. 2013). 교수진은 시간이 가변적이라는 가정 하에서 교사는 개별 학생을 조율하는데, 경우에 따라서는 수업 당 35 명씩 되는 것을 7반까지도 조율해야 하는 위치에 놓였습니다. 학생들은 시험을 치르기 전에 결과의 각 단계를 마스터해야하고 시간이 가변적이라는 것을 공지받으며, 모든 작업은 다시 할 수 있으며, 모든 테스트는 재시험이 있으며, 이것을 위해 사용하는 시간이 그들의 삶에서 가장 중요한 것이라고 안내받는다. 이로 인해 교사는 숙제를 채점하고 re-grade하거나 학기말에 한 학기의 과제에 직면하게되었습니다. 교육에 들어가는 시간을 빼더라도 이 모든 평가 작업을 수행하는 데 충분한 시간이 없었다. 결국 교사들은 이에 대처하기 위해 rubber-stamp mentality를 갖게 된다. 이것은 또한 교사가 성취 스펙트럼의 모든 끝에서 학생들과 함께 수업을 가르치면서 교실에서 혼란을 일으키는 것을 의미했습니다 (Schwarz & Cavener 1994).

Supporters of OBE believe that students can achieve outcomes in a variety of ways. For faculty charged with ensuring that the outcomes are met, and for parents ensuring their children are progressing, checkpoints along the way become important (Schwarz& Cavener 1994; Morcke et al. 2013). With the assumption that time is variable, faculty were put in the position of orchestrat- ing and facilitating individual students, as many as 35 per class, for as many as seven classes. Students told they must master each step of an outcome before being tested, knowing that time is variable, and that all work could be reworked and all tests retaken, procrastinated and used school time for the things of primary importance to their lives (i.e. socializing). This led to teachers either grading and re-grading assignments ad nauseam, or being confronted with a semester’s worth of work at the end of the semester. There were simply not enough hours in the day to do all this assessment work, which didn’t even begin to count the time spent teaching. To cope, a rubber-stamp mentality was adopted. This also meant that teachers were teaching classes with students on all ends of the accomplishment spectrum, creating chaos in the classroom (Schwarz & Cavener 1994).

OBE 프로그램은 결과를 결정하기 위해 묘사 된 프로세스를 따르려는 시도에 의해 더 방해 받았다. 이상적으로 모든 이해 관계자는 학생들이 교육받을 의미있는 결과를 파악하는 데 관여 할 것입니다 (Spady 1994). 그러나 현실적으로 모든 이해관계자들로부터 meaningful and appropriate outcome이 무엇인지에 대한 동의하는 것을 얻는 것은 엄청나게 어려웠습니다 (Schwarz & Cavener 1994).
The OBE program was further hampered by attempts to follow the process delineated for determining outcomes. Ideally, all stakeholders would be involved in identifying the meaningful outcomes toward which students were to be educated (Spady 1994). In practice, getting all of these stakeholders to agree on the meaningful and appropriate outcomes proved to be enormously difficult (Schwarz & Cavener 1994).

이상형의 구현은 극도로 문제가되어 궁극적으로 그것을 수정하거나 폐기하라는 여러 차례의 요구, 의학 교육 역량에 대한주의 사항, 이정표 및 COREEPA 의제로 귀결됩니다. 운영상의 어려움은 미국의 K-12 교육에서 일어난 것과 유사한 방식으로 의학 교육에서의 노력을 방해 할 것입니다. 이것의 한 예가 이미 있습니다. 앞서 언급 한 SIUSOM Curricular Objectives 1976 커리큘럼은 필요한 모든 평가 작업을 수행 할 수있는 충분한 시간이 없었기 때문에 결과적으로 프로그램이 자체 무게에 의해 무너지기 때문에 결국 포기되었습니다 (Dorsey 2015).
The implementation of the ideal proved to be extremely problematic, ultimately resulting in multiple calls to revise or remove it, a cautionary tale for the medical education competency, milestone and COREEPA agenda. Operational difficulties will hamper the effort in medical education in ways that are similar to those that occurred in K-12 education in the United States. One example of this already exists. The SIUSOM Curricular Objectives 1976 curriculum, previously mentioned, was eventually abandoned because there was not enough time to do all the assessment work needed and the program eventually collapsed under its own weight (Dorsey 2015.)

미군

Department of Defense (U.S. Army)

미 육군에서 개인 및 부대의 훈련 상태는 국방부 장관에게 '준비 상태보고'의 핵심 구성 요소이며, 부대 배치에 관해 대통령에게 자문하고 권고안에 대한 연방위원회에 책임이있다. 육군 2010).
In the U.S. Army, training status of individuals and units is a central component of ‘‘readiness reporting’’ to the Secretary of Defense, who advises the President on troop deployment and is accountable to con- gressional committees for his recommendations (US Department of the Army 2010).

교육 상태는 특정 기준에 따라 특정 조건에서의 업무 성과에 대한 go/no go등급으로 구성됩니다. 부록 1 (보충 자료 온라인)은 군대 소대 (대략 30 명의 병력)를위한 샘플 작업 / 조건 / 표준 설명을 보여줍니다. "공격 수행"작업은 ACGME 하위 역량 중 "침습적 행동 수행"의 핵심 역량에 해당하는 역량과 유사합니다. ACGME의 5단계 마일스톤과 달리 육군은 2 가지 ( go / no go)이지만, 점점 어려워지는 상황에서 'go'상태를 달성 할 수있는 사람 또는 유닛의 능력을 'graduated capability'에 반영한다. 부록 1에 나와있는 성과 측정은 본질적으로 업무 기준이 충족되었는지 여부를 평가하는 데 사용되는 절차 검사 목록입니다. 전체 업무 성과가 이 기준을 충족한다는 것을 문서화하기 위해 각 개별 지표에 대해 'go'상태를 달성해야합니다.
Training status consists of go/no go ratings of task performance under particular conditions, relative to specific standards. Appendix 1 (available as Supplementary Material Online) shows a sample task/conditions/standards statement for an Army platoon (approximately 30 troops). The task ‘‘Conduct an Attack’’ is analogous to an ACGME sub- competency, a capability falling under the core competency of ‘‘Conduct Offensive Operations.’’ Rather than five compe- tency milestones for each task, the Army has two (go/no go), but graduated capability is reflected in a person or unit’s ability to achieve ‘‘go’’ status under increasingly difficult conditions. Performance measures, also shown in Appendix 1, are essentially procedural checklists used to evaluate whether task standards have been met. ‘‘Go’’ status must be achieved on each individual measure to document that whole task performance meets these standards.

작업 / 조건 / 표준의 목적은 "할당 된 임무를 성공적으로 수행하기 위해 병사가 수행 할 수 있어야하는 작업"을 명시 적으로 정의하는 것입니다. 세부적인 성과 측정은 교육 준비 태세의 인증이 군대 차원에서 표준화되고 이러한 평가 기준이 단위 교육 일정의 설계 및 자원 확보를 안내하는 결과로 사용되도록하기위한 것입니다. 이 노력의 일반적인 목적은 군대 고용에 관한 증거 기반의 의사 결정을 가능하게하고 실제 필요에 보다 적합한 목표로 훈련을 수행하는 것입니다. 책임 성, 표준화, 구체적인 결과 및 증거에 중점을 둔 육군의 훈련 준비 태도는 의학의 역량 기반 평가와 유사하다 (Nasca et al., 2012; Brightwell & Grant 2013).

The purpose of tasks/conditions/standards is to provide an explicit definition of what soldiers and units should be able to do in order to successfully execute their assigned missions. Detailed performance measures are intended to ensure that certification of training readiness is standardized Army-wide, and these assessment criteria are used as outcomes to guide the design and resourcing of units’ training calendars. The general objective of this endeavor is to enable evidence-based decision making about troop employment and to conduct training that is better targeted to actual need. In its emphasis on accountability, standardization, specific outcomes, and evi- dence, the Army’s concept of training readiness is similar to that of medicine’s competency-based assessment (Nasca et al. 2012; Brightwell & Grant 2013).

육군에서의 훈련 준비 상태를 달성하는 것은

조직 차원의 우려 사항 (즉, 선교 능력있는 인력보고),
훈련 정책 (즉, 훈련 행위에 대한 교리 적 접근)과
훈련 구현 (예 : 실제적인 힘 개발 실습 제한된 시간과 자원으로 이루어져야 함).

의 복잡한 상호작용이다.

Achieving training readiness in the Army reflects a complex interplay between

organizational-level concerns (i.e. reporting a mission-capable force),
training policy (i.e. the doctrinal approach to training conduct), and
training implementation (i.e. actual force development practices, given the reality of limited time and resources) at all levels of the hierarchy.

군대에서 훈련 결과, 정책 및 프로세스를 align하는 것은 성과를 훈련하고 평가할 수 있는 시간과 자원에 비해 "압도적으로 많은 수의 작업과 훈련 규정"에 의해 어려움을 겪습니다 (Crowley 외. 2013). 예를 들어, 언제 어디서나 배포 가능한 개인과 단위가 실행할 준비가되어 있어야하는 업무 / 조건 / 표준을 명시하는 수천 페이지의 교리가 있습니다. 또 다른 수천 페이지가 자원 효율적인 교육 및 성과 평가 연습 방법 등을 지정합니다. 일반적으로, 실제 달력에 나와있는 것보다 더 많은 교육 시간이 필요하며, 대규모 훈련에서 모든 수행 기준을 평가하기 위해서는 상당한 자원이 필요합니다 (Crowley 외. 2013).

Aligning training outcomes, policy, and process in the Army is challenged by an overwhelmingly large number of tasks and training regulations relative to the time and resources available to train and assess performance (Crowley et al. 2013). For instance, there are thousands of pages of doctrine specifying the tasks/conditions/standards that ‘‘anytime, anywhere’’ deployable individuals and units must be prepared to execute. Thousands more pages specify how tasks should be nested in order to hold resource-efficient training and performance assessment exercises. There commonly is more required training time than exists in the calendar to conduct it, and large-scale training exercises require substantial resources to ensure that all performance criteria are assessed (Crowley et al. 2013).

이 접근법이 잘못 가정하는 것들..

근본적으로 잘못 가정하는 것은 "군인과 유닛 성과의 모든 주요 측면을 식별, 관찰 및 평가할 수 있다는 것"이다. "전체 미션성공의 는 그 부분들의 합이다."라고 보는 가정은 틀렸다.
두 번째 잘못된 가정은 모든 임무가 임무 성공에 똑같이 중요하며 모든 병사 / 부대는 언제든지 모든 임무를 수행 할 준비가되어 있어야한다는 것입니다.
세 번째 잘못된 가정은 지휘관/의 전문성이 훈련의 요구를 파악하거나, 그 요구를 달성하는데 가장 시간-효율적, 자원-효율적인 방법이 되게 훈련을 수정하는데 기여하지 못한다는 것이다.

We believe a faulty assumption underlying this approach is that all key aspects of soldier and unit performance can be identified, observed, and evaluated; the whole of mission success is the sum of its parts. A second faulty assumption is that all tasks are equally critical to mission success and that every soldier/unit must be ready to do all of them at any time. Yet a third faulty assumption is that the expertise of commanders and unit trainers does not add value to identify- ing their unit’s training needs and to devising the most time- and resource-efficient ways of meeting them

비슷한 가정이 CBME에서도 있었다.(Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr 외 2011; Brightwell & Grant 2013). 최근 육군 훈련을 분석한 결과, 우선순위 설정과 외부 타당도 근거에 의해서 더 유연한 훈련전략을 개발해야 하다는 점이 드러났으며, 이 때 시간과 자원의 제약이라는 현실적 한계를 고려해야 한다. (Crowley et al., 2013). 이것은 바로 의학 교육에서도 필요한 것이다.
Analogous assumptions underlying competency-based assessment in medicine have been raised as concerns by others as well (Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr et al. 2011; Brightwell & Grant 2013). Recent analysis of Army training has indicated the need to develop a more flexible training strategy, enabled by prioritization and external validity evidence, which takes the realities of time and resource limitations into account (Crowley et al. 2013). This is what needs to occur in medical education too.

의학교육에서 관측-기반 평가의 현재

What is the state of observation based assessment in medical education?

의료 교육에서 우리는 현재 레지던트와 학생의 점검해야 한다. 기존의 사전 실행 / 마일스톤 / COREEPA 시스템에서 workplace 평가에 대한 제약이 이미 있기 때문입니다. 이러한 제약은 OBME가 교수진의 관찰과 판단에 크게 의존하기 때문에 더욱 문제가 될 것이다 (Holmboe & Batalden 2015). 고려해야 할 두 가지 주요 제약 조건은 다음과 같습니다 :

(a) 교수와 레지던트 또는 학생간에 발생하는 제한된 관찰,

(b) 인간 심사 위원의 특성. 왜냐하면 교수는 체크리스트 및 평점 척도가 아니며, 교수는 임상 수행능력 측정을 위한 실제 수단이기 때문이다. 교수가 관찰하는 양은 매우 제한되어있다.

In medical training it behooves us to look at the assessment of residents and students currently, because there are already constraints on workplace assessment in existing pre-compe- tency/milestone/COREEPA systems. These constraints will become more problematic since OBME is ‘‘highly depend- ent on the observations and judgment of faculty’’ (Holmboe & Batalden 2015). The two major constraints to be considered are: (a) the limited observation which occurs between faculty and residents or students, and (b) characteristics of human judges since faculty is the real instruments for measuring clinical performance, not checklists and rating scales. Amount of observation is very limited

Williams & Dunnington (2006)의 연구는 ACGME 역량 (그 당시 28 개의 구성 요소와 6 개의 원래 역량)을 수행하는 동안 교수진의 observation을 조사했습니다. 그들은 단지 28개 중 6개만이 교수진 (21 %)에 의해 관찰된다는 것을 발견했다. 이 결과를 마일스톤 사용을 고려하여 확장해보면 다음과 같다. 현재 내과학에는 General surgery (일반 외과)에서 약 110 개의 하위 역량과 주요 성과가 있으며, COREEPAs clekship에서도 clerkship당 100 가지 이상의 목표가 있습니다 (Green et al. 2009; ACGME and The American 2014 년 외과위원회, Kramen 2015). 실제 관측치의 동일한 비율이 유지되면 (그리고 그 숫자가 확실히 올라갈 것이라고 기대하지 않을 경우) 각각 23, 17 및 21 구성 요소를 관찰 할 수 있으며, 나머지는 관찰 대상에서 배제될 것이다. Chisholm 외의 연구 (2004)는 교수들은 비 응급 진료 영역에서 9시간당 2분, 비상 진료 환경에서 9시간당 11분을 EM 레지턴트 관찰에 사용한다는 사실을 발견했습니다. 이 수준의 관찰이 오늘날의 레지던시 프로그램에 대한 '표준'이라면, 필요한 모든 데이터 포인트에 대해 거주자를 관찰하는 데 필요한 수준으로 관찰이 현실적으로 일어날 것으로 기대할 수 있을까?

Work by Williams & Dunnington (2006) examined the observation by faculty of residents during performance of the ACGME Competencies (Six original competencies with 28 components at that time). They found that only six were routinely observed by faculty (21%). Now expand that constraint as one considers the use of milestones. Currently in Internal Medicine there are about 110 sub-competencies and milestones, in General Surgery, 80, and even in COREEPAs clerkships (where are rapidly approaching) there are more than 100 objectives per clerkship (Green et al. 2009; ACGME and The American Board of Surgery 2014; Klamen 2015). If the same percentage of actual observation holds (and one would certainly not expect that number to rise), this leaves 23, 17, and 21þcomponents observed respectively, with the rest left unseen. A study by Chisholm et al. (2004) discovered that faculty members observe emergency medicine residents 2 minutes/9 hour shift in non-critical care areas and only 11 minutes/9 hour shift in a critical-care setting. If this level of observation is ‘‘the norm’’ for today’s residency programs, how can we expect observation to realistically rise to the level needed to observe residents for all the needed data points?

임상 관찰의 상태는 의대생 clerkships에서는 상황이 더 좋지 않습니다. Han & Roberts (Han et al., 2015)의 연구에 따르면 학생은 실제 임상현장에서보다 shelf 시험을 위해 더 많은 시간을 보냈다. 교수진이 임상 연구를 관찰하는 데 소비한 시간은 이미 줄어들어버린 student day보다 훨씬 짧을 것으로 추정됩니다. Osman et al. (2015)는

The state of clinical observation is no better in medical student clerkships. A study by Han & Roberts (Han et al. 2015) discovered that students spent much more time studying for shelf exams than they did in actual clinical work. The amount of time faculty members spent observing clinical work is presumably much lower than the already shortened student day. Osman et al. (2015) noted in a recent study that students have a

‘‘disrupted apprenticeship model with fragmentation of supervision and concomitant effects on assessment, feedback, role modeling and clerkship education.’’

entrustable behavior에 대한 관측이 늘어날 것을 기대하는 것은 현실적이지 않다.

We think it unrealistic that observation of expected entrustable behavior will rise to a needed level either.

인간의 판단

Human judges

관측 시간 자체의 제약외에도 중요한 것은 인간이 성과를 판단한다는 점이다. 문헌에서 반복적으로, 본질적으로 수행능력의 평가는 임상적 성과와 전문적 행동의 두 가지 요인에 의해 평가된다는 것을 발견했다clinical performance and professional behavior (Verhulst et al., 1986; Ramsey et al., 1993). 철저한 평가 척도는 실제로 후광 오류에 시달리는 것처럼 보입니다. 실제로 심사 위원이 의식적으로 또는 관찰하지 않고 두 요소로 관찰을 접을 때가 있습니다. 유사하게, 사회적 판단은 다른 사람들을 평가할 때, "그들의 능력"과 "친구냐 적이냐"의 두 가지 요인으로 축소시키는 것처럼 보인다 (Gingerich et al., 2011). Ginsburg 외 연구 (2010)은 "표준화되고 객관적이며 경쟁력있는 평가를 하기 위한 공동의 노력에도 불구하고 레지던트의 임상 성과 평가에서 여전히 주관성의 영향력은 강력하다"고 경고했다. 그러나 주관적이라는 것이 레지던트에 대해 교수가 가지는 전체적인 인상holistic impression을 무효한 것으로 간주해야한다는 것을 의미하지는 않습니다.

On top of the constraint of observation time itself, humans are also judging performance. Repeatedly in the literature, it is found that performance is essentially rated on two factors – that of clinical performance and professional behavior (Verhulst et al. 1986; Ramsey et al. 1993). Exhaustive rating scales often seem to be plagued by halo error, when in fact judges are simply collapsing their observations (consciously or not) into those two factors. Likewise, social judgment more broadly appears to collapse ratings of others into two factors – that of competence and friend/foe (Gingerich et al. 2011). A study by Ginsburg et al. (2010) warns that ‘‘Despite concerted efforts to create standardized, objective, compe- tency-based evaluations, the assessment of residents’ clinical performance still has a strong subjective influence.’’ They note, however, that just because they are subjective does not mean that holistic impressions by faculty members of residents should be considered invalid.

이것은 의료 교육 분야의 사람들에게만 국한되지 않습니다. Weber et al. (2014)는 연수생에 대한 전문 항공사 조종사의 등급을 비교 한 연구에서 심사 위원의 평가 척도와 검사 목록 범주 사용을 조사했습니다. 그들은 심사 위원이 평가 도구에 대한 descriptive anchor를 무시한다는 것을 발견했습니다. 오히려 이들은 피평가자에 대한 제한된 인상을 형성하고 등급 양식 항목 및 descriptor에 관계없이 이러한 노출을 지속적으로 사용합니다. 따라서 항목에 대한 숫자 등급의 의미는 descriptor와 거의 유사하지 않습니다.

This suggestion is not limited to those within the field of medical training. Weber et al. (2014) in a study comparing expert airline pilots’ ratings of trainees examined the judges’ use of rating scales and checklist categories. They found that the judges ignored the descriptive anchors on the rating instruments. Rather they form a limited set of impressions about the performers and use these impressions constantly regardless of the rating form items and descriptors. Thus the meaning of the numeric ratings for the items bears little resemblance to the descriptors.

문제를 더 복잡하게 만드는 것은, 실제 상황에서 평점을 주는 시점과 성과를 관찰하는 시점 사이에 delay가 있다는 것이다. 그 결과 rating resolution, 망각, 선택적 recall과 관련된 추가 문제가 발생합니다. 관측과 평가 완료 사이의 지연이 심해질수록 등급이 less nuanced 되고, 작성된 의견의 수가 줄어들고 구체적이고 실행 가능한 의견이 줄어 듭니다 (Williams RG 외 2014). 그림 1은이 연구의 결과에 대한 자세한 내용을 제공합니다.

To complicate this problem, most ratings in real life occur with a delay between observing performance and completing the evaluation form, which introduces additional problems regarding rating resolution, forgetting and selective recall. As delay between observation and completing the evaluation increases, ratings become less nuanced (e.g. more straight line 4s), the number of written comments decreases, and the number of specific, actionable comments decreases (Williams RG et al. 2014). Figure 1 provides more details regarding the results of this study.

평가자는 의도한 대로 등급을 사용하지 않고, 평가의 delay가 있기 때문에(바쁜 임상 환경에서는 자연스럽지만) 유용성과 정확성이 떨어진다. 그렇다면 어떻게 해야할까?

Since raters do not use the rating scales as intended, and any delay in rating (as will be natural in a busy clinical setting) decreases their usefulness and accuracy, how do we intend to use this flawed system in an even more rating scale-intensive environment, such as the ones posed by competencies, milestones, and COREEPAs?

아마도 기존의 global rating form에 새로운 item을 추가하여 요건을 충족시킬 수 있겠지만, 그 많은 행동들은 교수가 루틴하게 observe하지 못할 것이다. 결국 이는 그저 '모든 역량을 평가하고 있다'는 환상만 심어줄 뿐이다.

It is likely that the law of least immediate effort will lead programs to meet new requirements by adding new items to global rating forms, even though many behaviors on the form will not be routinely observed by faculty members. This will simply create the illusion of addressing all competencies without a gain in meaningful information about resident performance.

교훈

Lessons learned

교훈은...

What should we take away from our exploration

(1) 모든 학습은 local이며 특이한 것이므로 학습자는 측정하지 않는 많은 것들을 배우게됩니다. 따라서 능력은 우리의 교육 환경에서 발생하는 실제 학습의 작은 부분에 불과하다.

(1) All learning is local and idiosyncratic, and learners will learn many lessons that we will not measure. Competencies are thus just a small part of the actual learning which is occurring in our educational settings.

(2) 모든 평가자는 자신의 고유한 constructs of performance를 사용하고 있으며 이는 바람직합니다. 평가자가 전반적인 성과를 판단 하게끔 하고, 의심 할 여지없이 무시할 수 있는 일련의 지침, 점검표 및 행동 기준으로 제한하지 마십시오. 능력에 대한 원자론적 견해는 integrated performance capability를 포착하지 못하지만 전문임상가의 global rating은 포착할 수 있다.

(2) All raters are using their own unique constructs of performance, and this is desirable. Give raters credit for their ability to judge overall performance and do not limit them to a set of guidelines, checklists, and behavioral anchors which they will undoubtedly ignore anyway. The atomistic view of competence fails to capture integrated performance capabilities, but global ratings by expert clinicians may.

(3) Go / No Go 모델이라는 두 가지 질문을 사용하는 지혜를 고려하십시오. 결국 궁극적 인 질문은 "이 레지던트가 감독되지 않은 환경에서 안전하고 효과적이며 유능한 보살핌을 제공 할 수 있습니까?"이다. 다른 모든 것들(예 : 수년 간의 훈련)은 최족 목적에 대한 질문일 뿐이다. 최종 목표의 궤적을 따라 '이 학생의 궤도가 동료들과 궤도에 오르고 있습니까? 이 학생은 역량으로 나아질 것입니까?' 중요한 것은 이것이며, 왜냐하면 학습은 선형, 점진적 또는 비 재귀 적이 아니기 때문이다.

(3) Consider the wisdom of using a two question, Go/No Go model for graduation from residency. The ultimate question after all, is ‘‘Can this resident provide safe, effective, and competent care in an unsupervised setting (or not)?’’ All other movements (between years of training, for example) become more of a question of movement along a trajectory to that final goal. ‘‘Is this student’s trajectory on track with his/her peers? Is this student improving toward competency?’’ These are important questions, since learning is not linear, progressive, or non- recursive.

(4) 의학 교육의 성공을 위해서는 학습에 대한 공동 책임이 필요하므로, 앞으로 진행되는 모든 progress가 교사에게 뿐만 아니라 학습자에게도 명백한 중요성을 갖는지 확인하십시오. 이것은 평가되는 요소를 학습하는 동기를 향상시킵니다.

(4) Since a shared responsibility for learning is necessary for success in medical education, make sure that whatever forward progress is measured is of obvious importance to learners as well as their teachers. This improves motiv- ation to learn those elements being assessed.

(5) 직접 관찰의 증가 빈도를 달성하는 것은 달성하기가 매우 어려우며 엄청난 비용이 소요될 것입니다. 근접 관찰은 소수의 특정 중요한 행동에 대한 전제 조건이지만 NAS / COREEPA 기준이 예상대로 작동하는 데 필요한 수준으로까지 발생하지 않습니다.

(5) Achieving increased frequency of direct observation will be very difficult to achieve and will come at great cost. Close observation is a prerequisite for a small number of specific important behaviors, but it will never occur at the level needed for the proposed NAS/COREEPA criteria to function as expected.

제언

Suggestions

specific important behaviors and global ratings of performance을 명확하게 구분할 필요가 있음을 제안합니다. 교수진은 현재와 마찬가지로 레지던트과 학생들의 행동을 관찰하고 즉각적이고 상세한 형성 피드백을 제공해야합니다. 교수들은 성과에 대한 자체적인 construct 을 사용하기 때문에 summative assessment global rating 척도는 매우 단순하게 유지되어야 합니다. 예를 들어, '임상 기술'과 ''전문 행동 ''을 두 가지 등급으로 사용하십시오. 의견을 남길 수있는 여지를 남겨 두십시오. 그러면 평가자의 construct 에 대한 단서가 제공 될 수 있습니다. 전반적인 성과를 평가할 때 평가위원회 (Williams et al. 2005)를 사용하여 다양한 평가자의 전반적인 성과에 대한 많은 관찰을 얻고 삼각 측량을 수행합니다.

We suggest the need to make a clear distinction between specific important behaviors and global ratings of performance. We suggest faculty should observe residents and students in action as they do now, and give immediate and detailed formative feedback. Since faculties are using their own internal constructs of perform- ance, summative assessment global ratings scales should be kept very simple. For example, use ‘‘Clinical Skills’’ and ‘‘Professional Behavior’’ as the only two ratings to mark. Leave room for comments as well, since this may give clues as to the raters’ constructs. When assessing overall performance, acquire many observations of overall performance by many different raters and triangulate by using an assessment committee (Williams et al. 2005).

아주 중요한 소수의 행동specific important behaviors 만 평가하십시오. 이 작업을 위해서는 직접 관찰이 필요하며 관찰이 발생한 직후에 기록해야합니다. OSCE, 표준화 된 환자 및 시뮬레이션 설정을 사용하면이 작업에 도움이 될 수 있습니다. 자원이 많이 필요하기 때문에 특정 분야와 가장 관련이 있거나 필수적인 작업에 대해서는 training event를 확보해야합니다. 예를 들어, 한 의료 학교에서 12 학년 핵심 임상 역량을 교육하기위한 도구를 개발하여 1 학년에서 3 학년까지의 의학 학생의 임상 적 추론을 강의합니다 (Kramen 2015).

Assess only a very small number of specific important behaviors. When this is done, direct observation is required, and it must be recorded immediately after the observation takes place. The use of OSCEs, standardized patients, and simulation settings may aid in this work. As they are so resource-intensive, training events should be saved for those tasks thought to be most relevant/essential to a particular specialty. For example, tools for training 12 Critical Clinical Competencies are being developed at one medical school, to teach first through third year medical students’ clinical reasoning (Klamen 2015).

역량, 이정표 및 COREEPA라는 이름으로 이미 소비 된 모든 노력은 어떻게 해야할까? 이러한 프레임 워크를 프로그램 계획 및 blueprinting작성에 사용하는 것이 좋습니다. 이러한 점에서이 점은 매우 유용 할 수 있습니다 (Williams 외 2015).

What of all the time and effort that has already been expended in the name of competencies, milestones, and COREEPAs? We suggest that these frameworks be used for program planning and blueprinting. They may be very useful in this regard (Williams et al. 2015).

(비록 불가능하지만) 모든 것을 측정하기 위해 미친 듯이 서두르지만 아주 적은 수의 특정 행동 만 측정하는 것으로는 충분하지 않을 수도 있지만 어둠을 저주하는 것보다 촛불을 켜는 것이 좋습니다 (The Phrase Finder 2015) . 현재 우리는 기반 시설, 시간, 자원 또는 faculty observation이 없음에도, 우리는 monolithic의 이상적이고 완전히 도달 할 수없는 시스템을 구축하려고합니다. 사실 우리는 촛불이 아닌 투광 조명 시스템을 설계하고 있지만, 시스템에 전원을 공급하기에는 전기가 불충분한 것과 같습니다. 이 기사는 의학 교육의 중요한 경향에 대해 다루고 있습니다. 지금의 의학 교육은 약점이 내재되어 있는 교육적 접근 방식을 마술처럼 극복 할 수 있는 것처럼 말하면서, 외부의 학문 분야를 무시하고 있다. 우리는 단순히 그렇게 할 수 없습니다. Holmboe & Batalden (2015)이 지적했듯이, 때로는 '공감대가 이데올로기에 접근 할 수 있기 때문에 사회적 신념을 반영하는 것보다 믿음을 더 많이 노래 할 수 있습니다.' 제목에서 알 수 있듯이, 우리가 역사를 무시하면 우리는 그것을 반복할 것입니다.

It may not seem sufficient to measure only a very small number of specific behaviors, given the mad rush to measure them all (even though that is impossible), but it is better to light a candle than curse the darkness (The Phrase Finder 2015). As it currently stands, we do not have infrastructure, time, resources, or faculty observation available, but we are trying to build a monolithic, ideal and totally unreachable system. We are, in effect, designing a system of floodlights rather than a candle, but we have insufficient electricity to power the system. This article addresses an important tendency in medical education, which is to ignore disciplines outside it as if we can magically overcome educational approaches with inherent weaknesses. We will simply be unable to do so. As Holmboe & Batalden (2015) point out, sometimes ‘consensus can approach ideology and thus become more a chant of faith...than a reflection of social reality’. As the title suggests, if we ignore history we may be condemned to repeat it.

AAMC. 2014. Core entrustable professional activities for entering residency. [Accessed 25 November 2015] Available from https://members.aam- c.org/eweb/DynamicPage.aspx?Action¼Add&ObjectKeyFrom¼ 1A83491A-9853-4C87-86A4-F7D95601C2E2&WebCode¼PubDetailAdd &DoNotSave¼yes&ParentObject¼CentralizedOrderEntry&ParentData Object¼Invoice%20Detail&ivd_formkey¼69202792-63d7-4ba2-bf4e- a0da41270555&ivd_prc_prd_key¼E3229B10-BFE7-4B35-89E7- 512BBB01AE3B).

ACGME. 2015. Milestones. [Accessed 22 May 2015] Available from https://www.acgme.org/acgmeweb/tabid/430/ProgramandInstitutional Accreditation/NextAccreditationSystem/Milestones.aspx.

Rice A. 2015. Analysis: RIP outcomes-based education and don’t come back. Daily Maverick 7-7-2010. [Accessed 20 May 2015] Available from http://www.dailymaverick.co.za/article/2010-07-07-analysis-rip-outcomes- based-education-and-dont-come-back/#.VVyWhUZWKap5.

ten Cate O, Scheele F. 2007. Competency-based postgraduate training: Can we bridge the gap between theory and clinical practice? Acad Med 82: 542–547.

Klamen DL. 2015. Getting real: Embracing the conditions of the third-year clerkship and reimagining the curriculum to enable deliberate practice. Acad Med 90(10):1314–1317.

Williams RG, Dunnington GL, Mellinger JD, Klamen DL. 2015. Placing constraints on the use of the acgme milestones: A commentary on the limitations of global performance ratings. Acad Med 90(4):404–407.

2016 Sep;38(9):904-10. doi: 10.3109/0142159X.2015.1132831. Epub 2016 Jan 25.

Competencies, milestones, and EPAs - Are those who ignore the past condemned to repeat it?

Klamen DL1, Williams RG1, Roberts N1, Cianciolo AT1.

Author information

1a Southern Illinois University School of Medicine , USA.

Abstract

BACKGROUND:

The idea of competency-based education sounds great on paper. Who wouldn't argue for a standardized set of performance-based assessments to assure competency in graduating students and residents? Even so, conceptual concerns have already been raised about this new system and there is yet no evidence to refute their veracity.

AIMS:

We argue that practical concerns deserve equal consideration, and present evidence strongly suggesting these concerns should be taken seriously.

METHOD:

Specifically, we share two historical examples that illustrate what happened in two disparate contexts (K-12 education and the Department of Defense [DOD]) when competency (or outcomes-based) assessment frameworks were implemented. We then examine how observation and assessment of clinical performance stands currently in medical schools and residencies, since these methodologies will be challenged to a greater degree by expansive lists of competencies and milestones.

RESULTS/CONCLUSIONS:

We conclude with suggestions as to a way forward, because clearly the assessment of competency and the ability to guarantee that graduates are ready for medical careers is of utmost importance. Hopefully the headlong rush to competencies, milestones, and core entrustable professional activities can be tempered before even more time, effort, frustration and resources are invested in an endeavor which history suggests will collapse under its own weight.

PMID:: 26805785
DOI:: 10.3109/0142159X.2015.1132831

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교육과정 개발&평가' 카테고리의 다른 글

영속성을 위해 만들기: 교육프로그램의 장기적 지속가능성 (Med Teach 2006) (0)	2017.01.19
역량바탕교육(CBME, CBE): 프로그램 설계와 시행의 과제(Med Educ, 2016) (0)	2016.11.18
임상과학자프로그램 평가 - 커크패트릭을 넘어서. "효과가 있었나"와 "어떻게 효과가 생겼나" (Acad Med, 2011) (0)	2016.11.08
교육프로그램 평가(AMEE Guide no.29) (Med Teach, 2006) (0)	2016.11.02
보건전문직 교육에서 프로그램 평가에 대한 생각: '효과가 있었나?'를 넘어서 (Med Educ, 2013) (0)	2016.10.26

소그룹학습에 대한 학생 인식(Med Educ, 2004)

Meded. 2016. 11. 17. 11:47

2016. 11. 17. 11:47

소그룹학습에 대한 학생 인식(Med Educ, 2004)

Student perceptions of effective small group teaching (Med Educ, 2004)

Yvonne Steinert

도입

INTRODUCTION

SG teaching은 UME에서 점차 중요해짐.

Small group teaching has become an increasingly important component of undergraduate medical education.

다음의 연구가 된 바있음

Several studies have looked at

student perceptions of effective tutors in PBL curricula.2–5
In addition, 1 study has examined student and faculty perceptions of group dynamics in PBL tutorials,6 and
several others have examined student conceptions of learn- ing during different PBL experiences.7–9
The major focus of all these studies was on tutor characteristics in PBL curricula, and little attention was given to other aspects of small group functioning, including the value of specific pedagogical materials and resources (e.g. written cases).10

다음의 질문에 답하기 위해서

The goal of this study was to assess student percep- tions of effective small group teaching in preclinical undergraduate medical education

• What makes for an effective small group?

• What are the goals of small group teaching?

• What makes for an effective small group tutor?

• What makes for an effective case?

• What makes for effective small group evaluations?

교육 맥락

Educational context

The Faculty of Medicine at McGill University offers a 4-year undergraduate curriculum. This curriculum was revised in the autumn of 1994 to promote an integrated, systems-based approach to preclinical training. Although the faculty did not adopt a PBL curriculum, there was a strong commitment to decreasing the number of large class lectures and to increasing small group teaching, so that at least 50% of student contact time would occur in a laboratory or small group setting.

The preclinical curriculum, entitled the Basis of Medicine , occupies the first 18 months of the undergraduate curriculum. It consists of 9 system- based units (e.g. molecules, cells and tissues; gas, fluids and electrolytes; endocrinology, metabolism and nutrition) that focus on normal structure and function, with a progression to abnormal structure and function, disease prevention and therapy.

During the Basis of Medicine, students spend approximately 50% of their time in small groups designed to complement and reinforce the lecture content. Clinical cases are used to guide students through the small group process, and groups meet approximately 2 to 4 times per week, depending on the individual unit. The groups of students remain stable over several months, but the tutors change according to the topics under discussion as they are expected to possess content expertise. Students are assessed on their small group participation, prepar- edness and responses to short quizzes that are administered at either the beginning or end of a small group session.

METHOD

Focuse Group을 활용함

Focus groups were used to assess student percep- tions of effective small group teaching in the Basis of Medicine.

고등교육에서 교육과정 계획과 평가에 널리 사용
Focus groups have been used effect- ively for programme evaluation in higher educa- tion11,12 and for curriculum planning and evaluation in medicine.13–16
비용이 저렴하고 소비자의 관점에서 자료 수집
This technique is considered to be an inexpensive method of gath- ering qualitative data17 and is well suited to obtaining such information from the consumer’s point of view.13
그룹 상호작용에 따라 이뤄짐
As Frasier et al.16 stated, Focus groups draw on group interaction, combining elements of individuals interacting with one an- other and participant observation.
그룹 상호작용을 자료로서 활용하며, 상호작용이 없이는 수집하기 어려운 자료를 활용할 수 있게 함
Focus groups also make explicit use of group interaction to produce data and insights that would be less accessible without the interaction found in such a group.18
따라서 적절하다고 판단
Given that the aim of this study was to assess student perceptions of effective small groups, this methodology was considered particularly appropriate.

This study will report on 6 focus groups held in the springs of 3 years, from 1996 to 1998.

학생 모집

Student recruitment and conduct of the focus groups

In order to allow for dropouts and cancellations, 8~10 student representatives were invited to attend each focus group.18 The groups were kept small to allow for full participation as well as in-depth discussion of the topic.16

The author, a clinical psychologist with 20 years of experience in medical education, facilitated the focus groups. Although she knew some of the students from her involvement in the undergraduate curricu- lum committee, she was not responsible for their educational programme or evaluation.

연구질문

The following questions guided the focus group discussion:

• What makes for an effective small group?

• What are the goals of small group teaching?

• What makes for an effective small group tutor?

• What makes for an effective case?

• What makes for effective small group evaluations?

• What message would you like to give your tutors?

• What message do you think your tutors would like to give you?

All of the questions were tested in a prestudy pilot to ensure clarity, precision and comprehen- siveness. The term effective was not defined for the students as we wished to assess their perceptions of effectiveness. Additional probes, designed in advance, were used to supplement each question if the students did not spontaneously provide the relevant information.

Each focus group lasted approximately 90 minutes to allow key themes and issues to emerge. The discus- sions were held at the end of the day in the Faculty of Medicine, at a time convenient for the students. All of the focus groups were audiotaped and transcribed verbatim. A research assistant, a graduate student in educational psychology, was present during the focus groups to take field notes. The moderator and research assistant introduced themselves to the group but the students did not, in order to ensure anonymity on the transcripts. To promote candour in the students’ responses, confidentiality was stressed; the students were also assured that any report of findings would be generic and not attributed to specific individuals.

분석

Analysis

Ethnographic content analysis guided the data ana- lysis.19 The transcripts were examined independently, by the author and the research assistant, to identify key words, phrases and concepts. Similarities and potential connections among key words, phrases and concepts, within and among the focus groups, were identified and discussed, and initial coding categories were identified. The content of each transcript was then analysed using these categories, and additional codes for newly emerging topics were created as needed, allowing for an iterative process throughout the analysis. Coding discrepancies were reconciled through discussions between the author and the research assistant. The final stage of analysis involved the reduction of all data sources into the final coding categories, the development of major themes and the identification of exemplar quotes illustrating each theme.

The transcripts ranged from 14 to 22 pages in length. Each was read for general clarity and comprehension prior to the coding. Moderator notes from each session also supplemented the text. Once the tran- scripts were analysed, preliminary findings were presented to the members of 2 Faculty of Medicine committees, for feedback and discussion.

결과

RESULTS

Of the 54 students invited to participate, 46 attended. The students who attended and those who did not were similar in age, gender and years of education.

효과적인 소그룹을 만드는 것은?

What makes for an effective small group?

Table 1 summarises the 6 major items

Table 1 Student perceptions of effective small groups

Small groups should include:

Effective small group tutors

긍정적 인 집단 분위기

A positive group atmosphere
적극적인 학생 참여 및 그룹 상호 작용

Active student participation and group interaction
소그룹 목표 준수

Adherence to small group goals
임상 관련성 및 통합

Clinical relevance and integration
사고와 문제 해결을 촉진하는 사례

Cases that promote thinking and problem solving

1학년과 2학년 사이에 2가지만 달랐다.

Interestingly, however, these were the only 2 areas in which Year 1 and 2 students differed; attention to student roles and methods of evaluation were emphasised more by Year 1 students.

소그룹 교육의 목표는?

What are the goals of small group teaching?

학생들은 소그룹 교육의 목표가 항상 충족되는 것은 아니라고 우려했습니다. 그들의 관점에서, 소그룹 가르침의 주요 목표는 참여자들이 다음을 할 수 있게 하는 것.
The students concern that the goals of small group teaching were not always met. From their perspective, the major goals of small group teaching were to allow participants:

• 질문하고 생각할 수있는 것.

to be able to ask questions and think things through;

• 자료에 대한 이해를 확인합니다.

to check out their understanding of the material;

• 팀으로 일하고 서로에게서 배울 수 있습니다.

to work as a team and to learn from each other;

• 임상 또는 실제 생활 상황에 콘텐츠를 적용하고

to apply content to clinical or real life situations, and

• 문제 해결법을 배우기

to learn to problem solve

효과적인 소그룹 튜터는?

What makes for an effective small group tutor?

모든 포커스 그룹은 학습에 필수적인 것인 교사 특성으로 동일한 것을 언급했다. 이것은 사고와 문제 해결을 장려하고 위협적이지 않고, 상호 작용을 고무하고, 강의하지 않고, 임상 적 관련성을 강조, 그 장소에 있고싶어 하는 사람. 사실,이 질문에 대한 응답은 소그룹 가르침의 목표와 토론중인 내용 영역의 개인 특성, 촉진 기술 및 지식의 3 가지 주요 범주로 나눌 수 있습니다.

All the focus groups identified the same tutor characteristics as essential to learning. These des- cribed an individual who

promoted thinking and problem solving,
was not threatening,
encouraged interaction,
did not lecture,
highlighted clinical relevance, and
wanted to be there.

셋으로 분류 가능

In fact, the responses to this question could be divided into 3 main categories:

personal attributes,
facilitation skills and knowledge – of both the goals of small group teaching and
the content area under discussion.

일부 학생들이 언급 한 추가 특징에는 소그룹 교수법의 목표를 이해하고, 사례를 잘 사용했으며, 소그룹 목표를 요약하고, 토론을 잊지 않고 요약해준 경우가 포함되었습니다.

Additional characteristics mentioned by some of the students included tutors who understood the goals of small group teaching, who used the cases well, who outlined the small group objectives, and who remembered to summarise the discussion.

효과적인 케이스의 특징은?

What makes for an effective case?

효과적인 case에 대한 학생의 견해에는 명확한 목표를 가지고 있고, 미리 할당되지 않았으며, 소그룹에서의 문제 해결과 토론을 장려하고 이전에 준비된 자료의 반복이나 역류로 이어지지 않은 사례가 포함되었습니다.

Student views of effective cases included cases

목표 명확 that had clear objectives,
미리 할당되지 않음 that were not preassigned,
문제해결과 토론 장려 that encouraged problem solving and discussion in the small group, and
이전에 준비한 자료를 반복하거나 그것만 뱉어내면 되는 것이 아닌 것 that did not lead to the repetition or regurgitation of previously prepared material.

6 개 그룹 전체에서 학생들은 신비 케이스라고 부르는 것의 가치를 강조했습니다. 이것은 전에 보지 못했고 이전에 획득 한 사실이나 해결책의 역류를 허용하지 않는 경우를 언급했습니다.
Throughout all of the 6 groups, students highlighted the value of what they called mystery cases. This referred to cases that they had not seen before and that did not allow for the regurgitation of previously acquired facts or solutions:

또한 학생들은 임상적 관련성의 중요성, 질문의 명확성 및 토론해야 하는 사례 수를 강조했습니다. 그들은 종종 그들이 너무 많은 사례를 받았거나 토론 할 시간이 충분하지 않다고 느꼈다고 말했다. 또한, 학생들은 사례를 확대하거나 다른 임상 상황으로 일반화 된 문제를 확대하여 제시된 사례를 넘어선 교사들에게 감사했습니다.

Students also highlighted the importance of the clinical relevance of cases, the clarity of questions asked, and the number of cases under discussion at any particular time. They stated that they often felt they were given too many cases or not enough time to discuss them. In addition, students appreciated tutors who went beyond the presented case, by expanding on the case or generalising issues to another clinical situation.

효과적인 평가는?

What makes for effective evaluations in small groups?

소그룹 평가의 일환으로 자주 사용되는 짧은 퀴즈의 가치는 그룹별로 크게 다양했습니다. 학생들 중 일부는 퀴즈가 소그룹 세션 준비, 사례 토론 집중, 과정 내용 이해에 대한 피드백 제공에 도움이된다고 생각했습니다. 다른 사람들은 퀴즈가 너무 많아서 도움이되지 않으며 학습을 방해한다고 느꼈습니다.
The perceived value of short quizzes, which are frequently used as part of our small group assess- ment, varied greatly from group to group. Some of the students felt that the quizzes were helpful in getting them to prepare for the small group session, in focusing the case discussion, and in giving them feedback on their understanding of course content. Others felt there were too many quizzes, that they were not helpful, and that they inhibited learning.

일반적으로 퀴즈는

소그룹 교사가 학생과의 답변을 검토 (즉각적인 피드백 제공)할 때,
사례 토론에 초점을 맞출 때
세션 마지막에 논의 된 개념들을 강화하기 위한 목적으로 진행될 때 도움이 된다고 했음.

또한 학생들은 내용에 대한 지식이나 정답을 줄 수있는 능력보다는 그룹 구성원으로서의 참여에 대한 평가 기회를 환영했습니다.

In general, quizzes were seen as more helpful when the small group tutor reviewed the answers with the students (to provide immediate feedback), when the quizzes focused on the case discussion, and when they were held at the end of the session to reinforce the concepts discussed. Students also welcomed the opportunity to be assessed on their participation as a group member rather than on their knowledge of the content or their ability to give the right answer:

튜터에게 주고 싶은 메시지는?

What message would you like to give your tutors?

• relax;

• be excited to be there;

• we are there to learn, not to be drilled;

• remember that we are only students;

• we all come from very different backgrounds;

• tell us when you don’t know, and

• please don’t lecture in the small group.

• 긴장 푸세요;

• 즐기는 모습을 보여주세요;

• 우리는 배우려고 왔습니다

• 우리는 단지 학생이라는 것을 기억하십시오;

• 우리 모두는 매우 다른 배경에서 왔습니다.

• 모를 때는 모른다고 하세요

• 소그룹에서 강의하지 마십시오.

튜터는 학생에게 어떤 메시지를 주고 싶어할까?

What message do you think your tutors would like to give you?

• relax;

• give each other a chance;

• prepare;

• don’t be afraid to be wrong;

• don’t worry so much, and

• don’t appear as if you know everything.

• 긴장 풀어요

• 서로에게 기회를 제공하십시오;

• 준비하십시오;

• 틀릴까봐 두려워하지 마십시오.

• 너무 걱정하지 마십시오.

• 모든 것을 알고있는 것처럼 보일 필요는 없어요

매우 비슷함.

The similarity between tutor and student messages was striking, as was the lack of differences in input between Year 1 and 2 students.

고찰

DISCUSSION

이 연구 결과는 학생들이

교사의 특성,
위협적이지 않은 집단 분위기,
그룹 상호 작용,
임상 관련성 및 통합,
문제 해결 및 사고를 통합 시스템

...을 효과적인 소그룹의 가장 중요한 특징으로 인식한다는 것을 찾아냄. .

This study’s findings indicated that students identified tutor characteristics, a non-threatening group atmosphere, group interaction, clinical rele- vance and integration, and pedagogical materials that encourage problem solving and thinking as the most important characteristics of effective small groups in an integrated, systems-based curriculum.

교사 특성의 중요성에 대한 학생들의 의견은 문헌과 일치했다 .3,9,20,21
Student comments about the importance of tutor characteristics were consistent with the litera- ture.3,9,20,21

우리가 일반적으로 FD워크샵에서 소그룹 교수법 (예 : 목표 설정, 요약 및 종합)에 대한 skill 기반 접근 방식을 장려하지만 학생들은 교사의 skill에 대해 언급하기보다는 오히려 교사가 교육에 얼마나 흥미를 보이는가, 그리고 학습에 도움이되는 분위기를 조성하는 능력이 있는가를 강조하였다.

It is interesting to note that although we generally promote a skillbased approach to small group teaching (e.g. set objectives; summarise and synthesise) in our faculty development workshops, students did not comment on these identified skills as much as they highlighted tutors’ interest in teaching and their ability to create an atmosphere conducive to learning.

우리의 결과는 또한 교사가 메타인지 가이드로서 중요한 역할을한다는 메이요 (Mayo)의 발견을 확인해 준다. 튜터는 답을 주지 않고 학생들이 의사라면 했을법한 질문을 하게끔 유도하는 역할을 해야 한다. 흥미롭게도 효과적인 교사에 대한 학생들의 의견은 시스템 기반 커리큘럼과 PBL 커리큘럼에서 다르지 않았습니다. 따라서, 과연 두 교육과정 사이에 튜토리얼 과정이 실제로 다른지, 혹은 학생들이 내용 전문성에 대해 필요로하는지에 대한 질문이 제기됩니다.

Our results also confirm the findings of Mayo and colleagues2 that the tutor plays an important role as a metacognitive guide;22 that is, without giving the answers, the tutor is there to help students raise the questions an expert doctor would raise when thinking through a clinical case. Interestingly, our students’ comments about effective tutors in a systems-based curriculum did not differ from those of students in a PBL curriculum. In our opinion, this raises the question of whether the tutorial process is indeed different, and whether students perceive a need for content expertise.3,4

앞서 언급 한 한계에도 불구하고,이 연구는 학생들의 인식을 평가하고 커리큘럼 구현에 대한 피드백에 초점 그룹을 사용하는 것의 가치를 보여주었습니다. Morgan18은 포커스 그룹의 특징은 그룹 간의 상호 작용없이 대규모의 그룹에서 발견 할 수없는 데이터와 통찰력을 제공하기위한 그룹 상호 작용의 명백한 사용이라고 설명했습니다. 이 연구 전반에 걸쳐 우리는 소그룹 가르침의 목적과 목적에 대한 학생들의 인식을 분명히하는 학생들의 능력에 깊은 인상을 받았습니다. 교수진은 또한 학생들 의견의 정확성과 통찰력을 인정했으며, 1 명의 교사가 말했듯이 그들이 말한 모든 것이 합리적입니다! 이 경험을 바탕으로 우리는 독립적 혹은 보조적 방법으로, 커리큘럼 계획 및 평가에 대한 학생의 인식을 얻는 데 포커스그룹을 사용할 것을 권장합니다.
Despite the aforementioned limitations, this study has demonstrated the value of using focus groups for assessing student perceptions and feedback on cur- riculum implementation. Morgan18 stated that the hallmark of focus groups is the explicit use of group interaction to produce data and insights that would be less accessible without the interaction found in a large group. Throughout this study, we were impressed by the students’ ability to articulate their perceptions of the goals and purposes of small group teaching. Faculty members also commented on the students’ accuracy and insight, and as 1 tutor com- mented, Everything they said makes sense! Based on this experience, we would recommend the use of focus groups for obtaining student perceptions for curriculum planning and evaluation, both as a stand- alone method of course evaluation and as a supple- ment to ongoing methods.

마지막으로,이 연구는 소 그룹 교육에 대한 학생들의 인식을 교수 개발 프로그램에 통합시킨 최초의 연구 중 하나입니다 .24 우리는 소규모 그룹 강의를 주최하는 교수진 개발 워크샵을 개최했습니다. 지난 3 년 동안 우리는 학생들의 의견을 바탕으로 워크샵 투명 용지와 유인물을 개발했으며, 워크샵 전체 회의에서 그들의 인식에 대해 논의했습니다. 교사는 학생들의 인식에 매우 관심이 있었고 그들의 의견은 매우 유용한 토론을 불러 일으켰습니다. 사실, 많은 워크숍 참가자들이 자신의 활동을 위해 학생들의 발언이 정리된 copies를 요청했습니다. 우리의 포커스 그룹 연구 결과 발표는 다른 코스 디렉터에게 명확하게 묘사 된 컨텐츠 영역을 중심으로 포커스 그룹을 수행하도록 장려했습니다. 우리는 이러한 반응과 이러한 발견의 명백한 유용성에 감탄하였다. 효과적/비효과적 소그룹 교육 대한 학생들의 인식은 학부 프로그램과 FD계획 수립에 매우 중요합니다.

Finally, this study is among the first to incorporate student perceptions of small group teaching into a faculty development programme.24 In our setting, weregularly host faculty development workshops on small group teaching. For the last 3 years, we have developed workshop transparencies and handouts based on the students’ comments, and we have discussed their perceptions during the workshop plenary. Tutors have been very interested in the students’ perceptions and their comments have provoked very useful discussions. In fact, many workshop participants have requested copies of the students’ remarks for their own in-service activities. The presentations of our focus group findings have also encouraged other course directors to conduct focus groups around clearly delineated content areas.We have been heartened by this response, and the apparent usefulness of these findings. In our opin- ion, student perceptions of effective and ineffective small group teaching are invaluable in planning undergraduate programmes and faculty development initiatives.

16 Frasier PY, Slatt L, Kowlowitz V, Kollisch DO, Mintzer M. Focus groups: a useful tool for curriculum evalua- tion. Fam Med 1997;29 (7):500–7.

11 Ashar H, Lane M. Focus groups: an effective tool in higher education. J Cont Higher Educ 1993;41:9–13.

12 Gowdy EA. Effective student focus groups: the bright and early approach. Assess Eval Higher Educ 1996;21:185–9.

2004 Mar;38(3):286-93.

Student perceptions of effective small group teaching.

Steinert Y1.

Author information

1Faculty of Medicine, McGill University, Montreal, Quebec, Canada. yvonne.steinert@mcgill.ca

Abstract

PURPOSE:

The goal of this study was to assess student perceptions of effective small group teaching during preclinical training in a medical school that promotes an integrated, systems-based undergraduate curriculum. In particular, students were asked to comment on small group goals, effective tutor behaviours, pedagogical materials and methods of evaluation.

METHODS:

Six focus groups were held with 46 Year 1 and 2 medical students to assess their perceptions of effective small groupteaching in the 'Basis of Medicine' component of the undergraduate curriculum. Ethnographic content analysis guided the interpretation of the focus group data.

RESULTS:

Students identified tutor characteristics, a non-threatening group atmosphere, clinical relevance and integration, and pedagogical materials that encourage independent thinking and problem solving as the most important characteristics of effectivesmall groups. Tutor characteristics included personal attributes and the ability to promote group interaction and problem solving. Smallgroup teaching goals providing included opportunities to ask questions, to work as a team, and to learn to problem solve.

CONCLUSION:

This study highlighted the benefits of soliciting student impressions of effective small group teaching. The students' emphasis on group atmosphere and facilitation skills underscored the value of the tutor as a 'guide' to student learning. Similarly, their comments on effective cases emphasised the importance of clinical relevance, critical thinking and the integration of basic and clinical sciences. This study also suggested future avenues for research, such as a comparison of student and teacher perceptions of smallgroup teaching as well as an analysis of perceptions of effective small group learning across the educational continuum, including undergraduate, postgraduate and continuing professional education.

PMID:: 14996338

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수법 (소그룹, TBL, PBL 등)' 카테고리의 다른 글

효과적인 피드백을 통한 메타인지 발달(Med Teach, 2016) (0)	2017.08.25
인지모델을 사용한 양질의 다지선다형 문항 개발(Med Teach, 2016) (0)	2017.04.11
커크패트릭 모델 평가에 대한 비판적 분석: 선행의 원칙(Evaluation and Program Planning, 2004) (0)	2016.10.21
강의 동료평가 도구 개발과 교훈(Acad Med, 2009) [출력완료] (0)	2016.04.26
강의와 대형그룹 (Understanding Medical Education ch10) (0)	2016.03.15

결과타당도근거(Consequences Validity Evidence): 교육평가의 임팩트 (Acad Med, 2016)

Meded. 2016. 11. 16. 09:53

2016. 11. 16. 09:53

결과타당도근거(Consequences Validity Evidence): 교육평가의 임팩트 (Acad Med, 2016)

Consequences Validity Evidence: Evaluating the Impact of Educational Assessments

David A. Cook, MD, MHPE, and Matthew Lineberry, PhD

Emerging reforms 으로 인해 valid assessment가 중요해짐.

Emerging reforms in health professions education such as competency-based education, mastery learning, entrustable professional activities, and adaptive learning environments underscore the need for valid assessments of learning outcomes.

평가의 타당도에 대한 현재의 standard framework는 Messick이 1989년에 제안한 것.

The currently standard framework for thinking about assessment validity, first proposed by Messick1 in 1989, defines validity as

“the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests.”2

타당도는 이렇게 볼 수도 있다.

Validity can be viewed as

a hypothesis about the meaning (interpretations) and application (uses) of test scores.

일반적인 가설과 마찬가지로 validity hypothesis 역시 근거를 수집함으로서 검증될 수 있고, 수집된 근거는 강점/약점/Residual gaps 등을 도출하는 validity argument로 요약된다. 핵심 assumption을 타겟으로 한 근거가 강력한 validity argument를 만드는데 중요하다.

Like any hypothesis, the validity hypothesis can be tested by collecting evidence, which is then summarized in a coherent narrative or validity argument that identifies strengths, weaknesses, and residual gaps (i.e., the degree of support).3,4 Evidence targeting key assumptions is vital to crafting a strong validity argument.

다섯 개의 sources.

In this framework, evidence derives from five different sources:

content,
internal structure,
relationships with other variables,
response process, and
consequences (see Table 1).5,6

처음 세 개는 각각 content validity / reliability / criterion, correlational, and construct validity에 비견될 수 있다. 그리고 이것들은 교육자들이 잘 이해하고 있다.

The first three sources map to prior notions of content validity; reliability; and criterion, correlational, and construct validity, respectively,7 and as such have been readily understood by educators.

그러나 response process 나 consequences 에 대한 것은 기존 프레임워크에 해당하는 것이 없고, 교육자들은 이 개념을 이해하고 실제로 적용하는데 어려움을 겪는 것으로 보임.

However, the concepts of response process and consequences have no counterpart in the older framework, and in our experience it has been challenging for educators to understand these concepts and visualize how these might be implemented in practice.

그러나 여러 연구자들은 consequences evidence 의 중요성을 반복해서 강조하고 있다.

Yet, authors have repeatedly emphasized the critical significance of consequences evidence in presenting a compelling validity argument.3,5,6,9

consequences evidence 를 설명하고자 한다.

The purpose of this article is to explain consequences evidence in easily understood terms and propose a framework for organizing the collection and interpretation of such evidence along with several examples.

“Consequences”란 무엇인가?

What Do We Mean by “Consequences”?

Consequences evidence는 평가의 유익하거나 유해하거나 의도하거나 의도하지 않은 영향을 조사한다. 이러한 의미에서 평가는 개입intervention으로 간주 될 수있다.
Consequences evidence looks at the impact, beneficial or harmful and intended or unintended, of assessment.2,13 In this sense, assessment can be viewed as an intervention.

시험 관리, 시험, 점수 분석 및 해석, 후속 결정 및 조치(교정, 피드백, 판촉 또는 Board 인증 등)는 모두 평가 대상 및 다른 사람 및 시스템에 직접적인 영향을 미칩니다 ( 교사, 환자, 학교 등). 이러한 영향은, 이상적으로는, 실제 이익이 예상 이익과 일 치하는지, 그 이익이 비용이나 부작용보다 중요한지 판단하기 위해 평가되어야합니다.
The act of administering or taking a test, the analysis and interpretation of scores, and the ensuing decisions and actions (such as remediation, feedback, promotion, or board certification) all have direct impacts on those being assessed and on other people and systems (e.g., teachers, patients, schools). These impacts should ideally be evaluated to determine whether actual benefits align with anticipated benefits and outweigh costs and adverse effects.

유방 조영술은 유방암 검사를위한 평가 (진단 검사)입니다. 현재의 증거에 따르면 해석이 더 어렵고 판단이 내려지기 전에 old films와의 비교가 자주 필요하며 오탐 (false positive)이 흔하며 불필요한 생검 및 감정적 인 스트레스를받는 여성이 있기 때문에 젊은 여성에게 덜 유용하다고 제안합니다. 그러나 대부분의 전문가들은 50 세에서 74 세 사이의 여성의 경우 유방암의 부작용을 크게 줄이기 때문에 매년 유방 검사를받는 것이 유익하다는 것에 동의합니다 .24,25 유방조영술은 검사의 불완전성과 의도하지 않은 부정적 결과에도 불구하고, 시험의 영향은 전반적으로 유익하다.
Mammograms are assessments (diagnostic tests) used to screen for breast cancer. Current evidence suggests that they are less useful in younger women because interpretation is more difficult, that comparison with old films is often required before a judgment can be made, and that false positives are common and subject women to unnecessary biopsies and emotional stress.19–23 Yet most experts agree that for women aged 50 to 74, annual screening mammograms are beneficial because they substantially reduce the adverse consequences of breast cancer.24,25 Despite the imperfections of the test and unintended negative consequences of false-positive results, the test has an overall beneficial impact.

그러나 어떤 가이드라인에 따르면 젊은 여성 (위양성 비율이 더 높은 경우)과 노인 여성 (유방암으로 사망하기 전에 다른 원인으로 사망 할 수도 있음)의 경우, 유방 X 선 검사는 자동으로 수행되어서는 안됩니다. 논란의 여지가있다 .26 다른 임상 예에는 심장 마비 진단을위한 brain natriuretic peptide 의 사용, 대장 암 검진을위한 유연한 S 자 결장경 검사 28, 관상 동맥 질환 탐지를위한 컴퓨터 단층 촬영 혈관 조영술 29이 포함된다. 이 검사들 각각은 무작위연구를 통해서 검사를 받지 않았을 경우와 비교했을 때 장기적인 영향이 어떠한지 평가된 바 있다. 검사라는 것은 비용, 편익 및 잠재적 harm를 수반하는 Intervention이다.
However, for younger women (for whom the false-positive rate is higher20) and for older women (who might die of other causes before they die of breast cancer) screening mammograms should not be automatic according to some guidelines,24 although this is a matter of controversy.26 Other clinical examples include the use of brain natriuretic peptide for diagnosing heart failure,27 flexible sigmoidoscopy for colon cancer screening,28 and computed tomographic angiography for detection of coronary artery disease29—each of which has been evaluated using randomized trials comparing the long-term impact of testing (and its associated clinical decisions) vs no testing. In each case, the act of testing is in fact an intervention with costs, benefits, and potential harms.

마찬가지로, 교육 평가 역시 잠재적인 비용, 편익 및 손해가 있는 intervention으로 간주 될 수 있습니다. 예를 들어, 보드 인증 시험은 무능한 의사로부터 환자를 보호하고 의사에게 공부를 하게끔 encourage할 수 있지만 시험보는 능력은 떨어지는 유능한 의사에게 불필요한 remediation을 하도록 강요 할 수 있습니다. 이때 이 시험은 의사와 환자의 삶에 "개입"되어 유익하거나 해로운 결과를 가져옵니다.
Similarly, educational assessments can be viewed as interventions with potential costs, benefits, and harms. For example, a board certification exam might protect patients from incompetent physicians and encourage physicians to study, but might also force competent physicians with poor test-taking skills to engage in needless remediation. This exam has “intervened” in the lives of physicians and patients and led to both beneficial and harmful consequences.

다른 말로 표현하자면 Consequences evidence 는 "우리가 측정하고 있다고 생각하는 것을 측정하고 있습니까?"(다른 유효성의 증거에 의해 답변 된 질문) 문제를 다루지 않습니다. 오히려, "측정 활동과 그에 따른 해석 및 점수 적용이 부작용이 거의없이 원하는 결과를 얻나요?"
Stated another way: Consequences evidence does not address the question, “Are we measuring what we think we are measuring?” (a question answered by the other sources of validity evidence). Rather, it addresses, “Does the activity of measuring and the subsequent interpretation and application of scores achieve our desired results with few negative side effects?”

연구자들은 때때로 consequence를 validity evidence의 출처 (이 논문의 초점)와 "결과"라는 단어의 다른 용도 (예 : 영향 또는 결과의 일반적인 동의어)로 혼동합니다. 예를 들어, 교육 활동 (코스, 커리큘럼, 온라인 모듈 또는 시뮬레이션 시나리오)의 결과를 테스트 환경이나 실제 임상에서 측정 된 outcome measure를 사용하여 평가하고는 한다. 이러한 교육 개입의 평가는 assessment validity을 뒷받침하는 consequences evidence를 평가하는 연구와 개념적으로 구별된다

Investigators occasionally confuse consequences as a source of assessment validity evidence (the focus of this article) with other uses of the word “consequences” (e.g., as a general synonym for impact or outcome). For example, studies often evaluate the consequences of training activities (courses, curricula, online modules, or simulation scenarios) using outcomes measured in a test setting or in real clinical practice; such evaluations of training interventions are conceptually distinct from studies evaluating consequences evidence to support assessment validity

혹은, assessment validation은 시험 점수와 환자, 프로그램 또는 사회의 다른 동시 또는 미래 측정 (즉, 실제 결과 또는 "결과") 간의 연관성을 평가할 수 있습니다. 그러한 association은 "relationships with other variables"를 확립함으로써 validity argument에 도움이 되겠지만 consequences validity evidence 를 반영하지는 않는다 (즉, 평가 자체의 consequence보다는 점수 간의 relationship에 중점을 둡니다).
Alternatively, an assessment validation study might evaluate the association between test scores and other concurrent or future measurements of patients, programs, or society (i.e., real- life outcomes or “consequences”). Such associations would inform the validity argument by establishing “relationships with other variables”2,7 but would not reflect consequences validity evidence (i.e., the analysis focuses on the relationships among scores rather than the consequences of the assessment itself).

물론 impact 측정이 평가 consequences(평가는 결국 개입이므로)의 증거가되며, 상관 분석은 결과 증거를 제공 할 수있는 상황이 있습니다 (표 2 및 예 1 참조). 중요한 것은 연구 설계 나 통계 분석이 아니라 오히려 validity argument에서 증거가 어떻게 제시되는지입니다. Consequences evidence 는 해석의 영향과 평가 점수의 사용을 결정establish합니다.
Of course, there are situations in which measures of impact constitute evidence of assessment consequences (assessments are, after all, interventions), and correlational analyses can provide consequences evidence (see Table 2 and Appendix 1 for examples). What matters is not the study design or statistical analysis but, rather, how the evidence is presented in the validity argument: Consequences evidence establishes the impact of interpretations and uses of assessment scores.

The Importance of Consequences Evidence

임상의는 pt management를 향상시키지 않는다면 종종 검사를 하지 말라고 교육받는다. 교육 평가의 경우에도 마찬가지입니다. (교육 평가는) 학습 성과 향상이 비용 및 잠재적 위험보다 크지 않다면 사용해서는 안됩니다. Messick1 (p85)은 "테스트의 결과와 부작용에 대한 평가는 테스트 사용의 유효성 확인에서 핵심적인 부분입니다."Kane's3 (p54)는 최근의 유효성 재구성 개념을 재구성하여 유사한 결과를 뒷받침하는 증거에 유사한 우선 순위를 부여합니다 평가 : "결과 또는 결과는 의사 결정 절차 평가의 최종선입니다. 목표를 달성하지 못하거나 너무 높은 비용으로 의사 결정 절차를 포기한 경우에도 완벽하게 정확한 정보를 바탕으로 결정 절차가 포기 될 수 있습니다. "다른 저자도 결과 증거의 우위를지지했습니다 .5,6 , 9

Clinicians are often taught not to order a test if it won’t improve patient management. The same holds true for educational assessments: If they do not lead to improved learning outcomes sufficient to outweigh costs and potential harms, they should not be used.

Messick1(p85) argued that “Evaluation of the consequences and side effects of testing is a key aspect of the validation of test use.”
Kane’s3(p54) more recent conceptual reframing of validation, gives similar priority to evidence supporting the consequences of assessment: “Consequences, or outcomes, are the bottom line in evaluating decision procedures. A decision procedure that does not achieve its goals, or does so at too high a cost, is likely to be abandoned, even if it is based on perfectly accurate information.”
다른 저자도 consequences evidence의 우위를지지했습니다.
Other authors have also supported the primacy of consequences evidence.5,6,9

진단 검사의 가치에 대한 궁극적인 증거가 진료에 미치는 영향인 것과 마찬가지로 교육 평가의 가치에 대한 궁극적 인 증거는 학습자, 교사를 비롯하여 대중과 시스템에 미치는 영향입니다 .12 임상 시험과 마찬가지로 교육 평가는 의도 한 이익을 실현시키지 못하거나 이익을 상회하는 비용 또는 의도하지 않은 부정적 결과를 초래할 수 있습니다 .12,13,17

Just as the ultimate evidence for the value of a diagnostic test is the impact on practice, the ultimate evidence for the value of an educational assessment is the impact on learners, teachers, and the people and systems they influence.12 Like clinical tests, educational assessments may fail to realize their intended benefits or may have costs or unintended negative consequences that outweigh the benefits.12,13,17

(부정적 결과를 초래한) 그런 경우에는 도구 개발의 정확성, 점수의 신뢰성 및 다른 변수와의 점수 상관 관계의 강도가 실제로 중요하지 않다고 주장 할 수 있습니다. 이러한 우려는 Board 자격 갱신 과정에서 이뤄지는 고부담 시험에 대한 많은 비판을 뒷받침합니다 .30 이러한 이유 때문에 결과의 증거가 궁극적으로 validity argument의 가장 중요한 source라고 생각합니다.

In such instances one could argue that the rigor of instrument development, the reliability of scores, and the strength of score correlations with other variables really don’t matter. Such concerns underpin many recent criticisms of high-stakes testing as part of the board recertification process.30 For this reason, we believe that evidence of consequences is ultimately the most important source of validity evidence.

HPE연구에서 Consequences Evidence

Consequences Evidence in Health Professions Education Research

Consequences evidence 는 보건 전문가 교육에서 보고되는 일이 드물다
Consequences evidence is reported only infrequently in health professions education.

A systematic review of 22 clinical teaching assessments found only 2 studies (9%) that reported consequences evidence, and in neither case did the original researchers identify the evidence as such.

One study found that providing formative feedback to teachers enhanced their teaching scores,31 whereas
the other study found that the assessment raised awareness of effective teaching behaviors.32

A systematic review of 417 articles examining simulation- based assessment6 found only 20 studies (5%) reporting consequences evidence.

The majority of this evidence comprised establishing a pass/fail cut point (n = 14).
Two studies explored an anticipated impact on students or patients,33,34 3 contrasted the number of actual vs. expected passing grades,35–37 and
1 study noted differential item functioning as a possible source of invalidity.38 No study reported an unanticipated impact.

Finally, a systematic review of 55 studies evaluating assessment tools for direct observation18 found 11 studies (20%) reporting consequences evidence other than satisfaction with the assessment activity. All of these evaluated the impact of assessment,

documenting outcomes including curricular changes based on common deficiencies,39
improved feedback,40–43
poor recall of feedback provided (i.e., failure to achieve intended consequence),44
improved objectively measured skills,45,46 and
increased test preparation activities.47

A Framework for Evaluating Consequences Evidence

Consequences evidence 는 학습자, 교육자 및 교육 기관 등 다양한 당사자에 대한 평가의 영향에 대한 데이터로 구성됩니다. 환자, 제공자 및 건강 관리 기관; 심지어는 사회 전체에 대한 영향도 포함된다. 이러한 영향은 유익하거나 유해 할 수 있으며 의도적이거나 의도하지 않을 수 있습니다 .13

의도적인 이익은 아마도 예상하고 측정하기가 가장 쉽습니다.

의도하지 않은 피해는 (쉽게 예상되거나 명시 적으로 목표를 정할 수 없기 때문에) 가장 어려울 수 있습니다 .48

Consequences evidence consists of data on the impact of an assessment on diverse parties: learners, educators, and educational institutions; patients, providers, and health care institutions; and even society at large. Such impact can be beneficial or harmful, and it may be intentional or unintentional.13 Intentional benefits are probably the easiest to anticipate and measure; unintentional harms may be the most difficult (because they cannot be easilyanticipated or explicitly targeted).48

전문가들은 간접적인 영향 (예 : 학생 동기 또는 준비 활동, 강사 수업 계획 및 대중 인식에 대한 영향)으로부터 점수 사용 (예 :지도 지침 또는 진급 결정)의 직접적인 효과를 구별합니다 .17 그러나 이러한 분류는 일단 수집된 근거를 분류, 해석, 보고할 때에는 유용할지 모르나, validation study를 계획할 때 potential source로 광범위하게 고려하는 것을 돕기에는 부적절합니다.

Experts have also distinguished direct effects of score use (e.g., instructional guidance or advancement decisions) from indirect effects (e.g., influence on student motivation or preparation activities, instructor lesson plans, and public perceptions).17 However, although these classifications are helpful for categorizing, interpreting, and reporting consequences evidence once it has been collected, they are inadequate for helping investigators to consider broadly the potential sources of consequences evidence when planning an assessment validation study.

또한 proposed theory에 따라서 동일한 효과도 의도되거나 의도되지 않은 것으로, 유익하거나 또는 유해한 것으로, 직접적이거나 간접적인 것으로 생각 될 수 있습니다.

Moreover, the same effect might be considered intended or unintended, beneficial or harmful, and direct or indirect depending on the proposed theory, interpretation, and use of the assessment.

mastery goal oritentation을 의도했으나, performance goal orientation을 가질수도
For example, an assessment might have unintended effects on learners’ general orientations toward performing well relative to peers vs. mastering content for its own sake (performance vs. mastery goal orientations49). However, promoting stronger mastery goal orientations may be an explicitly intended consequence of assessment when adopting a mastery learning curricular model.50
위험을 줄이기 위한 의사의 행동이 보는 측면에 따라 beneficial할 수도, detrimental할 수도.
Similarly, one could imagine educational assessments that lead physicians to be risk averse in beneficial ways (e.g., carefully following protocol for central line placement after a central line assessment) or in detrimental ways (e.g., practicing “defensive medicine” by ordering unnecessary lab tests after a test of medical knowledge).

이전의 저자들은 classification cut points의 rigor, appropriateness, and consistency 에 대한 평가를 consequences evidence로 포함시켰다 .5-7,50 이러한 증거는 평가에서 비롯된 함의와 결정에 직접적인 영향을 미치지 만, 우리는 평가의 실제 결과에 영향을 미치기보다는 그것이 영향을 주기 때문에 preconsequences evidence 로 더 정확하게 분류 될 수 있다고 생각합니다. 이것을 고려하더라도, 우리는 그러한 증거가 Messick의 프레임 워크에서 결과 증거로 가장 적절하게 일치한다는 것에 계속 동의합니다. (Kane의 최근의 프레임워크에서 그러한 evidence는 "implications and decision"에 대한 inference에 잘 들어 맞는다3,9)

Previous authors, including ourselves, have included evaluations of the rigor, appropriateness, and consistency of classification cut points and labels as consequences evidence.5–7,50 Although such evidence has direct bearing on the implications and decisions arising from the assessment, on careful reflection we believe it might be more correctly labeled preconsequences evidence because it affects, rather than results from, the actual consequences of assessment. With this caveat, we continue to agree that such evidence fits most appropriately as consequences evidence in Messick’s framework. (As an aside, we note that in Kane’s more recent framework such evidence fits squarely under the inference of “implications and decision.”3,9)

연구자들의 consequences evidence 자료 수집과 자료 소비자들의 evidence gap 도출을 돕기 위하여, 위의 개념을 통합한 comprehensive framework를 만들었다.

In considering how to help investigators prospectively plan the collection of consequences evidence and help consumers identify evidence gaps, we have integrated the above conceptual elements to create a comprehensive framework for systematically prioritizing and organizing consequences evidence.

First, evidence can derive from evaluations of the impact on examinees, educators, and other stakeholders (e.g., patients), and the impact of classifications (“preconsequences,” e.g., different cut scores or labels, and accuracy across examinee subgroups).
Second, studies can be distinguished as evaluating the impact of test score use (similar to the “direct” effects noted above) such as the effectiveness of score-guided remediation or advancement decisions; or the impact of the assessment activity itself (independent of scores) such as change in preassessment study behaviors or the effect of test-enhanced learning.

임상에 비유한다면: 암을 발견 할 수 있다는 두려움 때문에 잠재적 인 통증이나 재정적 인 비용 (검사점수의 활용으로 인한 impact)에 대해 걱정할지도 모를 여성은 다가오는 유방 X 선 사진에 대해 불안해 할 수도 있습니다. ("점수"와 무관 한 시험 활동). 이러한 각각의 차원에는 의도되었거나 의도되지 않았거나 유익하거나 유해한 결과가 포함될 수 있습니다. 후자의 점을 추가하면 4 차원 프레임 워크가 완료됩니다 (그림 1 참조).
To use a clinical example: A woman might get anxious about an upcoming mammogram because she is scared that it might detect cancer (impact of [anticipated] “score” use), or she might be worried about the potential pain or financial cost (impact of the test activity independent of the “score”). Each of these dimensions could include consequences that are intended or unintended, and beneficial or harmful; adding the latter points completes a four-dimensional framework (see Figure 1).

Appendix 1 with examples spanning all dimensions.

임상 진단 테스트와 교육 평가 모두에 대한 테스트의 impact을 평가하는 직접적인 접근법은 테스팅을 완료하기 위해 절반을 무작위로 테스트하고 테스트하지 않기 위해 나머지 절반을 무작위로 추출하는 것입니다 (13,51).

A straightforward approach to evaluate a test’s impact—for both a clinical diagnostic test and for an educational assessment—would be to randomize half to complete the test and the other half to no test,13,51

덜 강력하지만 여전히 유용한 접근법은 덜 엄격한 연구 설계 (예 : 비 무작위 집단, 단일 그룹 사전 테스트 - 사후 테스트 또는 단일 그룹 사후 테스트 전용 연구)를 사용하지만 동일한 결과를 측정 할 수 있습니다. 평가 대상자 만이 평가의 영향을받는 것은 아닙니다.

A less robust but still useful approach might use less rigorous study designs (such as nonrandomized cohort, single-group pretest–posttest, or even single-group posttest-only studies) but measure the same outcomes. Those being assessed are not the only ones impacted by an assessment.

preconsequences 증거 . 평가결과(interpretations and decision)에 근거한 classification의 defensibility에 직접적으로 영향을 주는 요인들을 포함한다.

As noted above, preconsequences evidence includes factors that directly influence the defensibility of classifications based on test results (interpretations and decisions), such as

검사가 뭐라고 불리는가 the labels applied to the test itself and any subtests1;
합격선의 결정 the definition of the passing score (e.g., at what point is remediation required?)5; and
(비슷해야하는) 하위그룹간의 점수차이 존재여부 differences in scores among subgroups where performance ought to be similar (e.g., men vs. women), suggesting that decisions may be spurious.52
합/불합 비율 Finally, investigators could monitor pass/fail rates; for example, a failure rate higher or lower than expected might indicate a test that is either too hard or too easy, respectively.

그럼에도 불구하고 예상 할 수없고 전향 적으로 측정 할 수있는 의도하지 않은 결과unintended consequence는 사실 후에 만 식별 할 수있는 예기치 않은 결과unforeseeable consequence와 구별됩니다. 우리는 데이터가 숫자 일 필요는 없다는 점을 강조합니다. 적절하게 계획되고 수집 된 질적 데이터는 특히 의도하지 않았거나 예측할 수없는 결과를 확인하고자 할 때 강력한 증거를 제공 할 수 있습니다.

We distinguish unintended consequences, which can be nonetheless anticipated and prospectively measured, from unforeseeable consequences, which can only be identified after the fact. We further emphasize that data need not be numeric. Qualitative data, properly planned and collected, could provide strong evidence9—especially when seeking to identify unintended or unforeseeable consequences.

이 예들의 많은 데이터는 매우 주관적이며 대안 해석이 가능합니다. 예를 들어, 점수가 동일해야 할 경우 하위 그룹 간의 점수 차이는 무효의 표시 일 수 있지만 점수가 다를 것으로 예상되는 경우 유효성을 지원하는 것으로 해석 될 수도 있습니다. 마찬가지로 이상적인 failure rate 은 상황에 따라 다릅니다. 평가와 그 결과를 연결하는 행동 이론theory of action 에 의해 종종 유도되는 validity arguement9,10,53을지지하거나 훼손시키는 것이 무엇인지를 사전에 분명히 밝혀야한다 .3,54

궁극적으로, 그러나 평가와 그 결과 사이에 명확한 원인 - 결과 관계를 보여주기 어려울 수 있다. 그렇다고 해서 교육자가 validity argument의 중요한 요소를 무시하는 것을 정당화해서는 안된다. 다양한 증거 자료와 데이터 수집 방법의 삼각 측량은 방어 할 수있는 주장을 수립하는 데 도움이 될 것입니다.

The data in many of these examples are highly subjective and open to alternative interpretation. For example, score differences among subgroups could be a sign of invalidity if scores should be the same, but could also be interpreted as supporting validity if scores would be expected to vary. Similarly, the ideal failure rate will vary by situation. It is essential to articulate in advance what findings would support or undermine the validity argument,9,10,53 often guided by a theory of action linking the assessment and its consequences.3,54 Ultimately, it may be difficult if not impossible to establish a clear cause–effect relationship between the assessment and its consequences.14 This should not, however, justify educators in ignoring this important element of the validity argument. Triangulation of different evidence sources and data collection methods will help establish a defensible argument.

마지막으로 평가의 의도 된 용도의 부작용side effect을 오용misuse의 영향과 혼동해서는 안됩니다 .10 기존의 증거의 범위를 벗어나는 테스트 점수의 적용은 엄밀히 말해서 오용이라고 할 수 있습니다. 여기에는 평가를 새로운 목적에 사용하는 것 (예 : 면허 시험 점수를 사용하여 입학 결정을 알리는 것)를 채택하거나 도구, 절차 또는 학습자 집단의 요소를 변경하여 평가를 적용하는 것이 포함됩니다. 기존 평가를 채택하거나 채택하는 것이 일반적이지만 종종

"시험 제작자는 테스트 오용으로 인한 부정적인 결과에 대해 책임을지지 않습니다. ... 사용자가 테스트 개발자가 승인하고 시험하지 않은 목적으로 적절한 테스트를 수행 할 때 사용자는 필요한 유효성 조사를 수행 할 책임이 있습니다. "13 (p8)

Finally, the side effects of intended uses of an assessment should not be confused with the effects of misuse.10 Any application of test scores beyond the scope of existing evidence constitutes, strictly speaking, a misuse. This would include adopting an assessment for new purposes (e.g., using licensure exam scores to inform admissions decisions) or adapting an assessment by changing elements in the instrument, procedures, or learner population. Although it is commonplace and often profitable to adopt or adapt an existing assessment, those doing so should remember that

“Test makers are not responsible for negative consequences following from test misuse.… When users appropriate tests for purposes not sanctioned and studied by the test developers, users become responsible for conducting the needed validity investigation.”13(p8)

Consequences Evidence 사용하기

Identifying and Using Consequences Evidence in Practice

모든 consequences evidence 가 똑같이 compelling 한 것은 아닙니다. 같은 시험을 한 번 더 보면, 시험 점수를 간단하게 향상시킬 수 있습니다 (예 : "재시험을했을 때 학생이 더 좋았으며, 이는 첫 번째 시험의 결과로 기술이 향상되었음을 시사한다"). 이런 것은 설득력있는 consequence evidence에 기여하지 못한다. 왜냐하면 우리가이 변화에 대한 대안적 설명이 충분히 존재하기 때문이다 (즉, 다른 경험으로부터 배우기).

Not all consequences evidence is equally compelling. Simple improvement in test scores from one testing occasion to the next (e.g., “Students did better when they were retested, suggesting that their skills had improved as a result of the first test”) would not, for example, contribute persuasive evidence of consequences because we can imagine plausible alternative explanations for this change (i.e., learning from other experiences).

평가에 대한 만족도, 자기평가 점수의 향상, 비교 기준점이없는 합격 / 불합격률에 대한 학습자 및 교수 평가는 유용하지만 다소 약한 증거를 제공합니다.
Learner and faculty ratings of satisfaction with the assessment, self-reported improvements in skill attributed to the assessment, and pass/fail rates without a comparison reference point would provide useful but rather weak evidence.

유사하게, 합격 / 불합격 컷오프 포인트의 수립은, 얼마나 엄격하게 수행되었는지에 관계없이, 실제로 컷팅 포인트의 결과가 평가 될 때까지 비교적 약한 증거이다. 강력한 양적 또는 질적 데이터가없는 일화anecdote는 마찬가지로 약한 지원만을 제공합니다.
Similarly, the establishment of a pass/fail cut point, regardless of how rigorously done, is relatively weak evidence until the consequences of that cut point have been evaluated in practice. Anecdotes without robust quantitative or qualitative data likewise provide only weak support.

보다 강력한 증거는 비교 집단 (무작위 또는 무작위 적으로 역사적 또는 병행 대조군)을 사용한 연구에서 나올 것이다. 시험 자체와는 다른 원하는 결과의 객관적 측정. 또는 엄격한 질적 데이터 수집 및 분석.
Stronger evidence will come from studies using a comparison group (randomized, or nonrandomized historical or concurrent control group); objective measures of the desired outcomes that are different from the test itself; or rigorous qualitative data collection and analysis.

consequences evidence 가 가장 중요한 증거이지만 테스트 개발자, 테스트 사용자, 연구원 및 저널 편집자는 validity argument를 구성하는 여러 요소 중 하나라는 것을 기억해야합니다. 어떤 단일 소스도 dominate 할 수 없다. 더욱이 강력한 consequences evidence 는 "테스트가 일정 기간 동안 의도 된대로 사용되기 전까지는 증거를 수집 할 수 없습니다."14 (p15) 이와 같이 단계별 접근법은 합리적인 것처럼 보입니다. 초기 장비 평가에서는 쉽고 비용이 적게 드는 증거 소스 (예 : 콘텐츠, 내부 구조 / 신뢰성, 다른 변수와의 관계, 대응 프로세스 [표 1 참조])를 수집하고 이 증거가 도움이된다면 그 이후 엄격한 평가로 진행할 것을 제안합니다.

Although consequences evidence is the most important source of evidence, test developers, test users, researchers, and journal editors must remember that it constitutes only one of several elements in a comprehensive validity argument. No single source can or should dominate. Moreover, robust consequences “evidence cannot be collected until the test is used as intended for some period of time.”14(p15) As such, a stepwise approach seems reasonable. We propose that during initial instrument evaluation, developers and researchers might prioritize presumably easier and less costly evidence sources (e.g., content, internal structure/ reliability, relationships with other variables, response process [see Table 1]) and then progress to rigorous evaluation of consequences if this evidence proves supportive.

consequences evidence 의 유형, 수량 및 엄격 성은 평가에 따라 달라질 것입니다

The type, quantity, and rigor of consequences evidence will vary depending on the assessment

예를 들어, 환자 안전을 향상시키는 것으로 주장되는 면허 시험 (예상되는 혜택)은 실패한 의사의 고용 가능성에 영향을 미칩니다. 그러한 평가는 의학적 학생에게 피드백을 촉진하기 위해 고안된 평가보다 더 큰 evidence of consequences 가 될 수 있습니다 (예 : 예상되는 이익 실현, 합격 / 불합격 기준 설정 방법, 유능한 의사의 실패 횟수).

For example, a licensure exam that claims to enhance patient safety (anticipated benefit) will impact the employability of physicians who fail. Such an assessment likely merits greater evidence of consequences (e.g., Are anticipated benefits realized? How was the pass/fail cut point established? How often do competent physicians fail?) than an assessment designed to promote feedback to medical students.

그러나 일부 "저부담"시험은 잠재적으로 중대한 결과를 가져올 수 있습니다. 특히 대규모로 구현되거나 장시간 반복되는 경우에 특히 그렇습니다. 예를 들어, 피드백을 촉진하기위한 평가는 1 년 내내 매일 실시 될 경우 역량, 전문적 정체성, 자기 주도적 학습 및 자기 효능감의 여러 영역에서 상당한 누적 효과를 나타낼 수 있습니다.

However, some supposedly “low-stakes” exams could have potentially significant consequences, especially if implemented on a large scale or repeated over an extended period of time. For example, an assessment intended to promote feedback could have significant cumulative effects across multiple domains of competence, professional identity, self-directed learning, and self-efficacy if administered daily over an entire year of training.

바람직하지 않은 validity evidence 는 종종 평가 과정의 다른 문제를 지적해내기도 합니다. Negative consequences는 네 가지 근본적인 문제 중 하나로 추적 할 수 있습니다. .
Unfavorable validity evidence often points to problems elsewhere in the assessment process. Negative consequences can usually be traced back to one of four underlying problems3:

the measurement or scoring procedure (e.g., irrelevant, unreliable, or omitted test items);
the specific interpretation (e.g., an inappropriate pass/fail cut point);
the attribute being measured (i.e., the wrong construct); or
the response (e.g., the actions that follow the decision).

Concluding Remarks

결론적으로, 우리는 다음을 강조한다.

첫째, 평가는 실제로 진단용 검사이며, 의학 및 교육 분야에서 모두 중재로 간주 될 수 있습니다.
둘째, 타당도 증거는 impact of assessments (as interventions) on examinees and other stakeholders와 the defensibility of score classifications (“preconsequences” evidence)를 조사합니다. 이러한 결과는 점수 사용이나 평가 활동 자체에서 비롯 될 수 있으며 의도적이거나 의도하지 않고 유익하거나 유해 할 수 있습니다.
셋째, 타당도 증거가 결과의 가장 중요한 원천이다. 왜냐하면 평가가 원하는 영향을 미치지 않으면 사용해서는 안되기 때문이다.
마지막으로, 결과의 유형, 수량 및 엄격 성은 평가 및 사용 목적에 따라 달라질 것입니다.

In conclusion, we emphasize the following. First, assessments are really diagnostic tests, and both in medicine and in education they can be viewed as interventions. Second, consequences validity evidence looks at the impact of assessments (as interventions) on examinees and other stakeholders, and the defensibility of score classifications (“preconsequences” evidence). Such consequences can arise from score use or the assessment activity itself, and can be intentional or unintended and beneficial or harmful. Third, consequences validity evidence is the most important source of evidence because if the assessment does not have the desired impact, it should not be used. Finally, the type, quantity, and rigor of consequences evidence will vary depending on the assessment and the claims for its use.

Acad Med. 2016 Jun;91(6):785-95. doi: 10.1097/ACM.0000000000001114.

Consequences Validity Evidence: Evaluating the Impact of Educational Assessments.

Cook DA1, Lineberry M.

Author information

1D.A. Cook is professor of medicine and medical education, associate director, Mayo Clinic Online Learning, and consultant, Division of General Internal Medicine, Mayo Clinic College of Medicine, Rochester, Minnesota. M. Lineberry is assistant professor of medical education, Department of Medical Education, and assistant director for research, Graham Clinical Performance Center, University of Illinois at Chicago, Chicago, Illinois.

Abstract

Because tests that do not alter management (i.e., influence decisions and actions) should not be performed, data on the consequences of assessment constitute a critical source of validity evidence. Consequences validity evidence is challenging for many educators to understand, perhaps because it has no counterpart in the older framework of content, criterion, and construct validity. The authors' purpose is to explain consequences validity evidence and propose a framework for organizing its collection and interpretation.Both clinical and educational assessments can be viewed as interventions. The act of administering or taking a test, the interpretation of scores, and the ensuing decisions and actions influence those being assessed (e.g., patients or students) and other people and systems (e.g., physicians, teachers, hospitals, schools). Consequences validity evidence examines such impacts of assessments. Despite its importance, consequences evidence is reported infrequently in health professions education (range 5%-20% of studies in recent systematic reviews) and is typically limited in scope and rigor.Consequences validity evidence can derive from evaluations of the impact on examinees, educators, schools, or the end target of practice (e.g., patients or health care systems); and the downstream impact of classifications (e.g., different score cut points and labels). Impact can result from the uses of scores or from the assessment activity itself, and can be intended or unintended and beneficial or harmful. Both quantitative and qualitative research methods are useful. The type, quantity, and rigor of consequences evidence required will vary depending on the assessment and the claims for its use.

PMID:: 26839945
DOI:: 10.1097/ACM.0000000000001114

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 평가법 (Portfolio 등)' 카테고리의 다른 글

오픈북 시험과 클로즈드북 시험 비교(Systematic Review) (Acad Med, 2016) [출력완료] (0)	2016.11.18
그룹활동에서 "나" 평가하기: 현황과 권고(Med Teach, 2016) (0)	2016.11.18
Blurprinting을 위한 12가지 팁(Med Teach, 2009) (0)	2016.11.14
차이에 관하여: 왜 전문가-초심자 비교가 타당도주장에 기여하는 바가 별로 없는가(Adv in Health Sci Educ, 2015) (0)	2016.11.07
MCQ에서 CIV와 IWF: 원칙이 차이를 만드는가?(Acad Med, 2002) (0)	2016.11.07

교수개발에 관한 Systematic review : 10년간의 업데이트 (BEME Guide No. 40) (참고문헌 검색)

Meded. 2016. 11. 16. 09:38

2016. 11. 16. 09:38

교수개발에 관한 Systematic review : 10년간의 업데이트 (BEME Guide No. 40)

A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update: BEME Guide No. 40

Yvonne Steinerta, Karen Mannb, Brownell Andersonc, Bonnie Maureen Barnettd, Angel Centenoe, Laura Naismithf, David Prideauxg, John Spencerh, Ellen Tulloi, Thomas Viggianoj, Helena Wardk and Diana Dolmansl

aCentre for Medical Education, Faculty of Medicine, McGill University, Montreal, Canada; bDivision of Medical Education, Faculty of Medicine, Dalhousie University, Halifax, Canada; cInternational Programs, National Board of Medical Examiners, Philadelphia, PA, USA; dDepartment of Integrated Studies in Education, Faculty of Education, McGill University, Montreal, Canada; eFaculty of Biomedical Sciences, Austral University, Buenos Aires, Argentina; fHoPingKong Centre for Excellence in Education and Practice and The Wilson Centre, University Health Network, Toronto, Canada; gPrideaux Centre for Research in Health Professions Education, School of Medicine, Flinders University, Adelaide, Australia; hSchool of Medical Education, Faculty of Medical Sciences, Newcastle University, Newcastle upon Tyne, UK; iNewcastle NIHR Biomedical Research Centre in Ageing and Chronic Disease and Institute of Health and Society, Newcastle University, Newcastle upon Tyne, UK; jMayo Clinic College of Medicine, Rochester, MN, USA; kMedicine Learning and Teaching Unit, School of Medicine, The University of Adelaide, Adelaide, Australia; lSchool of Health Professions Education (SHE), Maastricht University, Maastricht, The Netherlands

도입

Introduction

교육 및 평가의 새로운 교육 추세에 대응하여 대부분의 의과 대학 및 교육 기관에서는 교수 및 교사로서의 기술을 향상시키는 데 도움이되는 다양한 프로그램 및 활동을 제공합니다 (Steinert 2014).

In response to new educational trends in teaching and assessment, most medical schools and educational organizations now offer a variety of programs and activities to help faculty members improve their skills as teachers and educators (Steinert 2014).

FD는 health professionals가 개인 및 그룹 환경(individual and group settings) 모두에서 교사, 교육자, 지도자 및 관리자, 연구원 및 학자로서 지식, 기술 및 행동을 향상시키기 위해 추구하는 모든 활동을 나타냅니다 (Steinert 2014).

Faculty development, refers to all activities health professionals pursue to improve their knowledge, skills and behaviors as teachers and educators, leaders and managers, and researchers and scholars, in both individual and group settings (Steinert 2014).

최근 교수진의 비공식 학습informal learning이 진정한authentic 환경에서의 교육 전문성 개발이 강조되고 있다(Webster-Wright 2009).

it has recently been suggested that faculty members informal learning develop educational expertise through opportunities in authentic environments (Webster-Wright 2009).

그림 1 (Steinert 2010)에서 볼 수 있듯이 FDP는 형식formal (예 : 일회성 워크샵에서 종단 프로그램으로)과 목적purpose (예 : 교육신념, 교육리더십, 스칼라십 등), 개인 및 그룹 설정 모두 다양한 교육 전략을 사용합니다.
As Figure 1 illustrates (Steinert 2010), faculty develop- ment programs can differ in format (e.g. from one-time workshops to longitudinal programs) and purpose (e.g. from focusing on teaching beliefs and skills to educational leader- ship and scholarship), in both individual and group settings, using a variety of educational strategies.

2006 년 우리는 교수 효과를 높이기 위해 고안된 교수 개발 활동을 검토했습니다 (Steinert 외. 2006). 1980 년에서 2002 년까지의 논문을 요약한

이 리뷰의 주요 결과는 교수 개발 프로그램에 대한 높은 만족도, 교수 개발 및 가르침에 대한 태도의 긍정적 변화. 교육적 원칙과 교수법에 대한 지식과 기술에 대한 자기보고 된 이익; 교사의 행동에 대한 자기보고 된 변화. 조직의 실천 (예 : 동료 네트워크의 수립) 또는 학생 학습의 변화가 거의 없습니다.

효과적인 교수 개발의 주요 특징은 또한 다음을 포함하여 확인되었습니다 : 체험 학습의 사용; 피드백 제공; 효과적인 동료 및 동료 관계; 교수 및 학습의 원칙에 따라 잘 설계된 개입; 및 단일 개입 내에서 교육 방법의 다양성. 현장에서의 연구를위한 권고도 제안되었다.

In 2006, we conducted a review of faculty development activities designed to enhance teaching effectiveness (Steinert et al. 2006). That review, which summarized articles from 1980 to 2002, reported the following outcomes:

high satisfaction with faculty development programs;
positive changes in attitudes toward faculty development and teach- ing;
self-reported gains in knowledge and skills of educa- tional principles and teaching;
self-reported changes in teaching behavior, with some observed changes in teaching performance; and
few changes in organizational practice (e.g. establishment of collegial networks) or student learn- ing.

Key features of effective faculty development were also identified, including:

the use of experiential learning;
the provision of feedback;
effective peer and colleague relation- ships;
well-designed interventions following principles of teaching and learning; and
a diversity of educational methods within single interventions.

Recommendations for research in the field were also proposed.

2006 년 이래로 고등 교육 (Stes et al., 2010 Amundsen & Wilson 2012), 치과학 (Hendricson 외 2007), 가정 의학 (Sorinola & Thistlethwaite 2013), 의학 교육 (Leslie et al., 2013)등에서 review가 있었다.

예를 들어, Stes et al. (2010)은 다양한 기간, 형식 및 참여자 그룹의 이니셔티브의 차별적 영향을 조사하기 위해 고등 교육에서의 교수 개발에 대한 체계적인 검토를 실시했습니다. 이 저자들은 1977 년과 2007 년 사이에 발간 된 고등 교육 교사의 36 가지 이니셔티브에 관한 기사를 검토 한 결과, 장기간에 걸친 개입이 일회성 개입보다 참가자 행동 수준에서 더 긍정적 인 결과를 갖는다 고 결론 지었다. 또한 대안 또는 하이브리드 형식 (예 : 피어링 코칭 또는 공식 과정과 코칭 및 프로젝트 작업)이 워크샵과 같은 기존 방식보다 긍정적 인 결과를 가져올 수 있다고 제안했습니다.

Leslie et al. (2013)은 강한 디자인의 22 개 고급 연구에 중점을 두었습니다. 대부분의 FDP 연구는 10 일에서 2 년 사이의 일련의 워크샵 또는 종단 프로그램으로 설명되었으며 FD 이니셔티브가 single, one-time work- shops 에서 벗어나 prolonged exposure의 방향으로 변화하고 있었다.

O'Sullivan and Irby (2011)는 교수 - 발달과 교수 및 학습이 이루어지는 풍부한 맥락을 조사하기 위해 사회 시스템social system에 기반을 두고 두 개의 실천공동체에 초점을 둔 교수 개발에 관한 연구 모델을 제안했다. : 교수진 개발 공동체 및 직장 공동체the faculty development community and the workplace community.

Since 2006, several reviews of faculty development designed to enhance teaching effectiveness have been pub- lished in higher education (e.g. Stes et al. 2010; Amundsen & Wilson 2012), dentistry (Hendricson et al. 2007), family medicine (Sorinola & Thistlethwaite 2013), and medical edu- cation (Leslie et al. 2013).

For example, Stes et al. (2010) conducted a systematic review of instructional development in higher education to investigate the differential impact of initiatives with varied duration, formats, and participant groups. These authors reviewed 37 articles reporting on 36 different initiatives of teachers in higher education, pub- lished between 1977 and 2007, and concluded that inter- ventions over time have more positive outcomes at the level of participant behavior than one-time events. They also suggested that alternative or hybrid formats (e.g. peer coaching or formal courses plus coaching and project work) yielded more positive results than more traditional approaches such as workshops.

Leslie et al. (2013) focused on 22 high quality studies with strong designs, Most studies were described as a series of workshops or longitudinal programs ranging from 10 days to two years, and the authors postulated that faculty develop- ment initiatives are moving away from single, one-time work- shops to more prolonged exposure.

Making a plea to examine the rich context in which fac- ulty development—and teaching and learning—occur, O’Sullivan and Irby (2011) proposed a model for research on faculty development that is grounded in social systems and focuses on two communities of practice: the faculty development community and the workplace community.

리뷰 방법론

Review methodology

리뷰 그룹

Review group

As in 2006, an international Topic Review Group (TRG) of individuals representing six countries was constituted.

파일럿

The pilot process

A three-phase pilot process was undertaken to prepare for this systematic review.

Phase I

Phase II

Phase III

개념 프레임워크

Guiding conceptual frameworks

포함/배제 기준

Inclusion/exclusion criteria

FD에 초점을 둔 연구

Faculty development focus

대상 집단

Target population

모든 분야의 기초 과학 및 임상 교수를 위한 교수 개발 활동이 선정되었습니다. 수련중인 레지던트나 다른 보건 전문가 (예 : 간호)의 교육 효과를 향상시키기 위해 고안된 intervention은 제외되었다.

Faculty development activities for both basic science andclinical faculty in all areas of medicine were selected. Interventions designed solely to improve teaching effective-ness of residents-in-training or other health care professio-nals (e.g. nursing) were excluded.

연구 설계

Study design

We included all study designs across the

실증주의 positivist (empirical observation and measurement),
해석주의 interpretist (construction of understanding), and
참여적 participatory (action research) para-digms (Creswell 2003; Freeth et al. 2005).

However, we excluded studies that only reported participant satisfaction;

출판연도

Year of publication

언어와 지역

Language and geography

Though we did not exclude any articles on the basis of lan-guage or geography, our database search mostly returned English-language results.

문헌 탐색 전략, 연구 출처

Search strategy and sources of papers

선정 방법, 방법론적 퀄리티 판정

Selection methods and judgment of methodological quality

자료 추출, 분석, 통합

Data extraction, analysis and synthesis

연구결과의 리뷰

Review of findings

This review is based on 111 articles focused on faculty development interventions designed to improve teaching effectiveness in medical education. (Tables 1 A–E, available online as Supplementary Material, summarize these articles).

Description of the interventions
Study characteristics
Summary of outcomes by intervention type
Key features of faculty development programs
Effects on community building.

인터벤션의 개요

Description of the interventions

환경

Setting

국가

Of the 111 interventions,

79 took place in the United States (71%); other countries included
Canada (n¼8; 7%),
the UK (n¼6; 5%),
Turkey (n¼3; 3%),
Russia (n¼2; 2%),
Sweden (n¼2; 2%), and
Australia, Denmark, Germany, India, Israel, Italy, Iran, Nepal, Pakistan, Singapore, and Switzerland (one each).

국제 프로그램

Only one intervention (Burdick et al. 2010) described an international program that took place in the US and 19 other countries in South America, Africa and South Asia.

전공과목

Professional discipline

대부분은 practicing clinicians을 대상으로 함. 내과, 가정의학과, 소아과 등.

The majority of faculty development interventions targeted practicing clinicians. The disciplines that were identified most frequently included Internal Medicine, Family Medicine, and Pediatrics.

참가자 수는 6명~543명. 평균 66명, 중간값 46명.

Participant numbers ranged from six to 543, with a mean attendance of 66 and a median attendance of 46.

자발적 참여가 62%, 의무 참여가 11%, 언급 안함이 27%

Participation was primarily on a volunteer basis (62%); participation was mandatory in 11% of the inter- ventions, and 27% did not specify the nature of participation.

인터벤션의 목적

Focus of the intervention

아래와 같은 것들..

The faculty development interventions in this review focused on the

improvement of teaching performance (in the classroom and the clinical setting),
teaching conceptions and learning approaches,
the acquisition of specific teach- ing skills (e.g. interactive lecturing and small group facilita- tion; giving feedback),
learner assessment,
instructional design and curriculum development,
educational leadership, and
educational scholarship.

다수의 개입 (16 %)은 특정 내용 영역 (예 : 알콜 중독 및 기타 약물 남용 장애, 노인 의학, 완화 치료, 1 차 진료 유전학)에 대한 교육 개선을 연계 시켰으며 일부는 제도적, 지역적 또는 국가적 네트워크 형성을 명시적으로 중점을 둡니다.

A number of interventions (16%) linked educational improvement to specific content areas (e.g. alcoholism and other substance abuse disorders; geriatric medicine; palliative care; primary care genetics), and a few identified an explicit goal of creating institutional, regional or national networks focused on education.

인터벤션 유형

Intervention type

종단 프로그램은 아래와 같이 불렸음

The longitudinal interventions were further described as

fellowships (n¼8; 7%),
scholars pro-grams (n¼13; 12%), and
longitudinal programs (n¼19; 16%).

교육 방법

Instructional methods

All reports described a wide range of instructional methods that included

small-group discussions and interactive exer- cises,
experiential learning (during the intervention or in the workplace),
structured opportunities for reflection,
didactic lec- tures,
role-plays and simulations,
films, and
videotape reviews of performance.

1/3 이상에서 프로젝트-기반 학습을 수행하였음. integrated independent and online learning, peer observation and coaching을 활용하기도

Over a third of the programs included project-based learning; others integrated independent and online learning as well as peer observation and coaching.

진행 기간

Duration

30분~4년

The duration of faculty development interventions ranged from 30 minutes to four years.

Workshops were primarily one-time interventions, ranging in duration from one hour to six days, with a median of three hours.
Short courses ranged from two days to one month, with a median of four days, with some courses being offered over a four to six- month time period.
Seminar series ranged from one hour (offered 10 times over one year) to four hours (offered 12 times over three months), with a median of eight hours.
Longitudinal interventions lasted from five weeks to four years, with a median of 18 months.

Study characteristics

연구의 목적, 이론/개념 프레임워크

Study goal and theoretical/conceptual framework

대다수의 연구는 그들의 목표를 명시적으로 명시했다 (n = 87, 78 %); 대다수 (83 %, 75 %)는 또한 관련 문헌을 인용했다.

The majority of studies stated their objectives explicitly (n¼87, 78%); a majority (n¼83, 75%) also cited the rele- vant literature.

Thirty-six studies (32%) explicitly placed their work within a conceptual framework, drawing primarily upon principles of adult learning, experiential and collabora- tive learning, and reflective practice.

Several studies also referred to the conceptual frameworks underlying

the Stanford Faculty Development Program (Stratos et al. 2006),
the One-Minute Preceptor (Salerno et al. 2002) and
Kirkpatrick and Kirkpatrick’s model for evaluating training programs (2006).

그러나 명시 적으로 언급 한 경우에도 개념적 프레임 워크는 주로 프로그램 디자인이나 내용을 알리기 위해 연구 초기에 언급되었습니다. 그들은 결과에 대한 토론이나 해석 부분에서 거의 re-visit하지 않았다. 이것은 2006 년 리뷰와 비슷합니다.

However, even when explicitly mentioned, the conceptual frameworks were primarily mentioned at the outset of the study, to inform program design or content; they were rarely re-visited in the discussion or interpretation of outcomes. This is comparable to the 2006 review.

연구 설계

Study design

quasi-experimental 이 대부분.

The majority of studies were quasi-experimental and used (n¼83, single-group designs 75%), of which

사전-사후 검사 39 (35%) included pre–post-test measures and
사후 검사 44 (40%) relied on post-tests only.
지연된 사후검사 Fifty-one percent of the studies using post- tests (n¼42) included a delayed post-test, and many single group designs collected data from multiple cohorts.

non-equivalent control group의 사용

Sixteen studies (14%) used a non-equivalent control group, with

14 of these (88%) using pre-post testing and
2 (12%) using post-tests only.

무작위대조군

Four studies (4%) were randomized control studies, and one study used a prospective observational design.

질적연구

Seven studies (6%) used a qualitative methodology, with a primary focus on interpretive description, and

Mixed method.

25 (23%) reported a mixed-methods approach.

표 1에서 볼 수 있듯이, 2006 년 연구의 대부분은 설계에서 quasi-experimental 이었다. 순수한 질적 연구 (21 %가 정성적인 방법이나 분석을 포함하고 있음)가 없었으며 혼합 방법 접근법이보고되지 않았습니다.

As indicated in Table 1, in 2006, the majority of studies were quasi-experi- mental in design; there were no purely qualitative studies (although 21% had incorporated a qualitative method or analysis), and no mixed-methods approaches were reported.

자료수집 방법

Data collection methods

Questionnaires가 가장 많이 쓰임

Questionnaires were the most popular data collection method.

Sixty-two studies (56%) used a questionnaire only.
Thirty-six (32%) combined questionnaires with another method (i.e. observation, interview, focus group, CV ana- lysis).

Questionnaires의 validity

The majority of questionnaires were designed for a particular study or program evaluation and were not validated.
Approximately 10 studies used a pre-validated questionnaire and another 10 provided psychometric prop- erties for a newly designed questionnaire.

질문지 사용은 2006 년 조사와 유사했는데, 인터벤션의 55 % 만 설문지를 사용했고 38 %는 설문지와 다른 방법을 사용했습니다. 이번 검토에서, 직접 관찰을 포함한 연구는 14 개(13 %)였고, 이것은 2006 년에보고 된 30 %보다 낮은 비율이다. 17 개의 연구 (15 %)가 인터뷰를 사용했다.

The use of ques- tionnaires was similar to the 2006 review, in which 55% of the interventions used a questionnaire only and 38% used a questionnaire and another method. In the current review, fourteen studies (13%) included direct observation, a lower proportion than the 30% reported in 2006; seventeen stud- ies (15%) used interviews.

자료 출처

Data sources

대부분은 참가자로부터 수집

One hundred and four studies (94%) relied on data from program participants to assess changes in teaching behav- iors.
Thirty studies (27%) included students and residents to assess these changes,
16 (14%) used program coordinators or faculty developers,
two (2%) used colleagues or peers, and
11 (10%) used other data sources such as external evaluation teams, external or blinded observers, and stand- ardized students.

2006 년과 마찬가지로, 대다수의 프로그램은 자체보고 된 교육 등급에 의존했습니다. 이 검토에서는 제3자 관찰자의 사용이 증가했다.

As in 2006, the majority of programs relied on self-reported ratings of teaching; the use of third- party observers increased in this review.

평가한 성과의 수준

Level of outcome assessed

As highlighted in Table 1, in 2006,

the percent- age of studies assessing reaction (74%) and learning (77%) was higher;
the percentage of studies examining behavior (72%) and
results at the organizational level (19%) were slightly lower than in this review.

연구의 퀄리티와 연구결과의 Strength

Study quality and strength of findings

5점 척도로 평가하였음.

Study quality was rated on a five-point scale (1 ¼ low; 5 ¼ high). With a range of scores from 1 (one study) to 4.5 (four studies), the mean study quality was 3 (as in 2006).

5점 척도로 평가하였음.

Strength of findings was also based on a five-point scale (1 ¼ no clear conclusions can be drawn, not significant; 3 ¼ conclusions can probably be based on the results; 5 ¼ results are unequivocal). The mean rating for strength of findings was 3 (only slightly higher than 2.88 in 2006).

인터벤션 유형별 정리

Summary of outcomes by intervention type

워크숍

Workshops

Thirty-two interventions (summarized in Table 1A, available online as Supplementary Material) were described

Level 1—Reaction

많은 워크샵 구성 요소가 가치가있는 것으로 밝혀졌습니다. 동료 및 동료와의 교류. 사용 된 방법론 (예 : 소그룹 토론, 역할극 및 시뮬레이션); 교수 및 학습을위한 기본 틀의 제시; 안전한 학습 환경 조성.

Many workshop components were found to be of value: the interchange with colleagues and peers; the methodologies used (e.g. small group discussions; role plays and simula- tions); the presentation of frameworks for teaching and learning; and the creation of safe learning environments.

Level 2a—Learning

대부분의 워크샵은 가르침과 학습에 대한 태도와 인식에있어서 자기보고 된 변화를 이끌어 냈습니다. 여기에는 교육에 대한 안락감과 자신감 (일반적인 교육 전략과 관련하여), 인식 및 교육 신념 변화, 교수 및 교수 개발에 대한 관심 증가 등이 포함되었습니다.

Most workshops led to self-reported changes in attitudes and perceptions towards teaching and learning.

This included increased comfort and confidence in teaching (both in gen- eral and with respect to specific teaching strategies), altered awareness and teaching beliefs, and increased interest in teaching and in faculty development.

Level 2b—Learning

많은 참가자들이 피드백, 목표 설정 및 성찰 향상을 강조하였으며, 교육 과정 및 교수법과 관련된 지식과 기술에 대한 이득을 보고했습니다.

Many participants reported gains in knowledge and skills related to educational processes and teaching methods, with an emphasis on giving feedback, goal setting, and the promotion of reflection.

Level 3a—Behavior

교수법의 자가보고 된 변화의 예로는 교수의 효과 성 향상, 학습자와의 더 나은 의사 소통, 향상된 피드백 과정이 포함되었다. 교육 참가자는 특정 방법 (예 : 대화 형 교육)의 변화, 학습 원칙 사용 및 적절한 목표 및 목적 개발을보고했습니다.

Examples of self-reported changes in teaching practices included improved teaching effectiveness, better communi- cation with learners, and enhanced feedback processes. Participants also reported changes teaching in specific methods (e.g. interactive teaching), use of learning princi- ples, and development of appropriate goals and objectives.

Level 3b—Behavior

소수의 워크샵만이 제 3자가 관찰 한대로 직장으로의 학습 이전Transfer을 보고했습니다. 한 연구에서 교사는 개입 한 후에 가르치는 행동에 변화를보고했으나 레지던트는 그렇지 않았다 (Eckstrom et al., 2006); (Notzer & Abramovitz 2008)에서 교사의 효율성과 가용성availability에 대한 학생의 평가가 향상되었습니다. Green 등은 (2003)은 임상 내용 (예 : 1 차 진료 유전학)과 교수 기술을 통합하면 행동 변화가 촉진되는 것을 관찰했다.

Only a few workshops reported the transfer of learning to the workplace as observed by a third party. In one study, teachers reported a change in their teaching behaviors fol- lowing the intervention, but residents did not (Eckstrom et al. 2006); in another (Notzer & Abramovitz 2008), student ratings of teacher effectiveness and availability improved. Green et al. ( 2003) observed that integrating teaching skills with clinical content (e.g. primary care genetics) facilitated behavior change.

Level 4a and 4b—Results

교육 프로그램에 기인 한 광범위한 조직 변화가 드물게 나타났습니다. 그러나 몇몇 연구에서 지역 및 국가 네트워크의 변화가 보고되었습니다. 한 연구 (Laberge et al., 2009)에서 모든 팀은 개입 후 제도 수준에서 변화를보고했습니다 (예 : 학생의 요구에 대한 인식 증가, 공식 협력). 학습자의 성과 향상은 오직 한 연구에서만 관찰되었다 (Shields et al., 2007).

Wider organizational changes attributable to the educa- tional program were infrequently noted. However, a few studies reported changes in local and national networks. In one study (Laberge et al., 2009), all teams reported changes at the institutional level (e.g. increased awareness of student needs, formalized collaborations) following the intervention. Improvement in learners’ performance was observed in only one study (Shields et al. 2007).

단기 코스

Short courses

Fifteen interventions (summarized in Table 1B, available online were short courses as Supplementary Material)

Level 1—Reaction

Level 2a—Learning

Level 2b—Learning

Level 3a—Behavior

자기보고 된 행동 변화에는 새로운 교수법의 사용, 위원회 참여 및 보조금 신청의 증가, 전문 직업 개발의 갱신 등이 포함된다 (Armstrong et al., 2003). 한 연구 (Sullivan et al. 2005)에서 참가자들은 명시적 학습 목표를 정의하고, 감정적 인 경험을 반영하도록 격려하고, 피드백을 제공하고, 학습자가 새로운 기술을 연습하도록 허용하는 교수 연습을 수행하는 등의 실제 변화를보고했다. 또 다른 연구 (Godfrey et al., 2004)는 학습자의 요구 사항을 협상하고 학습 활동을 계획하고 관리하는 데 개선이 있었다고보고했다.

Self-reported behavior changes included the use of new teaching methods, increased committee work and grant applications, and renewed professional and career develop- ment (Armstrong et al. 2003). In one study (Sullivan et al. 2005), participants reported changes in practice that included defining explicit learning objectives, encouraging learners to reflect on emotional experiences, giving feed- back, and conducting teaching exercises that allowed learn- ers to practice new skills. Another study (Godfrey et al. 2004) reported improvements in negotiating learners’ needs and planning and managing learning activities.

Level 3b—Behavior

여러 연구에 따르면 행동 변화가 관찰되었습니다. 예를 들어 Brown and Wall (2003)은 참여자가 고위 집행관senior house officers에 따라보다 긍정적으로 평가되었다는 것을 발견했다. Manwell et al. (2006)은 알코올 사용 장애 환자에 대한 평가(능력) 변화를 관찰했다. Ebrahimi and Kojuri (2012)는 학습자가 참가자의 교수 능력이 크게 향상되었다고 보고했다. 또 다른 연구에 따르면 참가자들 사이에 경력 향상이보고되었습니다 (Armstrong & Barsion 2006).

Several studies reported observed behavior changes. For example, Brown and Wall (2003) found that participants were evaluated more positively according to senior house officers; Manwell et al. (2006) observed changes in the assessment of patients with alcohol use disorders; Ebrahimi and Kojuri (2012) reported that learners observed significant improvements in participants’ teaching abilities. Another study reported career advancement among participants (Armstrong & Barsion 2006).

Level 4a and 4b—Results

한 연구 (Houston et al., 2004)는 팀 구축을위한 보호 된 시간protected time, 새로운 네트워크 기회, 자원에 대한 접근성 향상을 포함하는 제도적 편익을 보고했다. 또 다른 주목할 만한 변화는 institutional 리더십의 변화이다 (Stratos et al., 2006).

One study (Houston et al. 2004) reported institutional bene- fits, including protected time for team building, new net- working opportunities, and increased access to resources; another noted changes in institutional leadership (Stratos et al. 2006).

세미나 시리즈

Seminar series

Nine interventions (summarized in Table 1C, available online as Supplementary Material) were described as seminar ser- ies

Level 1—Reaction

Level 2a—Learning

Level 2b—Learning

Level 3a—Behavior

대부분의 연구에서 개선 된 피드백 및 평가 프로세스을 중심으로 자체보고 된 행동 변화가 나타났습니다. 한 연구 (Johansson et al. 2012)는 롤 플레잉에 참여한 그룹들 사이에서 자기보고 된 변화가 더 컸음을 나타냈다.

Most studies indicated self-reported behavior changes, with a particular focus on improved feedback and evaluation processes. One study (Johansson et al. 2012) indicated greater self-reported changes among groups who had par- ticipated in role-plays.

Level 3b—Behavior

상대적으로 소수의 세미나 시리즈에서 행동 변화를 관찰했다. 한 연구에서 (Salerno et al. 2002), 피드백 행동의 긍정적 변화가 관찰되었다. (Mazotti et al., 2010), 레지던트가 평가한 노인의학 교육 평가에 긍정적인 변화가 있음을 알 수있다.

Relatively few seminar series reported observed behavioral changes. In one study (Salerno et al. 2002), positive changes in feedback behaviors were observed; in another (Mazotti et al. 2010), ratings of geriatrics teaching by residents indi- cated positive changes.

Level 4a and 4b—Results

종단 프로그램

Longitudinal programs

Forty interventions (summarized in Table 1D, available online were as Supplementary Material) described as longitudinal programs.

Level 1—Reaction

Level 2a—Learning

Level 2b—Learning

Level 3a—Behavior

자기보고 된 행동 변화에는 향상된 교육 퍼포먼스 (예 : 소그룹 교육, 임상 평가, 피드백 제공), 새로운 교육 과정 및 프로그램 개발 (예 : 약물 남용), 로컬 세팅에서의 참여 증대 등이 포함되었습니다. 한 연구 (Williams et al. 2008)에서 참가자들은 새로운 '전문 기술'의 결과로 교육에 대한 인식과 지원이 증가하고 위원회 참여가 증가한 것으로보고했습니다. 다른 연구 (Lye et al., 2003)에서 몇몇 참가자들은 임상 교육에 대한 종단 프로그램에 참여한 후 교육 수상자가 늘어났다고 보고했다. 지역 사회에 대한 감각sense of community과 네트워킹 강화는 많은 종적 개입에서 나타났습니다.

Self-reported behavior changes included improved teaching performance (e.g. small group teaching; clinical assessment; provision of feedback), development of new educational curricula and programs (e.g. on substance abuse), and greater involvement in local settings. In one study (Williams et al. 2008), participants reported increased recognition and support for teaching and greater committee involvement as a result of their new ‘‘expertise’’. In another study (Lye et al. 2003), several participants reported the receipt of teaching awards following their involvement in a longitudinal pro- gram on clinical teaching. An increased sense of community and enhanced networking were noted in many of the longitudinal interventions.

Level 3b—Behavior

관찰 된 변화로는 새로운 교육 과정 및 교육행동practice (예 : 노인 교육 강화), 새로운 리더십 지위, 학업 성과 (동료 평가 프레젠테이션 및 출판물 포함) 증가, 커리어 승진 (예 : Morzinski & Simpson 2003; Frohnaetal.2006; Simpson et al. 2006; Steinert & McLeod 2006; Wilkerson et al., 2006)등이 있다. Retension in academia는 또한 여러 연구에서 주목을 받았다.

Observed changes included new educational courses and practices (e.g. increased geriatrics teaching), new leadership positions, increased academic output (including peer-reviewed presentations and publications), and career advancement (e.g. Morzinski & Simpson 2003;Frohnaetal.2006; Simpson et al. 2006; Steinert & McLeod 2006; Wilkerson et al. 2006). Retention in academia was also noted by several studies.

Level 4a and 4b—Results

Other activities

Other activities (summarized in Table 1E, available online as Supplementary Material) included peer observation peer coaching pedagogical consult- ation four-step cognitive train- ing method the use of audiotapes CD-ROMs and a web-based module and OSCE an Objective Structured Teaching Encounter

Level 1—Reaction

Level 2a—Learning

Level 2b—Learning

Level 3a—Behavior

자기보고 된 행동 변화에는 개선 된 교수 행동 (예 : 학습 환경, 강의 세션 제어), 피드백 기술 (예 : 특정 행동에 초점을 맞추고 부정적인 피드백 제공), 교육 반영 및 교육 계획 (예 : 강의 계획 및 교육 프로그램의 조정). 한 연구는 개인 학습과 동료 코치들 사이의 변화에 주목했다 (Sekerka & Chao 2003).

Self-reported behavior changes included improved teach- ing behaviors (e.g. learning climate; control of teaching session), feedback skills (e.g. focusing on specific behav- iors and giving negative feedback), reflection on teaching, and educational planning (e.g. lesson plans and coordination of teaching programs). One study noted per- sonal learning and change among peer coaches (Sekerka & Chao 2003).

Level 3b—Behavior

관찰 된 변화는 9 가지 (64 %) 중재에서보고되었으며 임상 교육 행동 및 관행 개선 (예 : 피드백 제공, 비판적 사고의 자극) 임상실습 평가; 1 분 Preceptor의 사용; 그리고 강의 기술. 교사의 효과 성을 높이기 위해 교수 평가를 활용 한 두 가지 연구 (Maker et al. 2004, 2006)에서 레지던트는 교수의 교육 행동에 중대한 변화를 관찰했다. 저자는 또한 교수 평가가 가장 낮은 점수를 가진 교사에게 가장 큰 영향을 주었고, 실제로 몇몇 교수진은 평가가 좋지 않아 교수 책임을 면제 받았다고 지적했다.

Observed changes were reported in nine (64%) interventions and included: improvements in clinical teaching behaviors and practices (e.g. provision of feedback; stimulation of crit- ical thinking); clerkship evaluations; use of the One-Minute Preceptor; and lecturing skills. In two studies (Maker et al. 2004, 2006) utilizing faculty evaluations to enhance teaching effectiveness, residents observed significant changes in fac- ulty members’ educational practices; the authors also noted that faculty evaluations had the highest impact on teachers who had the lowest scores, and, in fact, several faculty mem- bers were relieved of their teaching responsibilities as a result of poor evaluations.

Level 4a and 4b—Results

교수개발 프로그램의 핵심 특징

Key features of faculty development programs

2006년의 핵심 특징

In 2006, we highlighted a number of key features that con- tributed to program effectiveness. These included:

the use of experiential learning;
the provision of feedback;
effective peer and colleague relationships;
well-designed interven- tions following principles of teaching and learning; and
a diversity of educational methods within single interventions.

증거 기반의 교육 설계: 이론적 또는 개념적 프레임워크의 통합, 교수 및 학습의 원칙 준수, 다양한 목적을 달성하기위한 다각적 인 교수 방법의 사용

Evidence-informed educational design, which included the integration of theoretical or conceptual frameworks, adherence to principles of teaching and learning, and the use of multiple instructional methods to achieve diverse objectives.

(임상/교육과) 내용의 관련성 : 참가자의 임상 및 교육 책임에 적용됩니다.

Relevant content, which was applicable to participants’ clinical and educational responsibilities.

경험 학습과 연습과 적용 기회: FDP내에서, 직장 내에서

Experiential learning and opportunities for practice and application, both within the the intervention and workplace.

피드백 및 성찰을 위한 기회: 참가자가 자신의 교수법 및 학습 방법, 가치 및 신념을 성찰할 수 있도록

Opportunities for feedback and reflection, which allowed participants to reflect on their teaching and learning practices, values, and beliefs.

교육 프로젝트: 장기간에 걸쳐 진행되는 프로그램에서 흔히 사용되며, 직장에서 학습을 적용 할 수 있도록 해준다.

Educational projects, which were most common in pro- grams that extended over time and allowed participants to apply their learning in the workplace.

의도적 공동체 구축: FDP 중 및 이후에 걸쳐 지속되는 커뮤니티. 안전하고 협조적인 학습 환경 제공, 협업 및 네트워킹의 명백한 격려, 효과적인 동료 및 동료 관계 촉진을 위하여.

Intentional community building, both during and after the faculty development intervention, which included the provision of a safe and supportive learning environment, explicit encouragement of collaboration and networking, and facilitation of effective peer and colleague relationships.

종단적 프로그램 설계: 연습 및 적용 기회, 피드백 및 성찰, 관계 구축 및 네트워킹 등과 같은 다른 설계 요소와 관련되어 있음.

Longitudinal program design, which appeared to be asso- ciated with other design features such as opportunities for practice and application, feedback and reflection, and relationship building and networking.

기관 수준의 지원: 참여자와 프로그램의 재정적 지원 및 교수진의 자유 시간 제공

Institutional support, which was demonstrated through financial support of participants and programs as well as release time for faculty members.

커뮤니티 형성

Community building

FD Intervention이 FD community 구축에 기여했는지 여부에 대한 질문에 대해 연구의 거의 34 %가 이 목표에 기여하는 것으로 나타났습니다.

예를 들어 여러 연구에서 참여자 간의 신뢰 구축과 관계가 주목 받았는데(비공식 학습 네트워크 개발과 intervention 후 협력 증대), 이들 모두는 동기 부여와 열의가 더 강하게 연관되어있었습니다.
몇몇 저자는 FDP에서 개발 된 관계가 학습을 촉진하고 대규모 의료 센터에서 일하는 것에 대한 고립감과 스트레스를 줄이는 데 도움이되었다고 보고했다 (예 : O'Keefe 외 2009).
한 연구 (Simpson et al. 2004)에서 학자의 20 % 이상이 참여자와의 네트워크 개발을 언급하며 FD에 대한 특별 관심 그룹이 만들어진 것을 프로그램의 가장 중요한 결과로 꼽았음.
특히 Longitudinal intervention의 65 %, 세미나 시리즈의 50%에서 FD커뮤니티를 구축 한 것으로보고되었습니다.

In response to the question of whether the faculty devel- opment intervention contributed to building a faculty devel- opment community, reviewers observed that almost 34% of the studies appeared to contribute to this goal. For example, the building of trust and relationships among participants was noted in several studies, as was the development of informal learning networks and increased collaboration after the intervention, all of which were linked to a greater sense of motivation and enthusiasm. Several authors reported that relationships developed during the faculty development pro- gram facilitated learning and helped to reduce the sense of isolation and stress of working in large medical centers (e.g. O’Keefe et al. 2009). In one study (Simpson et al. 2004), more than 20% of the scholars cited the development of a network with participants, which led to the development of a special interest group on faculty development as the most important program outcome. Notably, 65% of the longitudinal interven- tions (n¼26) and 50% of the seminar series, which extended over time (n¼5) reported the building of a faculty develop- ment community.

Intervention이 근무지workplace에서 실천공동체COP를 구축하는 데 기여했는지 여부를 검토 한 결과, 거의 25 %가 이를 목표로 한다고 지적했습니다 (Armstrong 외 2003, Searle 외 2006, Beck 외 2008). 흥미롭게도 작업장에서 COP를 구축한다는 개념은 Longitudinal intervention의 45 %와 세미나 시리즈의 30 %에서 나타났습니다.

한 연구에서 연구원은 IPE에 대한 기금 제안서funded proposal 의 개발을보고했다 (예 : Pinheiro 외. 2002).
다른 곳에서는 직장에서 같은 생각을 가진 동료들like-minded colleagues 과의 새로운 관계가보고되었다 (Steinert & McLeod 2006);
세 번째 연구에서, intervention은 enhanced 교육 리더십 능력을 갖춘 empowered 교수진을 critical mass로 양성하는 것으로 보였다 (Wilkerson et al., 2006).
한 연구는 교사의 더 큰 공동체와의 "연결connected"이 개인적 및 직업적 성장을 향상 시키는데 도움이된다는 것을보고했다 (Lown et al.,
다른 학자는 여러 계층에서 네트워크가 개발된다고 했다 (예 : Senior 또는 Peer 와의 네트워크) (Roberts & Devries 2004).

In examining whether the intervention contributed to building a community of practice in the workplace, reviewers noted that almost 25% aimed to do this (e.g. Armstrong et al. 2003; Searle et al. 2006; Beck et al. 2008). Interestingly, the notion of building a community of practice in the work- place was noted in 45% of the longitudinal interventions (n¼18) and 30% of the seminar series (n¼3). In one study, researchers reported the development of a funded proposal on interprofessional education (e.g. Pinheiro et al. 2002); in another, new relationships with like-minded colleagues in the workplace were reported (Steinert & McLeod 2006); in a third study, the intervention appeared to foster a critical mass of empowered faculty members with enhanced edu- cational leadership abilities (Wilkerson et al. 2006). One study reported that feeling ‘‘connected’’ with a larger com- munity of educators was instrumental in enhancing personal and professional growth (Lown et al. whereas another reported that scholars developed networks at various levels (e.g. with senior colleagues or peers), depending on their needs (Roberts & Devries 2004).

많은 개입 (48 %에 가까운)으로 직장에서의 교육 및 교육 활동이 향상되었습니다 :

새로운 학부 및 대학원 과정 및 커리큘럼,
교육 혁신,
강화 된 교수법,
참가자들의 환경에서 새로운 교수 개발 활동이 활발하게 진행되었다.

Many interventions (close to 48%) led to enhanced teaching and educational activities in the workplace. These included:

new undergraduate and postgraduate courses and curricula;
edu- cational innovations;
enhanced teaching practices; and
a plethora of new faculty development activities in partici- pants’ settings.

직장에서의 코칭 및 멘토링 향상은 드물었고, 더 많은 연구를 위해 중요한 영역으로 남아있다. 마지막으로 조직 프로세스의 개선이나 또는 (조직)문화적 변화에 대한보고는 거의 없었다 (예 : 새로운 정책 및 관행, 교육 우수성 및 스칼라십에 대한 관심, 제도적 자원 증대).

Enhanced coaching and mentoring in the workplace was infrequently observed and remains an important area for further investigation. Lastly, only a few interventions reported on enhanced organizational proc- esses or cultural changes (e.g. new policies and practices, greater attention to educational excellence and scholarship, increased institutional resources).

O'Sullivan과 Irby (2011)는 또한 누가 교수 개발 프로그램을 제공하는지 더 신중하게 검토 할 필요가 있음을 강조했다. Intervention의 30 % 미만이 프로그램 진행자에 관한 정보를 보고했습니다. 이 중 60 %는 FDer의 수를 말했고 40 %는 FDer의 교육 배경, 임상 전문 분야 또는 수년간의 경험을 기술했습니다. 그러나 이 리뷰에서는 교수진 개발자의 특별한 portrait가 등장하지 않았으므로 향후 연구를위한 또 다른 영역을 강조했다. 대부분의 저자는 다양한 프로그램을 제공하는 개인의 중요성을 인정하지만이 그룹에 대해서는 거의 알려져 있지 않습니다.

O’Sullivan and Irby (2011) also highlighted the need to more carefully examine who delivers faculty development programs. Less than 30% of the interventions reported any information about program facilitators. Of these, 60% stated the number of involved facilitators and 40% described facili- tators’ educational background, clinical specialty, or years of experience. However, no particular portrait of faculty devel- opers emerged in this review, highlighting another area for further study. Although most authors would acknowledge the importance of the individuals delivering the diverse pro- grams, very little is known about this group.

고찰

Discussion

FD Intervention

Faculty development interventions

대다수의 개입은 임상의사를 대상으로로 하여 개념을 가르치고 학습 접근법, 특정 교수법 습득, 교수 성과 및 학습자 평가 개선, 교수 설계 및 커리큘럼 개발, 교육 리더십 및 장학금에 중점을 두었습니다. 몇몇 개입은 임상 적 전문 지식 (예 : 노인 의학, 1 차 진료 계통)의 발전과 교육 개선을 연결함으로써 미래가 기대되는 접근법이다. 학생 학습 (McLachlan 2006, Wormald 외 2009) 및 역량 기반 의학 교육 (Holmboe 외. 2011)에서 중요한 역할에도 불구하고 평가에 중점을 둔 intervention은 거의 없었다.

The majority of interventions targeted practicing clinicians and focused on:

teaching conceptions and learning approaches,
the acquisition of specific teaching skills,
the improvement of teaching performance and learner assess- ment,
instructional design and curriculum development, and
educational leadership and scholarship.

Several interventions linked teaching improvement with the development of clin- ical expertise (e.g. in geriatric medicine, primary care genet- ics), an approach that may hold promise for the future. Few interventions focused on assessment, despite its critical role in student learning (McLachlan 2006; Wormald et al. 2009)and competency-based medical education (Holmboe et al. 2011).

흥미롭게도 대다수의 개입은 기술 습득을 강조하고 교수, 가치관 및 직업적 정체성에 대한 교수 동기의 동기를 종종 무시했습니다. 임상가들의 교육욕구에서 정체성identity의 역할에 대한 이해가 커지면서 (O'Sullivan & Irby 2014a, Steinert & Macdonald 2015), FDP를 기술 향상만을 위한 것이 아니라 개인적 및 전문적 성장에 관한 것으로 renewal and reflection를 위한 기회로 재개념화 할 때가 되었다. O'Keefe et al. (2009)에 따르면, 이러한 접근법은 전문적인 고립professional isolation 또는 감소attrition를 줄이는 데 도움이 될 수도 있습니다.
Interestingly, the majority of interventions emphasized skill acquisition, often ignoring faculty members’ motiva- tions for teaching, values, and professional identities. Given our growing understanding of the role that identity plays in clinicians’ desire to teach (O’Sullivan & Irby 2014a; Steinert & Macdonald 2015), it may be time to re-conceptualize fac- ulty development as an opportunity for renewal and reflec- tion on personal and professional growth rather than an occasion for skill enhancement alone. As O’Keefe et al. (2009) observed, such an approach may also help to reduce professional isolation or attrition.

조직 개발이 교육 기관의 교육 사명을 지지support하는 핵심 요소 임에도 불구하고, 교육 효과를 향상시키기 위한 FDP는 주로 (그룹 내) 개별 교사의 발전에 중점을 두는 것으로 나타났습니다. 앞으로 조직 변화와 조직 역량 강화에 중점을 두는 것이 중요할 것이다. 예를 들어, FD는 수월성을 지원하고 보상하며, 혁신과 장학금을 인정하고 직업 발전을 가능하게하는 제도적 정책을 개발함으로써 문화의 변화를 촉진 할 수 있다 (Steinert, 2013). 이제는 FD가 조직 변화를 일으키는 데 있어 이점이 있음을 강조하고 기관 (뿐만 아니라 개별 교수진)이 "고객"이 될 수 있음을 기억하는 것이 시기 적절할 것입니다 (Jolly 2014).
This review also indicated that faculty development designed to enhance teaching effectiveness focuses primar- ily on the development of individual teachers in groups, even though organizational development is a key element in supporting the institution’s educational mission. Moving forward, an emphasis on organizational change and cap- acity building would be worthwhile. For example, faculty development can promote a culture of change by helping to develop institutional policies that support and reward excellence, recognize innovation and scholarship, and be enable career advancement (Steinert 2013). It would timely to capitalize on the benefits of faculty development in producing organizational change and remember that the institution (as well as the individual faculty member) can be the ‘‘client’’ (Jolly 2014).

그림 1에 FD Intervention의 range를 요약함. FD에 대한 이러한 묘사를 토대로 보면, 대다수의 intervention은 오른쪽 상단 사분면, 즉 그룹 설정에서 주로 발생하는 공식적인 접근법 (예 : 다양한 기간의 워크샵, 종단 프로그램, 단기 코스 및 세미나 시리즈)에 해당한다. 문헌 (Webster-Wright 2009, Steinert 2014)에서 나타나고 있는 교수 개발의 재 개념화를 감안할 때, 다른 사분면의 FD활동을 설계하고 평가하는 것이 중요합니다.

예를 들어, 최근 몇 가지 연구가 교수진이 직장에서 배우는 방법을 관찰하고 (Cook 2009, Steinert 2012) 의료전문가는 '책임의 성격'과 'learning on the job'을 통해 자신이하는 일에 능숙해진다는 사실을 관찰했습니다. '(Steinert 2010).
비공식적 인 학습이 종종 당연한 것으로 받아 들여지지만, role modeling, reflection, 동료로부터의 학습 등은 효과적 FD의 핵심 요소이다. (Mann 2014)
이 리뷰에서의 몇몇 연구는 동료와의 협의와 관찰을 제공했지만 (Regan-Smith 외 2007, O'Keefe 외 2009), FD의 설계와 전달에보다 비공식적 인 접근을 포함시키는 것이 가치가있다. 직장 내 학습workplace learning을 눈에 보이게visible 함으로써 professional development의 정당한legitimate 한 형태로 인식 할 수 있도록 해야한다.

The range of faculty development interventions outlined in Figure 1 guided this review. Based on this portrayal of faculty development, it appears that the majority of inter- ventions in this review fell within the upper right quadrant, namely formal approaches that occur primarily in group set- tings (e.g. workshops of varying duration, longitudinal pro- grams, short courses and seminar series). Given the re- conceptualization of faculty development that is occurring in the literature (Webster-Wright 2009; Steinert 2014), it would be important to design and evaluate faculty develop- ment activities in the other quadrants.

For example, several studies have recently observed how faculty members learn in the workplace (Cook 2009; Steinert 2012) and that health professionals become adept at what they do by the ‘‘nature of their responsibilities’’ and ‘‘learning on the job’’ (Steinert 2010).
Although informal learning is often taken for granted, it incorporates role modeling, reflection and learning from peers (Mann 2014), key ingredients to effective faculty development.
Although a few studies in this review offered peer consultations and observation (Regan-Smith et al. 2007; O’Keefe et al. 2009), it would be worthwhile to incorp- orate more informal approaches into the design and deliv- ery of faculty development and to render workplace learning as visible as possible so that we can recognize it as a legitimate form of professional development.

이 리뷰는 또한 longitudinal intervention의 현저한 증가와 장기간에 걸쳐 진행되는 FDP의 잠재적 인 영향을 보여주었습니다. 몇 가지 사례에서 longitudinal program은 단순한 교육효과성의 향상 뿐만 아니라, 오랜 기간에 걸쳐서 집단이 만남을 이어갈 때 네트워크 및 협업이 발생함을 보여주었다 (Armstrong & Barsion 2006, Simpson 외. 2006). 또한 educational activities following the activity를 포함시켜서 지속가능성을 향상 시켰습니다.

This review also demonstrated a notable growth in longi- tudinal interventions and the potential impact of faculty development programs that extend over time. In several instances, longitudinal programs resulted in outcomes that went beyond teaching effectiveness, including the creation of networks and collaborations that arise when groups meet over time (Armstrong & Barsion 2006; Simpson et al. 2006). Seminars and programs that extended over time also led to more involvement in educational activities following the activity, implying enhanced sustainability.

연구의 특징들

Study characteristics

대다수의 연구는 실증주의 또는 사후 실증주의 패러다임에 의존하고, 본질적으로 실험적이었으며, 단일 그룹 디자인을 사용했습니다. 소수의 연구 만이 질적 방법론 또는 혼합 방법 접근법을 사용했습니다. 2006 년 이후로 질적 방법론의 사용이 증가 했음에도 불구하고, 이러한 연구는 계속 진행되어야 하는데, 그래야만 우리가 변화 과정을 분석하고, '명확화clarification'연구를 수행하여, "왜"와 "어떻게" FD가 작동했는지에 대한 연구를 수행할 수 있기 때문이다 (Cook et al. 2008),

The majority of studies relied on a positivist or post-positiv- ist paradigm, were quasi-experimental in nature, and used single-group designs; only a small number of studies used a qualitative methodology or mixed-methods approach. Despite an increase in the use of qualitative methodologies since 2006, the need to conduct such studies remains, as these methodologies would allow us to analyze the process of change, conduct ‘‘clarification’’ studies (Cook et al. 2008), and capture faculty members’ stories of ‘‘why’’ and ‘‘how’’ fac- ulty development works (Drescher et al. 2004;O’Sullivan& Irby 2014b).

연구원은 또한 교육 설계 연구 (Collins 외 2004), 네트워크 분석 (Moses et al. 2009, Jippesetal. 2013) 및 성공 사례 (Brinkerhoff & Dressler 2003)를 포함한 대체alternative 방법론을 고려해야합니다. 설화 탐구, 민족 지학 및 해석 현상학과 같은 다른 질적 연구 전통은 또한 교사 발달과 이 과정이 전개되는 맥락에 대한 심층적인 이해를 제공 할 수있다.
Researchers should also consider alternative methodologies, including educational design research (Collins et al. 2004), network analysis (Moses et al. 2009;Jippesetal. 2013), and success cases (Brinkerhoff & Dressler 2003). Other qualitative research traditions, such as narrative inquiry, eth- nography and interpretive phenomenology, could also pro- vide a more in-depth understanding of teacher development and the contexts in which this process unfolds.

psychometric properties가 없는 설문지는 계속해서 가장 많이 사용되는 데이터 수집 방법이었으며 프로그램 참여자가 가장 일반적인 데이터 소스였습니다. 앞으로 우리는 변화의 척도로서 행동 또는 성과 기반의 척도(예 : OSTE) 사용을 고려해야합니다. 또한 다양한 이해관계자들을 대안적인 데이터 소스로서 사용하여 가능한 많은 다른 것들을 확인할 수 있을 것이다. 장기간에 걸친 데이터 수집 (결과 보존의 가능한 유지)이 중요하다. 많은 연구에서 지연된 사후 검사를 시행하였지만 변화의 내구성을 확인하고 gain을 유지하는 데 필요한 지원 유형을 결정하는 것은 여전히 어려웠습니다.
Questionnaires, often lacking in tested psychometric properties, continued to be the most popular method of data collection, and program participants were the most common data source. Moving forward, we should con- sider greater use of behavioral or performance-based as measures of change (e.g. OSTEs) well as alternative stakeholder data sources to ascertain as many different as possible. perspectives It would also be important to better collect data over time, to understand the long- term (and retention possible decay) of outcomes. Although a number of studies included delayed post-test evaluations, it was difficult to ascertain the durability of change and determine what type of support would be needed to maintain gains.

성과

Outcomes

FDP에 대한 높은 만족도

High satisfaction with faculty development programs

FDP에 대한 전반적인 만족도는 높았습니다. 더욱이, 참여는 대부분 자발적 이었지만, 교사는 지속적으로 프로그램이 개인 목표에 도움이되고 즐겁고 관련이 있다는 것을 알게되었습니다. Transfer of leaning to workplace를 향상시킬 수있는 experiential and skill-based 방법을 사용하는 방법은 계속 가치가 있었습니다.

Overall satisfaction with faculty development programs was high. Moreover, although participation was mostly voluntary, teachers consistently found the programs helpful, enjoyable and relevant to their personal objectives. The methods used, especially those with an experiential and skill-based focus, which may enhance transfer of learning to the workplace, continued to be valued.

교육과 FD에 대한 태도 변화

Changes in attitudes towards teaching and faculty development

참가자들은 계속해서 이러한 프로그램에 참여한 결과 교사 및 교수진 개발에 대한 태도에 긍정적 인 변화가 있음을보고했습니다. 또한, 그들은 종종 효과적인 교육 실천에 대한 자신감, 열정, 인식을 증가 시켰습니다.
Participants continued to report a positive change in atti- tudes towards teaching and faculty development as a result of their involvement in these programs. In addition, they frequently reported increased confidence, enthusiasm, and awareness of effective educational practices.

지식과 술기 습득

Gains in knowledge and skills

참가자들은 교육 원리, 구체적인 교수 전략, 교수 및 학습 방법에 대한 지식이 증가한 사례가 자주보고되었습니다. 또한 기술의 향상에 대해서 언급할 때 교수 설계instructional design 및 효과적인 피드백에 중점을 두었다.

Participants frequently reported increased knowledge of educational principles, specific teaching strategies, and approaches to teaching and learning. They also described gains in skills, with a particular focus on instructional design and effective feedback.

행동 변화

Changes in behavior

개선 된 피드백이나 교수의 효과와 같이 교수 행동의 자체보고 된 변화는 가장 흔한 결과로 남아 있으며 대부분의 개입에서보고되었습니다. 교실이나 임상 환경에서의 교육을 넘어서는 (관찰 된) 변화에는 새로운 교육 이니셔티브의 설계 및 제공, 새로운 교육 책임 또는 리더십 지위, 생산성, 학업 성과 및 경력 향상이 포함되었습니다. 이러한 관찰 된 변화는 주요 결과 결과를 가르치는 성과 인 2006 년에 덜 주목 받았다.

Self-reported changes in teaching behavior, such as improved feedback or teaching effectiveness, remained the most common outcome and were reported in most interventions. Observed changes that extended beyond teaching in the classroom or clinical setting included the design and delivery of new educational initiatives, new educational responsibilities or leadership positions, and productivity, increased academic output and career advancement. These observed changes were less fre- was quently noted in 2006, where the major outcome teaching performance.

조직행동과 학생학습의 변화

Changes in organizational practice and student learning

학생 (또는 레지던트) 행동의 변화뿐만 아니라, 조직 시스템의 변화도 계속 탐구되었다. 조직 관행의 변화를 보고한 것은 연구의 3 분의 1에도 미치지 못하였으며, 연구의 5 %만이 학습자 행동의 변화를 평가했습니다. 그러나 조직의 관행을 조사한 연구에서 참가자들은 새롭거나 향상된 동료 네트워크 설립을보고했다. 후자의 결과는 시간 경과에 따른 동료 집단과의 반복 된 접촉을 허용하는 FDP(longitudinal programs and seminar series)에서 가장 빈번히 관찰되었습니다.

Changes in organizational systems, as well as changes in student (or resident) behavior, continued to be under- explored. Less than a third of the studies reported changes in organizational practices, and only 5% of studies assessed changes in learner behavior. However, in those studies that did examine organizational practice, participants reported the establishment of new or improved networks of col- leagues. The latter outcome was most frequently observed in longitudinal programs and seminar series, faculty devel- opment interventions that allowed for repeated contact with a group of colleagues over time.

효과적인 FD의 핵심 특징

Key features of effective faculty development

2006 년과 마찬가지로 다음과 같은 몇 가지 주요 기능이 포함되었습니다. 증거 기반의 교육 설계 (이론적 또는 개념적 틀의 통합, 교수 및 학습의 원리 준수, 다양한 목적을 달성하기위한 여러 가지 교수 방법의 사용) 관련 콘텐츠; 체험 학습 및 연습 및 적용 기회; 피드백과 반성을위한 기회; 교육 프로젝트; 의도적 인 공동체 건설; 종단 프로그램 설계; 및 제도적 지원.

As in 2006, a number of key features emerged in this review. They included:

evidence-informed educational design (which encompassed the integration of theoretical or conceptual frameworks, adherence to principles of teach- ing and learning, and the use of multiple instructional methods to achieve diverse objectives);
relevant content;
experiential learning and opportunities for practice and application;
opportunities for feedback and reflection;
edu- cational projects;
intentional community building;
longitudinal program design; and
institutional support.

내용의 관련성이 가장 많이 강조되었는데, 피드백을 통한 성찰을 포함시키고, 전문적인 요구를 해결하기위한 교육 프로젝트를 사용하는 것도 강조되었다. Longitudinal program 또한 새로운 핵심 기능으로 부상했습니다. 실제로, 긴 시간에 걸쳐 진행되는 프로그램이 더 광범위하고 지속 가능한 변화와 관련이있는 것처럼 보인다.

The relevance of content to the participants’ work was more frequently high- lighted in this review, as were the incorporation of reflection with feedback and the use of educational projects to address professional needs. Longitudinal programming also emerged as a new key feature; indeed, the extension of programs over time appeared to be associated with broader and more sus- tained changes.

커뮤니티 형성

Community building

O'Sullivan과 Irby의 모델 (2011)을 이 리뷰에 적용하는 것이 특히 도움이 된다. 왜냐하면 FD intervention은 FD community의 구축을 강화하며, 특히 시간이 지남에 따라 반복되는 접촉을 보장하고 지속적 동료간 협력을 보장하는 longitudinal program에서 그러했다. 동료들과의 지속적인 관계는 30 % 이상의 연구에서 공통의 목표와 개인적 성공의 달성을 가능하게하는 것처럼 보였습니다. 이것은 2006년엔 확인하지 못한 결과이다. O'Sullivan과 Irby (2011)는 또한 교수진의 역할을 강조했다. 우리는 FDer가 누구인지, 그리고 FD가 FDer에게 미치는 잠재적 영향이 무엇인지 알아 보는 것이 중요하다고 생각합니다. 가르치는 것은 두 번 배우는 것이다라고 했다. 흥미롭게도 현재까지 소수의 연구 (O'Sullivan & Irby 2014a)만이 FDer에게 요구되는 기술과 속성의 독특한 조화에 대해 연구했습니다.

Applying O’Sullivan and Irby’s model (2011) to this review was particularly helpful as we observed that faculty devel- opment interventions can enhance the building of a fac- ulty development community, especially in the context of longitudinal programs that ensure repeated contact over time and ongoing collaboration with colleagues. Supportive relationships with colleagues, noted in over 30% of the studies, appeared to enable the accomplish- ment of shared goals and individual success. This finding was not reported in 2006. O’Sullivan and Irby (2011) also highlighted the role of faculty developers in their model; based on this review, we believe it would be important to explore who faculty developers are and what the potential impact of faculty development on them might be. It has been said that ‘‘to teach is to learn twice.’’ Interestingly, few studies to date (O’Sullivan & Irby 2014a) have examined the unique blend of skills and attributes required of faculty developers.

우리는 FD가 직장에서의 공동체 의식 형성에 미칠 수있는 영향을 깨닫기 위해서는 더 많은 연구가 필요하다는 점도 지적했습니다. 소개에서 언급했듯이 FD 참가자는...

다른 교사 나 직원과 협력하고,
직장에서 관계와 네트워크를 갖추고,
교육 프로그램 내에서 작업과 활동을 완수하고,
직장 환경에서 멘토와 코치를두고,
교육 문화를지지하거나 저해하는 문화에 의해 특징 지워지는 조직적 맥락에서 근무한다.

We also noted that more work is needed to realize the possible impact of faculty development on building a sense of community in the workplace. As noted in the introduc- tion, faculty development participants

collaborate with other teachers or staff members,
have relationships and net- works in the workplace,
fulfill tasks and activities within the educational program,
have mentors and coaches in the work setting, and
work in an organizational context charac- terized by a culture that either supports or inhibits educa- tional change (O’Sullivan & Irby 2011).

Academic setting에서, 직장에서 일어나는 일과 FD가 COP 구축에 영향을 줄 수 있는지 여부를 더 잘 이해해야 할 때이다. 더욱이, 이 리뷰는 많은 FDP가 직장에서의 교육 활동 참여에 긍정적 인 영향을 미쳤음을 입증했지만, Transfer of training의 개념은 더 많은 조사가 필요하다. De Rijdt et al. (2013)은 학습자의 동기와 경험, 교육 전략, 교육 시간, 학습 환경을 강조하면서 FD에서 educational practice로의 transfer of learning에 영향을주는 변수를 조사하기 위해 문헌을 검토했습니다. 작업 환경 내의 변수(교육 프로그램 내외부에서 네트워크를 수행하고 네트워크를 만들 수있는 기회 등)도 역할을 한다 (van den Bossche & Segers 2013). 이 '교훈'을 FD에 전달하는 것이 가치가 있을 것입니다.

It is time to better understand what occurs in the workplace and whether fac- ulty development can influence the building of a commu- nity of practice in the academic setting. Moreover, although this review demonstrated that many of the faculty develop- ment interventions had a positive effect on involvement in teaching activities in the workplace, the concept of transfer of training requires further investigation. De Rijdt et al. (2013) reviewed the literature to investigate which variables most impact transfer of learning from faculty development to educational practice, highlighting learners’ motivations and experiences, instructional strategies, training time, and learning climate. Variables within the work environment, including opportunities to perform and create networks both within and outside the training program, also play a role (van den Bossche & Segers 2013). Exploring the transfer of these ‘‘lessons learned’’ to faculty development would now be worthwhile.

실천을 위한 함의

Implications for practice

지금까지의 성공을 기반으로 구축
Building on our successes to date

recognizable, replicable한 요소를 가진 성공적 프로그램들이 있다. 가능한 한 범위 내에서 Context의 중요성을 염두에 두면서, 우리는 프로그램 개발 및 구현에 대한 체계적인systematic 접근법을 채택하고, 이용 가능한 증거를 구축하고이 검토에서 강조된 핵심 기능을 통합해야한다. 또한 이론과 실습(실천)의 통합을 강화하고 관련성relevance과 적용을 강조하기 위해 노력해야합니다.

The literature describes successful programs with recog- nizable, replicable elements. To the extent possible, and being mindful of the importance of context, we should adopt a systematic approach to program development and implementation, building on available evidence and incorporating key features highlighted in this review. We should also strive to enhance the integration of theory with practice, highlighting relevance and application.

개인 수준에서의 교육 효과성 향상 너머를 바라보는 넓은 관점
Broadening our focus beyond individual teaching effectiveness

교수진의 역할이 복잡하기 때문에, FDP의 초점을 교육 효과성 향상 그 이상으로 확장해야 합니다. 여기에는 교과 과정 디자인, 교육 리더십 또는 스칼라십 (종단적 개입에서 관찰 된 성과)뿐만 아니라 교사로서의 정체성 (교사의 가치, 동기 및 신념 포함)에 중점을 둘 수 있습니다. 조직에 초점을 맞추는 것, 교육의 탁월성이나 리더십 개발에 대한 인식을 높이는 데 중점을 두는 것이 큰 도움이 될 것입니다.

Given the complexity of faculty members’ roles, broaden- ing the focus of faculty development programs designed to enhance teaching effectiveness is needed. This could include an emphasis on

curriculum design,
educational leadership, or
scholarship (an outcome which was observed in longitudinal interventions), as well as a focus on
faculty members’ identities as teachers (including their values, motivations and beliefs).

A greater focus on the organization at large, be it an emphasis on promot- ing the recognition of educational excellence or leader- ship development, would also be beneficial.

장기간 지속되는 프로그램 개발

Developing programs that extend over time

이 리뷰는 누적 학습, 실습 및 피드백 통해서 장기간 지속되는 FDP가 여러 이점이 있음을 나타냅니다. 앞에서 언급했듯이 종단적 FDP는 향상된 교수 성과를 넘어서서 향상된 자기 인식, 새로운 리더십 역할 및 책임, 학문적 인 생산량 및 생산성 향상 등의 장점이 있습니다. 종단적 FDP는 사회적 네트워크와 공동체 의식을 형성 할 수있는 잠재력을 지니며, 협업과 팀워크가 임상 및 교육 실무의 중요한 구성 요소로 등장함에 따라 특히 중요 할 수 있습니다.

This review indicated the multiple benefits of faculty development programs that extend over time, allowing for cumulative learning, practice and feedback. As noted earlier, the benefits of longitudinal approaches to faculty development include changes that go beyond improved teaching performance and include enhanced self-aware- ness, new leadership roles and responsibilities, and academic increased output and productivity. Longitudinal interventions also have the potential to fos- ter social networks and a sense of community, an out- come that might be particularly important as collaboration and teamwork have emerged as critical components of clinical and educational practice.

워크숍에서 직장현장으로

Moving from workshops to the workplace

현재의 문헌은 워크숍, 단기 코스 및 세미나와 같은 공식적이고 구조화 된 접근 방식에 대한 과도한 의존도를 보여줍니다. 이러한 접근법은 바람직한 것이며expected, 더 체계적인 계획과 프로그램 설계를 위한 이 분야의 성장을 반영합니다. 그러나 구조화 된 접근법만으로 충분하지 않을 수 있습니다.

The current literature demonstrates a continuing over- reliance on formal, structured approaches such as work- shops, short courses and seminars. Such approaches are expected and reflect the growth of the field to incorpor- ate more systematic planning and program design. However, on their own, structured approaches may be insufficient.

구조화된 개입의 장점

Whereas structured interventions appear to have the stated advantage of

스케쥴링 간편 ease of scheduling,
커뮤니티 형성 build- ing a community of interested educators, and
동기부여 increasing motivation,

workplace에서의 경험학습도 고려되어야 한다(guided reflection, peer coaching and mentorship)

other methods that take advantage of experi- ential learning in the workplace, which include guided reflection, peer coaching and mentorship, should be con- sidered. We should also identify ways to recognize and promote learning in the workplace.

실천공동체 형성

Fostering communities of practice

Workplace작업장 학습과 밀접한 관련이있는 것은 실천 공동체의 개념입니다. 교수진은 종종 커뮤니티 활동에 참여함으로써 교육 및 기타 많은 역량에 대해 배우게됩니다. 커뮤니티에 속해 있으면 sense of membership이 강화되며, 훈련의 전이transfer를 촉진하며, 개인 목표를 달성 할 수 있다. 이러한 성과는 대규모 교육 기관에 도움이 되는 조직문화의 변화로 이어질 수 있는데, 집단적 학습collective learning이 구성원들의 새로운 지식과 이해를 구축하고, 새로운 기술과 전문 지식을 습득하며, 실무를 향상시킬 수 있기 때문이다.

Closely related to workplace learning is the notion of communities of practice. Faculty members often learn about teaching—and many other competencies—by par- ticipating in the activities of a community. The results of this review have suggested that belonging to a commu- nity can enhance a sense of membership, promote trans- fer of training, and foster the attainment of individual goals. These outcomes can also lead to culture change, benefiting the institution at large, as collective learning allows community members to build new knowledge and understanding, acquire new skills and expertise, and improve practice.

기관 수준의 지지 확보

Securing institutional support

이 검토 결과는 기관 지원의 역할을 강조했다. 2006 년 우리는 organizational context의 중요성에 주목했습니다. 프로그램을 context에 "일치"시키는 것과 마찬가지로 organizational context는 여전히 중요합니다. 그러나 재정적 인 지원이나 자유release 시간을 통해 분명히 나타나는 바와 같이, 제도적 지원institutional support은 성공의 중요한 요소로 부상하고있다. 교수들이 각자의 모든 책임 분야에서 지속적인 quality improvement를 이룰 수 있도록 지원하고 보상하는 조직 문화를 구축하는 것이다.

The findings of this review highlighted the role of institu- tional support. In 2006, we noted the importance of organizational context. This remains important, as does the ‘‘matching’’ of programs to context. However, institu- tional support, as evident through financial support or release time, is emerging as a critical component of suc- cess; so is the establishment of an organizational culture that supports and rewards continuous quality improve- ment in all spheres of faculty members’ responsibilities.

연구를 위한 함의

Implications for research

이론적 또는 개념적 프레임 워크에서 연구
Embedding research studies in a theoretical or conceptual framework

앞으로 우리는 연구 연구를 이론적 또는 개념적 틀에보다 명시 적으로 embed하고 결과의 해석에 이론을 활용해야합니다 (Davidoff 외 2015). 또한 개별 학습자를 뛰어 넘는 이론적 및 개념적 접근법을 통합하고 커뮤니티에서 집단 학습collective learning이 어떻게 발생 하는지를 이해하는 데 도움이 될 것입니다.

Moving forward, we should embed research studies more explicitly in a theoretical or conceptual framework and utilize theory in the interpretation of our results It (Davidoff et al. 2015). would also be beneficial to incorporate theoretical and conceptual approaches that go beyond the individual learner and help us to under- stand how collective learning occurs in communities.

보다 질적이며 혼합 된 방법 연구 실시
Conducting more qualitative and mixed methods studies

2006 년 이래로 질적 방법의 사용이 증가 했음에도 불구하고, 우리는 여전히 "왜"와 "어떻게"변화가 FD에서 발생하는지 더 잘 이해할 필요가있다. 다양한 방법론과 혼합 된 방법을 사용하는 질적 연구는 intervention의 결과로서 개인과 조직 모두에서 변화의 과정을 더 잘 이해하는 데 도움이 될 수 있습니다. 추가 연구를 위한 이 길은 2006 년에 강조되었으며 여전히 중요합니다. 또한 질적 연구는 교수진 개발이 어떻게 실천 공동체CoP 구축을 향상시킬 수 있는지, 그리고 CoP가 어떻게 교수진 개발을 촉진시키는 데 도움이되는지를 이해하는 데 도움이 될 수 있습니다.

Despite an increase in the use of qualitative methodolo- gies since 2006, we still need to better understand ‘‘why’’ and ‘‘how’’ change occurs in faculty development. Qualitative studies, using a range of methodologies, as well as mixed methods approaches, can help us to better understand the process of change, both as a result of the intervention and within the individual and the organ- ization. This avenue for further study was highlighted in 2006 and remains important. Qualitative studies might also help us to understand how faculty development can enhance the building of communities of practice—and how communities of practice can help to promote the development of faculty members.

여러 방법 및 데이터 소스를 사용하여 행동 및 조직 성과 평가
Using multiple methods and data sources to assess behav- ioral and organizational outcomes

시뮬레이션 환경과 실제 환경 모두에서 제 3자가 관찰한 변화에 대해 보고하기 위해 더 많은 연구가 필요합니다. 이 리뷰에서의 여러 연구는 행동 변화를 평가하기 위해 OSTE를 활용했다. 그러한 성과에 기반한 변화 측정을 사용하는 것은 매우 중요합니다. 여러 가지 방법과 데이터 소스를 사용하면 데이터를 삼각검증 할 수 있습니다. 또한 FD의 잠재력을 최대한 보여주기 위해서는 시스템 차원의 변화를 측정하는 척도(예 : 새롭게 형성되었거나 개선 된 네트워크)가 필요합니다.

There is a need for more studies to report on changes observed by third parties, both in simulated environ- ments as well as in actual practice. Several studies in this review utilized OSTE’s for assessing change in behavior; employing such performance-based measures of change is invaluable. Using multiple methods and data sources would also enable triangulation of data. Additionally, measures of change in the system (e.g. the creation of new or improved networks) are needed to demonstrate the full potential of faculty development.

변화에 대한 평가 및 시간 경과에 따른 실습
Assessing change and transfer to practice over time

많은 연구에서 지연된 사후 테스트가 포함되었지만 변화의 '내구성'에 대해서는 아직 거의 알지 못합니다. 시간 경과에 따른 변화 패턴에 초점을 맞추면 개인 및 조직에 대한 FD의 영향에 대한 이해를 높이고 지속적인 변화와 관련된 개입을 파악하는 데 도움이됩니다. 종단적 후속 연구는 교수 경력을 통해 교수진의 발전을 밝혀 줄 수도 있습니다. FD는 우리가 다른 사람들에게 "가하는" 활동이 아닙니다. 그것은 authentic setting에서 시간이 지남에 따라 발생하는 프로세스입니다.

Although a number of studies included delayed post- tests, we still know very little about the ‘‘durability’’ of change. Focusing on patterns of change over time would enhance our understanding of the impact of faculty devel- opment on individuals and organizations and help to iden- tify which interventions are associated with sustained change. Longitudinal follow-up might also shed light on the development of faculty members throughout their careers. Faculty development is not an activity that we ‘‘do’’ to others; it is a process that occurs over time in authentic settings.

FD의 핵심 기능 분석
Analysing key features of faculty development

FD intervention은 많은 예측 불가능한 변수들이 역할을 하는 복잡한 환경에서 발생한다 (Steinert et al., 2006). 이 리뷰를 토대로, 우리는 서로 다른 변수들 간의 상호 작용을 조사하기 위해 더 많은 연구를 수행해야합니다. 이 검토에서 몇몇 연구 (예 : Ogden et al., 2008; Johansson et al. 2012, Julian et al. 2012)는 FD의 어떤 특징이 변화에 기여하는지 분석 할 수있는 다른 FD 접근법과 방법을 비교 및 대조했다. 이러한 분석은 현장을 발전시키는 데있어 중요합니다.

Faculty development interventions occur in a complex environment in which many unforeseen and unpredict- able variables play a role (Steinert et al. 2006). Based on this review, we need to conduct more studies which investigate interactions between different features. Few studies in this review (e.g. Ogden et al. 2008; Johansson et al. 2012; Julian et al. 2012) compared and contrasted different faculty development approaches and methods to enable an analysis of which features of faculty devel- opment contribute to changes in teacher performance. Such analyses would be critical in advancing the field.

더 큰 조직적 맥락에서 FD의 역할을 탐구 함.
Exploring the role of faculty development within the larger organizational context in which it unfolds

우리가 관찰했듯이, FD의 잠재적인 영향을 관찰하는 데 더 많은 노력이 필요합니다. 이러한 연구는 직업 개발을 육성하는 workplace learning의 핵심 요소와 실천 공동체CoP가 수행 할 수있는 역할을보다 잘 이해하는 데 도움이 될 것입니다. 이 조사는 또한 교수진의 역할과 맥락이 복잡 할 때 사회적 네트워크 분석이나 민족 지학과 같은보다 복잡한 연구 설계가 필요합니다.

As we observed, more work is needed to observe the potential impact of faculty development on the organization at large. Such studies will help us to better understand the key elements of workplace learning that foster professional development and the role that communities of practice can play. This line of investigation will also require more com- plex research designs, such as social network analysis or ethnography, given the complexity of faculty members’ roles and contexts.

결론

Conclusion

강점과 약점

Strengths and limitations of the review

이 리뷰에는 또한 많은 제한이있었습니다. 리뷰 과정은 2002 년 2 월부터 2012 년까지 10 년 동안의 문헌 업데이트를 반영하여 시간 제한적이었습니다. 또한 검토 된 연구의 거의 대부분은 영어로 되어 있으며 북미 지역 연구이다. 다른 사람들이 지적했듯이 (Koppel et al., 2001; Freeth et al. 2002), 이는 국제적인 관점에서 교수진 개발의 전체적인 그림을 막는 publication bias을 반영 할 수있다. 부정적 결과는 드물게 보고된다는 점도 다른 가능한 publication bias이다. 다른 검토와 마찬가지로, 코딩 시트에 대한 해석자 간의 해석과 합의는 검토 프로세스 전반에 걸쳐 도전이었습니다. 우리가 합의를 도출하기 위해 취한 엄격한 프로세스에 따라 어려움이있었습니다. 또한 우리는 개인 및 연구 팀 (Freeth 외 2002)으로서 비판적인 재귀성critical reflexivity 을 유지하려고 노력했지만 데이터 코딩 및 품질 관리에 관해 가능한 한 경계하지 않았으므로보고 된 데이터의 개인적인 편견과 오해가 우리가 검토 한 연구의 최종 요약에서 약간의 오류가 발생했습니다. 마지막으로 검토 된 연구의 본질은 몇 가지 문제점을 제시했습니다. 연구 설계에 대한 설명은 종종 제한적이었습니다. 또한 저자는 응답률, 사용 된 통계 방법 또는 개입 상황 (예 : 학문분야, 기간)을 이해하는 데 중요한 기본 배경 정보를 생략하는 경우가 많습니다. 또한, 용어의 일관성없는 사용 (예를 들어, 프로그램 유형을 설명하기 위해 사용된 용어)은 종종 동일한 정보의 상반되는 해석을 야기했다.

This review also had a number of limitations. The review process was time-limited, as it reflected a 10-year update of the literature from February 2002 until 2012. Further, almost all of the reviewed studies were found in the English lan- guage, with a greater number in the North American litera- ture. As others have noted (Koppel et al. 2001; Freeth et al. 2002), this may reflect a publication bias that prevents a ful- ler picture of faculty development from an international perspective. Negative results are also rarely reported, reflect- ing another possible publication bias. As in other reviews, inter-rater interpretation and agreement on the Coding Sheet was a challenge throughout the review process, des- pite the rigorous process we undertook to achieve consen- sus. Moreover, while we sought to maintain critical reflexivity as individuals and a research team (Freeth et al. 2002), and we were as vigilant as possible about data cod- ing and quality control, personal biases and misinterpreta- tions of reported data may have led to some errors in the final summary of the studies that we reviewed. Lastly, the nature of the articles reviewed presented several challenges. Descriptions of study designs were often limited. As well, authors frequently omitted response rates, statistical meth- ods used, or basic background information critical to under- standing the context of the intervention (e.g. discipline, duration). In addition, an inconsistent use of terminology (e.g., to describe program types) often led to conflicting interpretations of the same information.

De Rijdt C, Stes A, van der Vleuten C, Dochy F. 2013. Influencing varia- bles and moderators of transfer of learning to the workplace within the area of staff development in higher education: research review. Educ Res Rev. 8:48–74.

Steinert Y. 2012. Faculty development: on becoming a medical educa- tor. Med Teach. 34:74–76.

Steinert Y, Macdonald ME. 2015. Why physicians teach: giving back by paying it forward. Med Educ. 49:773–782.

Van den Bossche P, Segers M. 2013. Transfer of training: adding insight through social network analysis. Educ Res Rev. 8:37–47.

Webster-Wright A. 2009. Reframing professional development through understanding authentic professional learning. Rev Educ Res. 79:702–739.

2016 Aug;38(8):769-86. doi: 10.1080/0142159X.2016.1181851. Epub 2016 Jul 15.

A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update: BEME Guide No. 40.

Steinert Y1, Mann K2, Anderson B3, Barnett BM4, Centeno A5, Naismith L6, Prideaux D7, Spencer J8, Tullo E9, Viggiano T10, Ward H11, Dolmans D12.

Author information

1a Centre for Medical Education, Faculty of Medicine , McGill University , Montreal , Canada ;
2b Division of Medical Education, Faculty of Medicine , Dalhousie University , Halifax , Canada ;
3c International Programs , National Board of Medical Examiners , Philadelphia, PA , USA ;
4d Department of Integrated Studies in Education, Faculty of Education , McGill University , Montreal , Canada ;
5e Faculty of Biomedical Sciences , Austral University , Buenos Aires , Argentina ;
6f HoPingKong Centre for Excellence in Education and Practice and The Wilson Centre , University Health Network , Toronto , Canada ;
7g Prideaux Centre for Research in Health Professions Education , School of Medicine, Flinders University , Adelaide , Australia ;
8h School of Medical Education, Faculty of Medical Sciences , Newcastle University , Newcastle upon Tyne , UK ;
9i Newcastle NIHR Biomedical Research Centre in Ageing and Chronic Disease and Institute of Health and Society , Newcastle University , Newcastle upon Tyne , UK ;
10j Mayo Clinic College of Medicine , Rochester, MN , USA ;
11k Medicine Learning and Teaching Unit, School of Medicine , The University of Adelaide , Adelaide , Australia ;
12l School of Health Professions Education (SHE) , Maastricht University , Maastricht , The Netherlands.

Abstract

BACKGROUND:

This review, which focused on faculty development initiatives designed to improve teaching effectiveness, synthesized findings related to intervention types, study characteristics, individual and organizational outcomes, key features, and community building.

METHODS:

This review included 111 studies (between 2002 and 2012) that met the review criteria.

FINDINGS:

Overall satisfaction with faculty development programs was high. Participants reported increased confidence, enthusiasm, and awareness of effective educational practices. Gains in knowledge and skills, and self-reported changes in teaching behaviors, were frequently noted. Observed behavior changes included enhanced teaching practices, new educational initiatives, new leadership positions, and increased academic output. Organizational changes were infrequently explored. Key features included evidence-informed educational design, relevant content, experiential learning, feedback and reflection, educational projects, intentional community building, longitudinal program design, and institutional support.

CONCLUSION:

This review holds implications for practice and research. Moving forward, we should build on current success, broaden the focus beyond individual teaching effectiveness, develop programs that extend over time, promote workplace learning, foster community development, and secure institutional support. We should also embed studies in a theoretical framework, conduct more qualitative and mixed methods studies, assess behavioral and organizational change, evaluate transfer to practice, analyse key features, and explore the role of faculty development within the larger organizational context.

PMID:: 27420193
DOI:: 10.1080/0142159X.2016.1181851

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

교육의 스칼라십: 21세기의 필수불가결 요소(Acad Med, 2000) (0)	2017.01.19
Chapter 15. 국제교수개발 [Faculty Development in the Health Professions] (0)	2017.01.18
신임 교수개발자의 정체성 형성과 동기부여: resource-contrained환경연구 (Med Teach, 2016) (0)	2016.11.14
교육프로그램 평가를 위한 열두가지 팁(Med Teach, 2010) (0)	2016.10.25
만약 공식적 CME가 효과가 없다면, 왜 의사들은 여전히 참석하나? (0)	2016.10.21

레지던트들은 근무시간을 어떻게 사용할까? (Acad Med, 2016) (그림추가필요)

Meded. 2016. 11. 14. 04:24

2016. 11. 14. 04:24

레지던트들은 근무시간을 어떻게 사용할까? (Acad Med, 2016)

How Do Residents Spend Their Shift Time? A Time and Motion Study With a Particular Focus on the Use of Computers

Lena Mamykina, PhD, David K. Vawdrey, PhD, and George Hripcsak, MD, MS

HIT와 EHR에 대한 관심이 높아지며 이들 기술의 impact가 중요해지고 있다. 지금까지 연구로는...

With the increasing focus on the dissemination of health information technology (HIT) and the electronic health record (EHR), questions regarding the impact of these technologies on clinical practice become of paramount importance. Studies conducted thus far outline both

장점 the benefits of HIT and EHRs, such as

reduction in medication errors and
improved patient outcomes,1,2 and

의도하지 않은 결과 their unintended consequences, such as

reduced efficiency,
lower quality of care,
increased possibility of medical errors,3,4 and
disruptions in clinicians’ workflows, particularly if the design of the HIT or EHR does not match clinical work practices.5

HIT과 EHR의 중요성은 높아지고 있지만, 실제로 의사들이 어떻게 사용하는지는 잘 알려져있지 않다. 여러 연구에서 HIT의 사용을 정확히 구분하고 있지 않다. 그러나 EHT로 할 수 있는 일이 매우 많다.

Despite the growing importance of HIT and EHRs, the actual patterns of clinicians’ use of these technologies remain poorly understood. Many studies do not discriminate between different types of tasks clinicians perform using electronic systems or only focus on particular types of HIT, such as

computerized provider order entry3,6,7 and
electronic documentation.8,9

However, the rich functionality of modern EHRs suggests that a wide variety of tasks related to patient care may now be performed using computing systems.

레지던트 워크플로우를 연구한 결과에 따르면 직접 환자를 보는데 사용하는 시간은 매우 적고, 대부분의 시간을 educational and administrational task에 쏟는다. 이러한 현상은 수십년간 지속되어왔고, 레지던트의 시간 배분에 우려를 갖게 했다.

Previous studies of resident workflows suggested that physicians in training spend little time on direct patient care and the majority of their time on educational and administrative tasks.10,11 These observations remained consistent for several decades,12,13 leading to a standing concern about residents’ time allocation.

방법

Method

세팅

Empirical setting

We conducted this time and motion study in June and July 2010 at NewYork- Presbyterian/Columbia University Medical Center (NYP/CUMC), a large urban teaching hospital in New York, New York. NYP/CUMC had over 2,300 beds and discharged over 110,000 patients in 2009, with an average length of stay of 6.4 days.16

We conducted this study with residents (first-, second-, and third-year) on the general medicine service.

In 2004, NYP/CUMC deployed a commercial EHR system (Allscripts Sunrise, Allscripts, Chicago, Illinois). Before that, NYP/CUMC used WebCIS, which was developed in-house. The Allscripts Sunrise EHR system included a number of modules, separated into tabs (e.g., results, flowsheets, orders). Most licensed independent practitioners entered their notes directly into the EHR via a keyboard and mouse as opposed to using dictation.

연구대상

Subjects

At the time of the study, 16 residents rotated on the general medicine service (8 second- or third-year residents and 8 interns). Four (25.0%) of these residents participated in a pilot study, conducted immediately prior to the study described here. Another 7 (43.8%) participated in the final data collection study—3 (42.9%) of these participants were interns, who began their first rotations 3 to 4 weeks prior to the study, and 4 (57.1%) were second- or third-year residents.

연구설계

Study design

This study used a time and motion design to allow us to capture data on clinical activities with a high level of detail.10 During the course of the study, an experienced observer (L.M.) shadowed each participant for the 7 to 14 hours of their day shift (typically starting between 7:00 am and 8:00 am and ending between 3:00 pm and 9:00 pm). We did not include night shifts in the study. While shadowing participants, the observer captured all their activities using a custom-developed iPad application. Notably, the application allowed us to capture multiple activities simultaneously to account for multitasking (e.g., when participants were viewing a patient’s record while talking on the phone). The observer had extensive expertise with qualitative research methods, including observations of clinicians’ use of electronic documentation systems17 and clinical work practices.18

용어

Taxonomy of clinical activities

Overhage 가 개발하고 Pizziferri 가 refine한 modified taxonomy of clinical activities를 사용

For this study, we used a modified tax- onomy of clinical activities developed by Overhage et al19 and refined by Pizziferri et al,20 which we expanded to allow for a fine-grained examination of computer-based activities. The final breakdown of the computer-based activities category is given in Table 2.

데이터 분석

Data analysis

The analytic approach used in this study was inspired by the work of Zheng et al5 that described multiple analytical tools to visualize and uncover hidden regularities embedded in the sequential execution of patient care tasks in a clinical workflow. The frequencies and durations of activities were calculated using Excel (version 14.5.8 for Mac, Microsoft, Redmond, Washington).

Finally, we reviewed all field notes taken during observations and grouped them in accordance with the taxonomy based on the category of activities they referred to. We also conducted a thematic analysis of notes and transcripts from interviews. These notes, transcripts, and themes were used to provide context and explanations for data captured with the time and motion study.

Results

활동의 일반 패턴

General patterns of activities

The total times spent by residents on different clinical activities per shift are presented in Table 1.

다양한 활동을 동시에 하므로 개별 시간의 합은 총 시간보다 많다

Notably, because the study allowed for the capturing of different activities that happened at the same time, the total time of captured activities (1,149.4 minutes) exceeded the total observation time per shift (720.2 minutes on average) by 429.2 minutes (59.6% of shift time), suggesting that 59.6% of residents’ time was spent multitasking.

컴퓨터 기반활동

Computer-based activities

표2

Table 2 presents a more detailed breakdown of the residents’ computer- based activities per shift.

활동 시각화

Visualizing activities

Figure 2 shows a heat map visualization of the activities captured for each participant during the observed clinical shifts.

환자를 직접 보는 상황

As is evident from the visualization, patient interactions (black) happened mainly in three different ways:

as part of the morning prerounding activities,
after rounds (usually to carry out the established care plans), and
sometimes before the end of the shift.

인턴과 레지던트의 차이: 인터뷰에서 응답자들은 higher level of skill이나 전문성이 필요한 경우가 아니라면 직접 환자를 만나는 것은 주로 인턴의 일이라고 생각했다.

The figure also shows that there was a visible difference in time spent with patients between interns and residents; the informal interviews confirmed that the participants perceived interns as being primarily responsible for direct patient contact, unless it involved procedures that required a higher level of skill or expertise.

컴퓨터와 종이가 모두 사용되는 시간

Both computers and paper were most commonly used

in the morning while preparing for rounds,
after rounds to update care plans, and
later in the day to document changes in patients’ conditions and to check off completed to-do list items.

아침시간에 컴퓨터 활용은 paper와 밀접하게 연결되어 있었다. 레지던트는 회진때 볼 용도로 중요한 EHR 자료를 종이에 옮겨적는다. 그러나 오후에는 컴퓨터의 사용은 communication사이사이에 tight하게 배치되어 있었는데, 레지던트들이 다른 사람과 전화 등으로 토론을 하기 때문이다.

In the morning hours, the use of computers was tightly coupled with the use of paper. During this time, the residents copied important bits of data from the EHR onto their paper notes to have this information available for rounds. In the afternoon, however, the use of computers was tightly interspersed with communication, as residents often engaged in discussions with others in person and on the phone while using computers.

고찰

Discussion

이전 연구결과와 마찬가지로 레지던트는 전체 근무시간의 50% 이상의 시간을 컴퓨터를 쓰면서 보냈고, 직접 환자를 보는 시간은 10% 이하였다 그러나 우리가 찾은 차이는 이전 연구 (40% and 12%) 보다 더 두드러진 것이었다. 두 가지 요인을 밝혀준다.

Consistent with previous reports, our study showed that residents spend considerably more time interacting with computers (over 50% of their shift time) than in direct contact with patients (less than 10% of their shift time). The difference we found, however, was even more pronounced than what had been reported in earlier studies (e.g., 40% computer use and 12% patient care10). The study may have identified two factors that might contribute to the high level of computer use: inefficiencies in the design of the EHR system and an increasing reliance on computing systems for access to patient data.

EHR 시스템 설계의 비효율성

Inefficiencies in the design of the EHR system

첫째, 컴퓨터 기반 활동의 대부분이 documentation과 관련된 것이었다(35%). 이는 이전 연구에 비해서도 높은 것이며 (21%), 우리 기관의 이전 보고와 비교해도 높다. 이러한 관측결과는 전자기록이 불가피하게 시간을 많이 잡아먹는 것은 아닌지 의문을 갖게 한다.

First, the study indicated that a signif- icant portion of the computer-based activities was dedicated to documentation (128.7 minutes, 35.3%). This finding is higher than similar findings in previous reports (e.g., 21% of time spent on documentation22,23), including a previous report from our institution.24 This observation raises a question about whether electronic documentation is inevitably time consuming

본 연구는 비효율적인 시간소모와 관련한 전자기록의 몇 가지 측면을 보여준다. 예컨대 레지던트는 9.3%의 시간을 note를 읽기보다는 notes의 목록을 보는데 쓴다. 이러한 상황은 레지던트가 주치의가 progress note를 "drop"하기를 기다리는 동안 발생하는 것이며, 이 "drop"하는 것은 논의된 진료계획을 실제로 수행하기에 앞서서 '공식적'으로 만들어주는 것이다. 새로운 note가 있을 때 EHR이 레지던트에게 알림을 주지 않기 때문에 정기적으로 업데이트가 있는지 확인해야 한다. 또한 patient record의 분절이 있어서, patient data catetory에 여섯 개의 분절된 item들이 있고 레지던트들은 상당한 시간을 이 서로 다른 영역들로부터 자료를 통합하는 작업에 사용해야 한다. 마지막으로 데스크탑 컴퓨터에 의존하는 방식과 환자에게 떨어져있는 위치는 레지던트가 환자를 직접 보면서 컴퓨터기반활동을 통합하는 것을 더욱 어렵게 한다.

This study may have highlighted several aspects of electronic documentation that contributed to inefficient use of time spent documenting. For example, residents spent 33.9 minutes (9.3%) of their shift time viewing the list of available notes rather than reading them. Our field notes suggested that these situations often occurred when residents were waiting for an attending physician to “drop” their progress note, which would make the discussed care plan official, before proceeding with the planned activities. Because the EHR did not alert the residents to newly posted notes, they had to periodically look for updates. In addition, the high degree of fragmentation in the organization of the patient record, reflected in the six distinct items within the looking-up-patient- data category (which corresponded to six different areas of the EHR containing patient data), may have required residents to spend a considerable amount of time consolidating data from these different areas. Finally, the reliance on desktop computers and their positioning away from patients made it impossible for clinicians to integrate computer-based activities with more direct patient care activities.

환자 자료 접근을 위한 컴퓨터 시스템에 의존 증가

Increasing reliance on computing systems for access to patient data

레지던터의 컴퓨터 기반 활동의 약 절반가량은 documentation과 관련된 활동이 아니라 환자자료를 열어보는 것 등등에 사용되었다.

Second, the study suggested that half of residents’ computer-based activities time was spent on activities not related to documentation but, rather, to

reviewing patient data (looking up patient data, 70.8 minutes [19.4%]);
managing and coordinating patient care (managing orders, 48.1 minutes [13.2%], and
communicating, 9.6 minutes [2.6%]); and
other activities (other, 24.0 minutes, [6.6%]).

이러한 결과는 patient care의 delivery는 오더와 to-do list의 잦은 업데이트를 필요로 함을 시사하며, 그래야 patient care team이 각자의 역할을 효과적이고 효율적으로 할 수 있기 때문이다. 더 나아가서 비공식 인터뷰에서 레지던트들은 신장내과와 같은 분과 로테이션을 경험한 경우 환자 접촉에 덜 의존하고 EHR에 저장된 정보에 더 의존한다고 응답하였다. 컴퓨터 시스템을 통해서만 접근할 수 있는 환자 자료의 양이 많아지고 풍부해질수록 이러한 경향은 더 심해질 것이다 그렇다면 문제는 이러한 자료를 해석하는데 환자의 역할이 필요하다고 한다면, 컴퓨팅 시스템이 환자와 의사간의 engagement를 diminish하기보단 facilitate하는 방법을 찾는 것이다.

These findings suggest that delivery of patient care necessitates frequent updates to orders and to-do lists to allow members of patient care teams to carry out their respective responsibilities in an efficient and effective manner. Moreover, during the informal interviews, residents who previously completed specialty rotations, such as nephrology, reported decreased reliance on patient contact and increased reliance on information stored within the EHRs (e.g., the available laboratory test results). With the growing amount and richness of patient data available only through computing systems, these trends are likely to amplify. Questions remain, however, as to the role of patients in helping clinicians to interpret these data and ways in which computing systems can help facilitate engagement between patients and clinicians, rather than diminish it.

Study limitations

결론

Conclusions

이미 의료행위는 컴퓨터 의존에 있어서 "돌아올 수 없는 강"을 건넜다. 그렇다면 의사가 이것을 이용해야 하는가 마는가, 얼마나 이용해야 하는가가 문제가 아니라, 무엇을 위해 사용하고, 어떤 정도로 컴퓨팅 시스템이 진료행위를 support할 수 있는지 아는 것이다.

Arguably, the practice of medicine may have reached the “point of no return” in regard to its reliance on computing systems. The question then becomes not whether and how much clinicians should use computers, but what they should use them for and to what degree the use of computing systems can support clinical care activities.

Acad Med. 2016 Jun;91(6):827-32. doi: 10.1097/ACM.0000000000001148.

How Do Residents Spend Their Shift Time? A Time and Motion Study With a Particular Focus on the Use of Computers.

Mamykina L1, Vawdrey DK, Hripcsak G.

Author information

1L. Mamykina is assistant professor of biomedical informatics, Department of Biomedical Informatics, Columbia University, New York, New York. D.K. Vawdrey is assistant professor of clinical biomedical informatics, Department of Biomedical Informatics, Columbia University, and vice president, Value Institute, NewYork-Presbyterian Hospital, New York, New York. G. Hripcsak is chair, Department of Biomedical Informatics, Vivian Beaumont Allen Professor of Biomedical Informatics, Columbia University, and director, Medical Informatics Services, NewYork-Presbyterian/Columbia University Medical Center, New York, New York.

Abstract

PURPOSE:

To understand how much time residents spend using computers compared with other activities, and what residents use computers for.

METHOD:

This time and motion study was conducted in June and July 2010 at NewYork-Presbyterian/Columbia University Medical Center with seven residents (first-, second-, and third-year) on the general medicine service. An experienced observer shadowed residents during a single day shift, captured all their activities using an iPad application, and took field notes. The activities were captured using a validated taxonomy of clinical activities, expanded to describe computer-based activities with a greater level of detail.

RESULTS:

Residents spent 364.5 minutes (50.6%) of their shift time using computers, compared with 67.8 minutes (9.4%) interacting with patients. In addition, they spent 292.3 minutes (40.6%) talking with others in person, 186.0 minutes (25.8%) handling paper notes, 79.7 minutes (11.1%) in rounds, 80.0 minutes (11.1%) walking or waiting, and 54.0 minutes (7.5%) talking on the phone. Residents spent 685 minutes (59.6%) multitasking. Computer-based documentation activities amounted to 189.9 minutes (52.1%) of all computer-based activities time, with 128.7 minutes (35.3%) spent writing notes and 27.3 minutes (7.5%) reading notes composed by others.

CONCLUSIONS:

The study showed that residents spent considerably more time interacting with computers (over 50% of their shifttime) than in direct contact with patients (less than 10% of their shift time). Some of this may be due to an increasing reliance on computing systems for access to patient data, further exacerbated by inefficiencies in the design of the electronic health record.

PMID:: 27028026
PMCID:: PMC4879085; [Available on 2017-06-01]
DOI:: 10.1097/ACM.0000000000001148

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 임상교육(Clerkship & Residency)' 카테고리의 다른 글

임상실습 준비를 위한 섀도잉(Neer-peer shadowing)프로그램 개발 팁(Med Teach, 2012) (0)	2017.02.24
쉐도잉(neer-peer shadowing)을 통한 임상실습 준비 향상 (Med Educ, 2014) (0)	2017.02.24
의도한 전체에서 추출된 부분의 합: 역량과 수련중 평가(Med Educ, 2009) (0)	2016.04.01
007 살인면허 (KJME, 2010) (0)	2015.11.10
수련교육의 검토와 반성(대한병원협회지, 2006) (0)	2015.03.10

학생선발과정에서 얻은 네러티브 정보가 문제행동을 예측한다 (Med Teach, 2016)

Meded. 2016. 11. 14. 04:21

2016. 11. 14. 04:21

학생선발과정에서 얻은 네러티브 정보가 문제행동을 예측한다 (Med Teach, 2016)

Narrative information obtained during student selection predicts problematic study behavior

MIRJAM G. A. OUDE EGBRINK & LAMBERT W. T. SCHUWIRTH

Maastricht University, The Netherlands

도입

Introduction

최근까지 초점은 cognitive academic performance 의 예측인자에 있었다. 그러나 이제 비인지적 quality도 미래 의과대학생과 의사로서 중요하다는 것이 명확하다.

Until recently, the focus has been primarily on predictors of cognitive academic perform- ance (Salvatori 2001; Siu & Reiter 2009). Nowadays, however, it is clear that, besides cognitive skills, non-cognitive qualities are important competencies of future medical students and doctors.

MMI가 사용되고 있음.

Recently, the so-called multiple mini-interview (MMI) show that multiple individual human judgments of non- cognitive skills when combined predict future performance in a sufficiently reliable way.

2007년 Maastricht University 의 P-CI 선발에 MMI를 사용하기 시작. 선발 과정에서 순위리스트가 나오는데, research master로서의 성공적인 수행 적합도를 예측에 대한 순위이다.

In 2007, the MMI method was introduced as part of the selection procedure for the four-year medical research master Physician-Clinical Investigator (P-CI) at Maastricht University (Guyaux et al. 2010). The selection procedure results in a ranking list, representing differences in predicted suitability to perform successfully in this research master.

대부분의 선발된 학생이 인지적 측면과 비인지적 측면 모두에서 성공적이지만, 일부는 문제행동을 보인다. 명확하게 이들 문제는 MMI점수에 의해서 예측되지 않으며 선발과정의 다른 부분에 의해서도 예측되지 못한다. 이론적으로 MMI 진행과정에서 면접관이 기록한 narrative information은 학생 파일에 저장되고, 이것이 미래 행동을 더 잘 예측해줄 수도 있다.

Although most selected students are successful in both cognitive and non-cognitive aspects of the study, some encounter professional lapses or problematic study behavior. Clearly, these problems were not predicted by the MMI scores or any other part of the selection procedure. Theoretically, the narrative information that is written down by the interviewers during the MMIs and stored in the student files could be a better predictor of such problems and could constitute a useful resource for the student mentors (called counselors in the P-CI master), but till now this information has been unused.

방법

Methods

맥락

Context

The four-year P-CI research master is a graduate-entry program that enables students to become medical doctor as well as clinical investigator. This combination makes it a challenging program for the students. Each year, a selection procedure decides which 30 students are allowed to enter this master.

They must have finished a biomedical bachelor with good results; GPAs as well as a cognitive test are taken into account in the first part of the selection procedure.
The second part consists of MMIs on different topics, such as motivation, past performance, empathy and communication skills. The applicants’ performances on each individual interview are graded independently by the interviewers as being ‘‘suffi- cient’’, ‘‘doubtful’’ or ‘‘insufficient’’, and the combination of all individual scores adds up to a ranking list. In each station, interviewers also make notes that are not used in the procedure itself; both notes and grading are completed in the time interval between individual interviews. The notes are stored for possible use in appeals, to underpin the inter- viewers’ judgments.

학생과 카운셀러(지도교수)

Students and counselors

In this study, we focused on students who enrolled into the n¼30) P-CI master in 2007 (cohort 2007; and 2008 (cohort 2008; n¼30). In this master, each student is assigned to a counselor at the start of the first year, who mentors the student on an individual basis throughout his/her study. Each counselor typically takes care of 3–8 students per cohort. Every year, student and counselor meet at least four times.

Seven counselors mentored the 60 students in cohorts 2007 and 2008 (five in cohort 2007 and six in cohort 2008; four of them were active in both cohorts). In the end, 54 out of 60 students have finished their study within four to five years, while one student is currently finishing the last part.

연구설계

Study design

This retrospective exploratory study was subdivided into three parts.

First, the seven counselors were asked to name the three most prevalent non-cognitive problems they encountered in ‘their’ students, and grade them (3-2-1) to indicate the graduate-entry (3 ¼most From their frequency of occurrence frequent). program that enables students to become medical doctor as reactions the two most highly-graded problems were selected well as clinical investigator. This combination makes it a for further analysis.
Second, two independent and blinded investigators (MoE and LS) analyzed the de-identified notes written down during the MMIs of 15 randomly chosen students out of the total of 55, and identified what they thought to be possible indicators for these two most frequent non-cognitive problems.
Third, a case-control study design was used. The coun- selors were asked to identify the students who exhibited either one or both of these non-cognitive problems during their study (cases). The notes of their MMIs were de-identified and screened by the same two independent and blinded investi- gators (MoE and LS) to investigate whether the proposed indicators of these problems were indeed present. As a control, the MMI notes of a similar number of control students from the same cohorts (without the identified non-cognitive problems) were screened for the presence of these indicators as well.

Results

두 가지 가장흔한 비인지적 문제

Part 1: The two most prevalent non-cognitive problems

계획 문제

Planning difficulties related to problems with

시간 관리 time management,
학습량의 과소추정 under- estimation of study load, and
우선순위 배정 문제 problematic prioritizing of tasks.

자기성찰 문제

Self-reflection-related problems were addressed as

자신의 행동의 결과에 대한 인식 부족 insufficient awareness of (the consequences of) own functioning,
방어적 행동 indica- tions of defensive behavior, and
개선을 위한 불충분한/비효과적 행동 insufficient or non-effective actions to improve this.

MMI노트에서 나타난 지표들

Part 2: Indicators in MMI notes

The narrative information that was written down during MMIs with 15 randomly chosen students was analyzed to investigate whether indications for the two most prevalent non-cognitive problems were already present during the selection procedure preceding the master.

In the MMI notes of five students both investigators found no indicators at all for the two non-cognitive problems. In the MMI notes of the other 10 students one or more potential indicators were found. In four of them potential indicators for both planning-related and self-reflection-related problems were present.

As a result of this analysis, a limited number of potential indicators for planning-related and self-reflection-related problems were identified (Table 2).

사례-대조군 연구

Part 3: Case-control study

Based on the above-mentioned findings, a case-control study was performed to investigate how predictive these indicators were for planning-related and/or reflection-related problems during the research master P-CI.

The seven counselors identified 23 students who exhibited prob-lems during their study planning-related and/or reflection-related had (cases).

Thirteen students planning-related problems, while
six had reflection-related problems; another
four students showed problems in both domains.

Altogether, the data indicate a statistically-significant asso- ciation between the presence of indicators for planning-related problems in MMI notes and the actual occurrence of such problems during the subsequent study (Table 3A: odds ratio 9.33; 95% confidence interval 2.12–41.07; p ¼0.003). No such evidence was found for self-reflection-related problems (Table 3B: odds ratio 1.39; 95% confidence interval 0.29–6.68).

고찰

Discussion

보통 선발 단계는 누구를 선발하고 떨어뜨릴지 결정에만 사용된다. 이번 연구에서 선발단계에서 얻어진 정부를 미래의 문제행동을 예측하는데 사용하였다.

As a result, the selection proced- ure is merely used to decide on who is admitted and who is not. In the current study, we propose to use narrative information obtained during selection interviews to predict future problems

선발된 학생이 성공할 수 있도록 early and dedicated counseling and remediation을 가능하게 해줄 것이다. 선발은 단순히 assessment-of-learning이 아니라 assessment-for-learning의 역할을 할 것이다.

This may enable early and dedicated counseling and remediation to improve the selected students’ study success. This way, selection will not only serve as an assessment-of-learning measure but also as a first assessment-for-learning step (Shepard 2000; Schuwirth & Van der Vleuten 2011).

Counseling은 연구커리어의 초반부터 이뤄지는 것이 educational, therapeutic intervention을 가능하게 해줄 것이다. Unorganized한 학생은 사전에 정해진 시간표에 따라 학습이 이뤄지는 과정에서의 학업부담과 압박때문에 힘들어한다. 적성 외에도 시간관리와 우선순위 설정은 학업적 성취에 중요하다. Organized한 학습은 progress와 success 모두와 연결된다. 따라서 early and dedicated counseling은 계획-관련 학습문제를 예방하거나 없애줄 것이며, study success를 높여줄 것이다.

With the cur- rent knowledge, however, counseling can be more focused right from the beginning of a study career, enabling specific educational and even therapeutic interventions. Literature shows that unorganized students suffer most from workload and pressure of progressing in their studies according to a predetermined timetable (Ruohoniemi et al. 2010). More than aptitude, time management and prioritizing are important for academic achievement (West & Sadoski 2011). Organized studying appears to be related to both study progress and success (Rytkonen et al. 2012). Therefore, early and dedicated counseling will help to prevent or diminish planning-related study problems and, as a consequence, improve study success.

절절한 자기-성찰은 의료전문직에게 중요하다. 이것이 우리가 포트폴리오와 카운셀링 시스템에서 학생에게 자기-성찰의 중요성을 깨닫게 하고, 성찰 스킬 개발을 자극하는 것을 중요한 목표로 삼은 이유이다.

Adequate self-reflection is nowadays considered an essential attribute of competent healthcare professionals. This is why it is one of the important goals of our portfolio and counseling system to increase students’ awareness of the importance of self-reflection and to stimulate development of their reflective skills (Driessen et al. 2005).

선발에 들인 노력에도 불구하고 의과대학 기간에 낙제하거나 유급이 발생하는 것은 우려를 낳는다. personal distress로 힘들어 하는 학생도 걱정하고, 대학 역시 struggling student에 쏟는 시간과 에너지가 disproportionate하여 걱정하며, 사회도 이들 학생에게 들어가는 공적 자금의 부담 때문에 걱정한다.

Drop-out from or delay during medical school, in spite of selection efforts, is a cause for concern (Yates 2011; Stratton & Elam 2014). This is the case

for the students involved who suffer from personal distress,
for the university that is faced with a disproportionate amount of time and energy spent on struggling students, and
for society that has to bear the financial in burden for drop-out and delayed students countries where they receive public funding.

실제로, 선발자료의 사용 용도가 많아지는 것은 재정적 관점에서도 매력적이다. 네덜란드같이 교육이 공적 자금으로 이뤄지는 국가에서, delay 나 drop-out을 막는 것은 상당한 비용을 보상한다.

Indeed, the additional use of selection data is attractive from a financial perspective. In countries like the Netherlands, where education is publicly funded, the gains of avoiding delay or drop-out will compensate largely for the costs of a selection procedure and counseling system.

Siu E, Reiter HI. 2009. Overview: What’s worked and what hasn’t as a guide towards predictive admissions tool development. Adv Health Sci Educ Theory Pract 14:759–775.

Stratton TD, Elam CL. 2014. A holistic review of the medical school admission process: examining correlates of academic underperform- ance. Med Educ Online 19:22919.

Med Teach. 2016 Aug;38(8):844-9. doi: 10.3109/0142159X.2015.1132410. Epub 2016 Jan 25.

Narrative information obtained during student selection predicts problematic study behavior.

Oude Egbrink MG1, Schuwirth LW1.

Author information

1a Maastricht University , The Netherlands.

Abstract

INTRODUCTION:

Up to now, student selection for medical schools is merely used to decide which applicants will be admitted. We investigated whether narrative information obtained during multiple mini-interviews (MMIs) can also be used to predict problematicstudy behavior.

METHODS:

A retrospective exploratory study was performed on students who were selected into a four-year research master's program Physician-Clinical Investigator in 2007 and 2008 (n = 60). First, counselors were asked for the most prevalent non-cognitive problems among their students. Second, MMI notes were analyzed to identify potential indicators for these problems. Third, a case-control study was performed to investigate the association between students exhibiting the non-cognitive problems and the presence of indicators for these problems in their MMI notes.

RESULTS:

The most prevalent non-cognitive problems concerned planning and self-reflection. Potential indicators for these problems were identified in randomly chosen MMI notes. The case-control analysis demonstrated a significant association between indicators in the notes and actual planning problems (odds ratio: 9.33, p = 0.003). No such evidence was found for self-reflection-related problems (odds ratio: 1.39, p = 0.68).

CONCLUSIONS:

Narrative information obtained during MMIs contains predictive indicators for planning-related problems during study. This information would be useful for early identification of students-at-risk, which would enable focused counseling and interventions to improve their academic achievement.

PMID:: 26805655
DOI:: 10.3109/0142159X.2015.1132410

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 입학, 선발(Admission and Selection)' 카테고리의 다른 글

AAMC의 전인적 평가(Holistic Review) (0)	2017.02.02
AAMC에서 요구하는 의과대학 입학생의 역량(Core Competencies for Entering Medical Students) (0)	2017.02.02
의과대학 Trainee선발에서 집단의사결정을 위한 새로운 방법(Med Educ, 2016) (0)	2016.11.10
썪은 사과 골라내기 (Adv in Health Sci Educ, 2015) (0)	2016.10.13
MMI점수 타당화: 다양한 기질을 측정하는가? (Adv in Health Sci Educ, 2014) (0)	2016.04.26

임상교육에서의 피드백(Do's and Don'ts) (Perspect Med Educ. 2015)

Meded. 2016. 11. 14. 04:18

2016. 11. 14. 04:18

임상교육에서의 피드백(Do's and Don'ts) (Perspect Med Educ. 2015)

Guidelines: the do’s, don’ts and don’t knows of feedback for clinical education

Janet Lefroy · Chris Watling · Pim W. Teunissen ·

Paul Brand

Do’s—educational activity for which there is evidence of efficacy

Don’ts—educational activity for which there is evidence of no efficacy or of harms (negative effects)

Don’t Knows—educational activity for which there is no evidence of efficacy

Table 1 Summary of guidelines. For the individual clinical supervisor giving feedback

Introduction

요약 표

In the summary (Table 1) we indicate the strength of this evidence and therefore of our recommenda- tion using the criteria outlined in Table 2.

어떤 피드백이 유용할지를 알기는 쉽지 않다. (주는 것과 받는 것 사이의) 'feedback gap'이 있다. 이것이 supervisor에게 의미하는 것은 trainee의 요구와 수용도를 진단하지 않고 피드백을 주는 것은 노력낭비의 가능성이 있다. formative feedback의 효과는 trainee가 얼마나 스스로 향상되고자 하는지와 그 자신감의 강도에 달려있다.

It is not easy to know what feedback will be useful to a trainee. There is a recognized feedback gap (between feed- back given and what is received by the trainee [1]). What this means for supervisors is that delivering feedback with-out first diagnosing our trainee’s need and receptiveness risks wasting effort. The impact of formative feedback will depend on the strength of the trainee’s desire to improve and their confidence in their ability to do so [2].

Foundation paper

Methods and ‘way of working’

결과

Results

Background evidence to guidelines for the individual clinical supervisor giving feedback

프로세스에 관한 Do's

Do’s for the process of feedback

1. 피드백이 단순히 한 사람이 다른사람에게 도움을 주기 위한 정보를 주는 것이라 생각하면 안된다. 피드백은 문화/가치/기대/개인적 역사/관계/권위에 의해 영향을 받는 사회적 상호작용이다. 피드백을 conversation이 아니라 commodity라고 보면 안된다.

Guideline 1. Do realize that feedback is not just one per- son providing information to another to help them improve. Feedback is part of a social interaction influenced by cul- ture, values, expectations, personal histories, relationships, and power. Do treat feedback as a conversation rather than as a commodity.

부정적인 피드백을 어떻게 Reconciling and assimilating 할 것인지는 사회적 맥락에 따라 달라진다. 피드백의 효과와 역할에 대한 사회적/문화적 가치를 강조한 문헌도 있다. 피드백을 단지 'trainee의 수행을 향상시키기 위한 목적으로 trainee의 관측된 수행능력을 표준적 기준에 대해서 비교한 정보를 제공하는 것'으로 바라볼 때, 피드백을 통해 드러나는 문화/가치/기대/역사/관계/권위를 무시하는 것이다.

Reconciling and assimilating negative feedback with views held by the individual was found to be influ- enced by social context. The differences between professions described in that study highlight the influence of social and cultural values on the role and impact of feedback [4]. Viewing feedback only as ‘specific information about the comparison between a trainee’s observed performance and a standard, given with the intent to improve the trainee’s per- formance’ [5] ignores the complex ways in which culture, values, expectations, personal histories, relationships, and power manifest themselves through feedback [6].

2. 피드백이 효과가 있으려면 Trainee는 반드시 피드백을 믿을 만credible하다고 믿어야 한다. Credible한 피드백은 직접적 관찰을 통해서 well-informed되어있어야 하며, 피드백이 신뢰할만한trustworthy 곳에서 와야 한다. Supervisor로서 신뢰할만한 롤모델이 되어야 한다.

Guideline 2. Do recognize that trainees must perceive feed- back as credible in order for it to be influential. Credible feedback is well-informed, typically by direct observation of the task or event, and it comes from a trustworthy source. Make sure that you as supervisor set a good example as a credible role model.

학습자는 credible한 사람의 피드백은 가치있게 여기지만, credibility가 낮다고 생각되는 피드백은 무시하는 성향이 있다. 피드백의 credibility는

그 출처의 credibility,
그 피드백이 informed and created하는 프로세스,
피드백의 내용과 특성 그 자체

등에 의해 영향을 받는다.

A number of qualitative studies have shown that learners value feedback that they deem to be credible, but may dis- miss feedback that they perceive to lack credibility [7–10]. The credibility of feedback is influenced by the credibility of the source, by the process by which the feedback was informed and created, and by the content and characteristics of the feedback itself [9].

3. Trainee의 역량수준과 과제의 복잡도에 따라 피드백의 타이밍을 정하라

Guideline 3. Decide the timing of feedback depending on the competence level of the trainee and on the complexity of the task.

적절한 시간에 제공해야 피드백의 수용도와 활용이 높아진다. 그러나 '적절한 시간'의 의미는 모호하다. 예컨대 술기의 시뮬레이션 교육에서는 terminal feedback이 concurrent feedback보다 낫다.

Studies of learners’ perceptions of effective feedback have highlighted the importance of timeliness to learners’ acceptance and use of feedback [7, 11], the concept of optimal timeliness appears to be a nuanced one. For exam-ple, for simulation training of procedural skills, terminal feedback (at the end of the task performance) may be supe-rior to concurrent feedback (during the task performance) for enhancing learning [12].

타이밍에 따라 서로 다른 레벨의 피드백이 필요하다

Hattie and Timperley [13] provide evidence that differentlevels of feedback deserve different timing.

4. Trainee가 피드백을 찾아나서게끔, 그리고 그것을 자신의 퍼포먼스 향상에 사용하게끔 장려하라.

Guideline 4. Do encourage trainees to look for feedback and use it to enhance their performance.

자존감에 영향을 받을까봐 피드백을 두려워한다. trainer에게 좋은 인상을 남기고 싶을 수도 있고, 어떻게 향상되어야 할지에 대한 피드백 정보를 원할 수도 있다. 피드백-탐색에는 복잡하고 방대한 무의식적 심리가 있다.

Our trainees may approach feedback with trepidation about the harm it might do to their self-esteem [15]; they may desire to make a good impression on their trainer among others; they may also desire the information which feedback gives them about how to improve [16]. These are the com- plex and largely unconscious psychological influences on feedback-seeking [17].

Teunissen 는 목표지향성이 뚜렷할수록 피드백 탐색의 빈도가 더 높아짐을 보여주었다.

Teunissen et al. showed that this relationship between goal orientation and increased fre- quency of feedback seeking also holds in a population of postgraduate medical trainees [20].

내용에 관한 피드백의 Do's

Do’s for the content of feedback

5. 개별 trainee에 맞춤형 피드백을 하라. Trainee는 다음의 것에 도움을 받을 것이다.

Guideline 5. Do tailor bespoke feedback to the individual trainee. The trainee might benefit from:

잘 된 부분을 강화 ‘reinforcement of key points done well’;
빼놓거나 개선되어야 할 부분을 지적 ‘identification of key points which might have been done better or omissions’;
퀄리티 향상을 위한 전략 찾기 ‘working out strategies for improving the quality of their work’;
자기-인식 향상 ‘an increased self-awareness’

피드백은 '만족스럽지 못한 요소'에 대해서 제공될 때, 구체적인 학습 목표와 연결될 때 가장 효과적이다. 따라서 피드백의 내용은 supervisor와 trainee간 진단적, 지지적 대화에서 arise해야 한다.

Feedback is most effective if directed at unsatisfactory ele- ments of performance and linked to specific learning aims [23]. The content of feedback should therefore arise from a diagnostic and supportive dialogue between supervisor and trainee [24].

6. 어떻게 과제가 수행되었고, 어떻게 수행되었어야하는지에 대한 구체적 피드백을 주라

Guideline 6. Do give specific feedback, focused on how the task was done and how that type of task should/might be done.

퍼포먼스와 관련이 없는 일반적 정보 (좋은 퍼포먼스는 무엇이고 나쁜 퍼포먼스는 무엇인지) 등은 구체적인 코멘트보다 효과가 떨어진다. 구체성이 부족한 피드백은 medical training에서 오래 전부터 문제로 지적되어왔다. 그러나 피드백의 구체성을 향상시키는 것이 더 효과적인 학습을 가져왔다는 근거를 찾는 것도 모호하다. Goodman 등은 피드백의 구체성을 향상시키는 것이 초기 퍼포먼스에는 도움이 되었지만, exploration을 discourage하여 independent performance에 필요한 더 심화된 학습은 훼손하는 것으로 나타났다.

General infor- mation unrelated to the performance, comments about a good or poor performance or compliments are less effec- tive than specific comments [27, 28]. Lack of specificity has repeatedly been identified as an all-too-common weak- ness of the feedback that is typically exchanged in medi- cal training [29]. When, however, one looks for evidence that increasing feedback specificity leads to more effective learning, the waters become murkier. Goodman et al. [30], for example, showed that increasing the specificity of feed- back benefits initial performance, but discourages explora- tion, potentially undermining the deeper learning required for independent performance.

Kluger and DeNisi의 피드백 이론은 task에서 멀어지고 individual에 대한 피드백은 덜 효과적이라고 지적한다. 줄이면, 자존감에 위협이 되는 피드백은 도움이 되지 않는다.

Kluger and DeNisi’s feedback intervention theory, also posits that feedback becomes less effective as attention shifts away from the task and toward the individual; in short, feedback that is threatening to self-esteem is unlikely to be effective [28].

요약하자면, 피드백은 task level에서 이뤄질 때 가장 효과적이고, 자기조절이나 프로세스에 대한 피드백은 'deep processing and mastery of tasks'에 도움이 될 수 있다. 그러나 'person level'에 맞춘 피드백은 하지 마라.

To sum up feedback is most effective when directed at the task level and may assist in ‘deep processing and mastery of tasks’ when it is about processing of tasks or self-regulation. A ‘Don’t’ is providing feedback that focuses on the person level.

7. 피드백이 '최소한의 역량수준 달성'을 위한 것인지, '최적의 수행능력과 비교한' possible variation에 대한 성찰인지를 명확히 하라

Guideline 7. Do make sure to indicate whether feedback is about necessary improvement for minimally acceptable per- formance or whether it is a reflection on possible vari ations to build upon adequate performance.

자기조절이론에서는 두 개의 기본적 자기조절시스템이 공존하면서 상충한다고 말한다. 두 개의 시스템은 promotion- 그리고 prevention- 접근법이다. supervisor는 자신의 trainee가 promotion focus인지 prevention focus인지 파악해야 한다.

Self-regulation theories suggest that within each of our trainees are two basic self-regulation systems which co- exist but may conflict [33]. These two systems—the pro- motion (doing things because you want to) and prevention (doing things because you have to in order to avoid harm) approaches—may both be active in response to feedback [34]. It is important that the supervisor recognizes that his/ her trainee is predominantly in promotion or prevention focus with respect to the focus of feedback, because

positive feedback is more effective in motivating performance improvement for learners in promotion focus, while
negative feedback is more useful in motivating performance improvement for learners in prevention focus [28].

Prevention system은 performance goal을 가지는 사람들에게 왕성하다. 이들은 '난 이미 충분한 실력을 갖췄음'을 증명하고 싶어하며, 비판을 받고싶지 않아한다. Trainee가 (performance goal을 가지고 있을 때보다) learning goal 을 가지고 있을 때 피드백이 더 잘 작동한다. 따라서 피드백 그 자체가 trainee를 performance goal을 가지게 압력을 주어서는 안된다.

The prevention system is active in individuals with performance goals—aiming to prove that one is already adequately competent and avoiding criticism. Feedback works best for learning when the trainee has learning goals rather than performance goals [17, 35] so it is important that the feedback itself should not push the trainee towards performance goals.

성적은 피드백이 promotion and prevention response 모두를 자극하는 방식이다. 이러한 심리상태에서 성적을 받는 것은 향상전략을 탐구하는 행동을 강화해주는 것으로 나타났으며, 특히 성적부여의 기준이 확실할 때 그러하다. 성적의 나쁜 효과도 나타나곤 하는데, 고등교육과 의학교육에서 formative feedback에서는 grade를 optional하게 만들 것을 제안한다.

Grades are a clear and non-nuanced form of feedback which can trigger both promotion and prevention responses in trainees [28]. Receiv- ing grades in this frame of mind was found to enhance the seeking of strategies for improvement, especially if criteria for allocation of grades are understood [26, 36]. Harmful effects of grades have also been noted in some participants in school, higher education and medical education [13, 26, 34], suggesting that making grades optional in formative feedback may be wise,

8. Actionable한 피드백을 줘서 Trainee가 개선을 위한 전략을 수립할 수 있게 하라. Trainee의 수행능력에 대해 토론한 후, 현재 역량을 넘어설 수 있게 하는 '가이드'나 'scaffolding'을 제공하라

Guideline 8. Do ensure that feedback is actionable, enabling the trainee to construct strategies for improve- ment. After discussing the trainee’s performance of a task, provide some guidance or ‘scaffolding’ to enable them to step beyond their current competence.

학습자의 피드백 경험에 대한 연구는 피드백은 actionable할 때 그 가치가 높아짐을 강조한다. Actionable한 피드백은 학습자 발달의 로드맵을 보여주며, 강점을 강화하고 약점을 보완하기 위한 명확한 suggestion을 준다.

Research into learners’ experiences of feedback has highlighted the value placed on feedback that is actionable [38]. Actionable feedback contains a roadmap for learner development; it provides explicit suggestions for building on strengths or addressing weaknesses in performance.

‘scaffolding’ 의 이론적 개념은 Wood의 '학습의 구성주의자 모델'에서 잘 개발되었다. 이들은 Vygotsky의 ‘zone of proximal development’ 에 근간을 두고 있다.

The theoretical concept of ‘scaffolding’ by tutors has been well developed by Wood et al. in their constructivist model of learning [39]. They based this on Vygotsky’s many studies in children of how the learner is helped to develop into their ‘zone of proximal development’ (beyond their current ability) by social interaction with tutors or peers [40].

성인학습의 사회적 상호작용에서도 scaffolding 개념이 도움이 된다.

In the social interactions of adult learning the scaffolding concept can also be helpful [27, 41–43].

Wood가 말한 scaffolding은..

The tasks of scaffolding as described by Wood et al. are:

● Orient the learner to the task

● Simplify into steps

● Motivate to maintain effort to achieve the goal

● Highlight critical features of the task

● Control frustration and the risk of failure

● Provide a model of the required actions

역량수준이 낮은 trainee에게 scaffolding은 directive feedback을 주거나 specific instruction을 주는 것이 될 수 있다. 높은 수준의 trainee에게는 less directive 할 수 있다. 즉 Suggestion, hints, tips 등이 그것이다.

For trainees with a low level of competence, scaffolding involves giving directive feedback or specific instructions; for trainees with a high level of competence scaffolding can be less directive i.e. suggestions, hints and tips for (further) improvement (facilitative feedback) [27].

9. 개선전략을 토의할 때 Trainee motivation에 관심을 가지라

Guideline 9. Do attend to trainee motivation when discussing strategies for improvement.

성인학습자에게 동기부여는 주로 '내부에서 형성'된다. 그리고 이는 피드백에 의해서 영향을 받는다. 충분히 동기부여가 되고 충분한 자기효능감을 위해서 supervisor은 피드백을 주면서 trainee의 반응을 보아야 한다.

In adult learners, motivation is more likely to be internally generated [44] but it is no less important to learning, and is influenced by feedback [28, 34, 45]. In aiming for sufficient motivation to learn to do the task and sufficient self-efficacy that their effort is likely to succeed, clinical supervisors should check trainee response to their feedback as they go along.

10. 피드백을 주는 구체적인 전략에 무관하게, trainee를 '성찰적 대화'에 참여하게 해서 '자기평가'와 'Supervisor의 관측&설명'을 같이 생각해볼 수 있게 하라

Guideline 10. Regardless of the specific approach to feedback that is used, do engage the trainee in a reflective conversation that marries their self-assessment with your observations and elaborations.

trainee를 토론에 참여시킴으로서, supervisor는 reflection-in-action and reflection-on-action을 활용하여 자신의 퍼포먼스에 대해 인식하게끔 할 수 있다. 그 이후의 코칭은 trainee의 자기평가에 대한 confirming 또는 challenging이 될 수 있다.

By involving trainees in a discussion, supervisors can raise their awareness of their performance relative to their goals of quality performance through reflection-in-action and reflection-on-action [22, 32]. Coaching then includes confirming or challenging the trainee’s self-assessment,

피드백의 효과에 영향을 주는 것은 많은데, 어떻게 피드백을 전달할 것인가는 task, recipient, relationship에 따라 달라질 수 있다. 피드백은 ‘A supported sequential process rather than a series of unrelated events’가 되어야 한다.

There are many factors which influence the effect of feedback, and the choice of how to deliver the feedback will depend on the task, the recipient and the feedback relationship [23]. Feedback should be ‘A supported sequential process rather than a series of unrelated events’ [32].

여러 피드백의 방법이 있으나, 뭐 하나가 가장 효과적인 것은 없다.

Several approaches to feedback have been described in the literature (sandwich, Pendleton, reflective feedback conversation, agenda-led outcome-based analysis, feedfor- ward), but no single approach has been established to be the most effective.

샌드위치

The feedback sandwich (in which the supervisor describes

잘 된것 what went well,
개선할 것 what can be improved,
잘 된 것 then re-emphasizes what went well) [46]

칭찬의 심리적 효과를 활용하여 비판이 더 잘 수용되게 한다. 이러한 접근법은 피드백 관계의 미묘한 초반 관계에서 효과적이지만, 일단 관계가 확고하면 불필요할 수 있다.

harnesses the psychological effect of praise to enable the reception of criticism. This approach is thought helpful especially in the delicate start of a feedback relationship, but unnecessary once the relationship is robust. Evidence of its effectiveness is lacking.

펜들톤

Pendleton [47] outlined a method for giving feedback aiming to engage the learner in self-reflection and to bal- ance positive and critical feedback.

● Check the learner wants and is ready for feedback.

● Let the learner give comments/background to the mate- rial that is being assessed.

● The learner states what was done well.

● The observer(s) state(s) what was done well.

● The learner states what could be improved.

● The observer(s) state(s) how it could be improved.

● An action plan for improvement is made.

이 규칙은 투박하다거나 정형화되었다고 비판받으나, 피드백을 주고받는 것에 도움이 된다.

The rules have been criticized as clunky and formulaic, but the framework can be helpful for learning to give and receive feedback.

성찰적 피드백 대화

The reflective feedback conversation unfolds like this:

● The teacher asks the learner to share concerns about performance.

● The learner describes concerns and what they would have liked to have done better.

● The teacher provides views and offers support, then asks the learner what might improve the situation.

● The learner responds, then the teacher elaborates on that response, correcting if needed, and checking understanding.

대화는 '프로세스'이며 'event'가 아니다. Revisiting과 F/U이 필요하다.

Importantly, the conversation should be viewed as a process rather than an event; revisit- ing and follow-up are often required.

Agenda-led outcome-based analysis

Agenda-led outcome-based analysis

starts with the trainee’s agenda,
looks at the outcomes they were aiming for,
encourages self-assessment and problem-solving,
pro- vides balanced feedback and suggests alternatives

학습자 중심적 방법

This method is described in Kurtz, Silverman and Draper’s Cal- gary Cambridge method for teaching communication skills [49] and is a learner-centred way of identifying the most helpful focus for a feedback discussion.

feedforward interview

피드백은 아니다. 'best performance'에 초점을 두어 preferred standard 와 the actual state 의 차이를 회피하기 위한 전략.

By contrast, the feedforward interview [34] is not actu- ally a technique for feedback. It aims to avoid creating a dis- crepancy between a preferred standard and the actual state of affairs (seen as a key element of feedback, but also recog- nized as problematic for trainees who have low self-esteem) by focusing learners on their best performances.

The trainee recalls peak moments in his/her performance and
is asked to reflect on what conditions in themselves and their surround- ings made that possible,
then considers strategies to ensure sustainable peak performance.

Trainee에게 peak experience를 정기적으로 feedforward하여 'promotion'접근법에 필요한 ground를 마련하라고 제안함.

Kluger and van Dijk recom- mend periodical feedforward interviews with trainees about their peak experiences, partly in order to prepare the ground for necessary feedback to be received with a ‘promotion’ approach.

하지 말 것

Don’t assume

11. 한 방법이 늘 작동할거라고는 생각하지 말라. Player와 Context가 변화하면 가장 유용한 접근법도 변화한다.

Guideline 11. Don’t assume that a single approach to feedback will be effective with all trainees or in all circum- stances. As the players and the contexts change, so too does the most useful approach to feedback.

● You know what a trainee wants to learn

● You know why a trainee is struggling

● You know if or why a trainee wants feedback

● You know what information a trainee takes out of a situ- ation or feedback conversation

임상과제나 교육과제에 따라 사람마다 매우 다르다. 피드백에 대한 반응도 학습자마다 다르고, 수행능력이 비슷해도 다를 수 있다. Dijksterhuis 는 개인간 피드백의 수용도와 반응도 차이를 보여주었고 Kluger and van Dijk는 regulatory focus theory가 이러한 차이의 원인을 설명해줄지도 모른다고 했다. Watling등의 임상학습환경에서의 연구

Individuals vary in their orientation toward clinical and edu- cational tasks. Responses to feedback also differ between learners, even regarding similar performance on similar tasks. Dijksterhuis showed individual variability in the acceptance and responsiveness to feedback [50]. Kluger and van Dijk [34] proposed that regulatory focus theory might explain some of the observed variability in feedback responses, and Watling et al.’s naturalistic exploration of the usefulness of this theory showed it offered some insights into feedback responses in clinical learning situations [25].

피드백의 impact에 대한 차이는 개인간 차이를 넘어선다. 피드백에 대한 반응은 학습문화와 학습문화가 피드백에 대해서 만들어내는 규범 또는 기대에 따라서도 다르다. 그리고 Context는 피드백의 관계적 맥락을 포함하는데, 이 역시 큰 영향을 준다. Telio는 최근 교사-학습자간 'educational alliance'가 피드백에 미치는 맥락적 영향을 강조했다. 이러한 차이가 있기 때문에 교사는 학습자에 대한 이해를 바탕으로 다양한 접근법을 사용해야 한다. 피드백 exchange는 교사와 학습자의 목표가 서로 합치되었을 때 가장 효과적일 것이다.

Variability in the impact of feedback extends beyond the individual. Responses to feedback are also shaped by learning culture, and the norms and expectations it creates for feedback [38], And context, including the relational ele-ment of feedback, is increasingly recognized as influential;Telio [51] has recently highlighted the contextual influence of the ‘educational alliance’ that develops between teacher and learner on the feedback that is exchanged. In the face of such variability, teachers must develop versatile approaches to feedback that are grounded in an understanding of the learner. The feedback exchange is perhaps at its most effec-tive when teachers’ and learners’ goals are aligned [38].

12. F/U 없이 피드백을 제공하지 마라. 향상된 퍼포먼스를 보여줄 기회가 따라오지 않는 피드백은 효과를 미치지 않는다.

Guideline 12. Don’t provide feedback without follow-up. Trainees are unlikely to be influenced by feedback that is not followed by an opportunity for them to demonstrate improv- ing performance.

13. (어디서 듣고 온) poorly informed 정보로 피드백을 주지 마라. 그렇게 하는 것은 피드백에 대한 가치만 떨어뜨릴 뿐이다.

Guideline 13. Don’t provide feedback that is poorly informed (or is based on hearsay); doing so diminishes the value that trainees assign to feedback in general.

Trainee들은 피드백을 원칙적으로는 중요하다고 생각하며, 피드백을 주는 것을 임상교사가 갖추어야 할 바람직한 행동이라고 생각한다. 그러나 현실에서 medical training동안 받는 피드백의 퀄리티는 낮다고 보고되고 있으며, 직접관찰이 제한되는 것 등의 이유로 피드백은 poorly informed된다. 그 결과, trainee는 외부 피드백의 가치를 일반적으로 평가절하하게 되고, 자기평가에 의존한다.

Surveys have demonstrated that trainees value feedback in principle, and value the provision of feedback as a desired quality of clinical teachers [53]. In reality, however, the quality of the feedback received in medical training is often reported as low, and poorly informed due to factors includ- ing limited direct observation of performance. As a conse- quence, trainees may begin to devalue external feedback in general, relying instead on self-assessment [10, 11].

14. 피드백이 정서에 미치는 부정적 영향을 과소평가하지 말라. 정서적 스트레스는 피드백 수용의 장애가 된다.

Guideline 14. Don’t underestimate the emotional impact of feedback that is perceived as negative. Emotional distress may be a barrier to acceptance and use of feedback.

Feedback intervention theory 는 피드백이 trainee의 자존감에 위협을 가하면 효과성이 떨어진다고 강조한다. Sargeant는 '자기평가와 반대되는 부정적 피드백을 받는 사람은 스트레스를 받고, (그러한 피드백을) 수용하고 그에 따라 행동할 수 있는 능력을 제한시키는 지속적 감정을 유발한다. Eva는 피드백의 해석과 수용이 감정의 복잡한 interplay에 영향을 받는다고 하였는데, 여기에는 자신감/공포감 등이 있고, 학습자에게 피드백을 전할 때 self-concept를 유지할 수 있게 해주는 것이 중요함을 강조하였다.

Feedback intervention theory [28] posits that feedback which threatens self-esteem is much less likely to be effec- tive. Sargeant found that those who had received negative feedback that conflicted with their self-assessment experienced distressing and long-lasting emotions that limited their ability to accept and act upon the feedback [31]. Eva showed that the interpretation and acceptance of feedback was influenced by a complex inter- play of emotions, including confidence and fear, and high- lighted the importance of allowing the learner to maintain their self-concept when delivering feedback [2].

15. 성적을 매기는 기준을 설명하지 않은 채로, 그리고 개선 전략을 주지 않은 채로 성적만 매기지 마라

Guideline 15. Don’t give grades without explaining the criteria for allocation of grades and providing strategies for improvement.

너무 자주 comment box에는 아무것도 쓰여있지 않은 상태로 성적이 부여된다. 성적은 학생의 동기를 저하시키거나 노력을 덜 하게 만들기 때문에 formally assessing하지 않고 성적을 주는 것은 피해야 한다.

all too often grades are given with the comment boxes left blank [56]. Because of the potential for grades to demotivate or to reduce effort, it has been suggested that it might be wisest to avoid giving grades except when formally assessing the learner (in infre- quent ‘high stakes’ assessments) [58].

잘 모르는 것.

Don’t knows

16. 피드백의 credibility를 결정하는 것은 무엇인가?

Guideline 16. What determines the credibility of feedback?

17. 얼마나 많은 내용을 피드백해야 하는가?

Guideline 17. How much is the right amount of content when giving feedback?

18. '개방적, 안전한 상호작용'은 무엇이 결정하는가?

Guideline 18. What determines the ‘open and safe interac- tion’ in the feedback conversation?

19. Trainee의 반응에 영향을 주는 것은?

Guideline 19. What influences the trainee’s response? (constructive or destructive outcomes)

Workplace learning theorists는 어떻게 개인적 요인과 사회문화적 요인이 상호작용하는지 이해해야 한다고 강조한다. Billett는 affordances and agency를 강조하였다.

Workplace learning theorists (e.g. Eraut [61], Billett [62]) have highlighted the need to understand how individual and the sociocultural influences on learning interact. Billett emphasizes the notions of affordances and agency;

학습환경은 다양한 Affordance(학습의 기회)를 제공한다
a learning environment offers a range of affor- dances, or opportunities to learn, but
개별 학습자는 Agency(주체성)을 발휘하여 이 Affordance에 engage해야한다.
an individual learner must exercise agency to engage with those affordances.

피드백은 affordance (좋은 피드백이 이뤄지는가?)와 agency(학습자들이 피드백에 engage하는가?) 둘 모두와 관련된다.

Feedback challenges may lie with either affordance (is good feedback made available to learners?) or agency (do learn- ers choose to engage with feedback?), or both;

20. 노골적인 동료와의 비교가 도움이 되는가? 노골적인 'standard'와의 비교는 도움이 되는가?

Guideline 20. Is overt comparison with peers when made by the supervisor helpful to the trainee? Indeed, is overt comparison with required performance standards helpful?

동료와 비교하는 것은 피드백을 덜 효과적으로 만드는데, 왜냐하면 task에서 벗어나 self에 초점을 맞추게 하기 때문이다. Self-referenced 와 other-referenced 피드백은 직간접적으로 self에 초점을 맞추게 만든다. 다른 사람과의 비교에서 부정적인 평가를 받으면 자존감에 위협을 느낄 수 있고 performance goal orientation을 유도하며, 학습을 방해한다. 그러나 이러한 우려에도 불구하고 comparison의 가치를 강조하기도 한다.

What about comparison with peers? There is evidence that feedback becomes less effective as its focus moves away from the task and toward the self [13, 28]. Both self- referenced and other-referenced feedback (in)directly focus the attention to the self. Unfavourable comparisons with others may threaten self-esteem and promote a performance goal orientation, potentially hindering learning [17]. But despite these concerns, some research has suggested value in comparisons:

21. Written summary가 학습에 도움이 되는가?

Guideline 21. Does a written summary of the feedback dis- cussion enhance learning?

의대생들은 비공식적 verbal feedback을 WBA에서의 written feedback보다 좋아한다.

Medical students have been found to value informal ver-bal feedback more than formal workplace-based assessment(WBA) with written feedback [66, 67].

written summary 의 가치는....

The value of the written summary is therefore secondary but could include:

● Aiding reflection on the feedback at a later date

● Aiding discussion between tutor and trainee at a later date

● Enhancing tutor effort at the time of generating the feedback

학습문화를 위한 가이드라인

Guidelines for the learning culture: what elements of learning culture support the exchange of meaningful feed- back, and what elements constrain it?

Do's

Do’s

22. 피드백을 학습프로세스에 포함시키기 위한 시스템 접근법을 갖추라

Guideline 22. Do have a systems approach, building feed- back into the learning processes.

각 기관은 장기적 교사-학습자 관계가 번창할 기회를 줄 수 있다.

Institutions can create opportunities for longitudinal teacher-learner relationships to flourish, such as extended placements [68–70].

Trainee 에 대한 기대는 reflection-on-feedback 일 것이며, 개선전략 도입을 강제할 시스템이 있어야 한다. 신입 Trainee는 특정 academic community의 규칙을 안내받아야 한다.

Expectations of the trainee might be reflection-on-feedback with some system of reinforcing implementation of strategies for improvement [32]. New trainees will require induction into the rules of the particular academic community.

피드백의 문화를 확립하려면, trainee에 대한 피드백 뿐만 아니라 supervisor에 대한 정기적 피드백 시스템도 있어야 한다.

In order to ensure a climate of feedback, an institution should provide a system of regular feedback not only for trainees but also for supervisors [32, 72].

FD course 제공 외에도 supervisor와 그들의 사회적 네트워크에 대한 교육적 support를 제공함으로써 피드백을 사용하고 받아들이도록 촉진할 수 있다.

In addition to providing faculty development courses, educational support can be offered to supervisors and the supervisors’ social networks can be used and supported to facilitate acceptance and use of feedback [73].

23. 장기적인 신뢰할 수 있는 supervisor-trainee 관계 형성을 지원하라. 영향력이 큰 피드백은 신뢰관계의 맥락에서 번창한다.

Guideline 23. Do support the development of longitudinal, trusting supervisor-trainee relationships in medical train- ing; influential feedback thrives in the context of trusting relationships.

Trainee가 supervisor와 관계형성이 되어있을 때 피드백의 credibility를 신뢰할 수 있고, 교사의 목표와 자신의 목표의 합치를 이룰 수 있다. Bok 등이 말한 바와 같이 교사-학생의 durable한 관계는 즉각적으로 유도한다.

When trainees can build a relationship with their supervi- sors, it allows them to trust the credibility of the feedback they receive and the alignment of the teacher’s goals with their own. As Bok et al. showed, durable teacher-learner relationships also prompt readily [69].

Bates 등에 따르면 그러한 관계가 '비판적 피드백의 건설적 해석'을 가능하게 해준다. 학생은 challenging or corrective 피드백을 supportive하게 해석한다. 신뢰가 있고 지지적인 관계에서 피드백은 더 credible하다고 여겨질 가능성이 높다. 피드백 프로세스에서 관계의 centrality를 인지하여, educational alliance라는 개념이 제안되었고, 이는 교사-학습자 관계의 link를 이해하고 그 안에서 이뤄지는 피드백의 impact를 이해하기 위한 것이다.

Bates et al. [67] found that such relationships afforded ‘constructive interpretation of critical feedback’ (p. 366); students were able to interpret even challenging or corrective feedback as supportive. Within a trusting and supportive relationship, feedback is also more likely to be viewed as credible [50, 78]. Recog- nizing the centrality of relationship in the feedback process, the concept of the ‘educational alliance’ has been proposed as a framework for understanding the links between the teacher-learner relationship and the impact of the feedback generated within it [51, 79].

24. 비디오를 사용하라

Guideline 24. Do use video review with feedback as a com- ponent of training.

Supervisor의 피드백은 직접 관찰을 할 때와 비디오로 볼 때 다르지 않을 수 있으나, Trainee는 자신의 강점과 약점을 confirm할 수 있다.

The super- visor’s feedback may not differ whether following direct observation or following video observation but the trainee will be able to confirm the strengths and weaknesses in their own performance.

Supervisor은 같은 비디오 녹화를 보고도 상당히 다른 피드백을 준다. Systematic review에서 비디오녹화를 자기평가하면서 보았을 때는 효과적이지 않았지만, 전문가의 피드백과 연결되었을 때는 더 효과가 좋았다.

Supervisors differ considerably in the feedback they give after reviewing the same videotaped consultation [80]. In a systematic review Hammoud et al. con- cluded that video review with self-assessment alone was not found to be generally effective for medical students, but when linked with expert feedback it was superior to tra- ditional feedback alone [81].

25. 피드백이 일상화/정기화/가치로운 실천공동체를 형성하라

Guideline 25. Do promote communities of practice in clin- ical workplaces in which feedback is routine, regular and valued.

피드백이 '일반적인 것'이라고 여겨지는 환경이 필요하다. 이는 trainee가 supervisor에게 피드백을 줄 수 있음을 의미한다. 비판적 피드백이 learning culture에 의해서 normalize 되었을 때 더 활발히 exchange 된다.

environment in which providing feedback is considered ‘normal’. This would mean, for example, that trainees are encouraged to give feedback to their supervi- sors [82, 83]. It has also been found in the training of ath- letes and musicians that critical feedback is exchanged more readily when it is normalized by a learning culture [38, 84].

26. 근무지 교육시스템에서 공식적 역할을 하는 사람이 그 역할을 인식하고, 학습자의 교육적 목표가 무엇이 되어야 하는지 이해하게 하라

Guideline 26. Make sure that those who have a formal role in a workplace’s educational system are aware of that role and understand what learners’ educational objectives should be.

Boor 는 좋은 관계 외에도 학습자는 교육시스템을 이해하고, 그 지식을 개별 학습자에게 적용할 수있는 supervisor를 좋아한다. VDV는 programmatic assessment에서 다음과 같이 말했으며, 이는 피드백에 대해서도 마찬가지다.

Boor et al. found that, next to the importance of a good relationship, learners value clinical supervisors who are aware of the educational system and expectations and who can apply that knowledge to the individual learner [85]. Van der Vleuten’s comments on programmatic assessment are useful here:

‘If a programme of assessment is to provide meaningful outcomes, all the players should understand what they are doing, why they are doing it, and why they are doing it this way. ’ [86]

If we substitute ‘feedback’ for ‘assessment’, the comment rings equally true.

27. 팀에서 정기적으로 피드백을 주고, 피드백을 주는 방식에 대해서 성찰하고, 피드백 제공 역량을 유지/향상시키기 위한 refresher course를 듣게 하라

Guideline 27. Make sure that the team give feedback regu- larly, reflect on the practice of giving feedback, and follow refresher courses to maintain and improve competency in providing feedback.

평가 프로세스에 대한 교수들의 insight가 없는 것도 문제이다. Tutor training이 필요한데, tutor는 academic and social needs를 정확히 진단해야 한다. 학습자의 관점을 이해하고 강조해야 하며, 적절한 scaffolding tool을 사용할 스킬이 있어야 한다.

Lack of faculty insight in the assessment process remains an issue [87]. The feedback landscape described by Evans [1] indicates the need for tutor training: the tutor must accu- rately diagnose academic and social needs; understand and empathize with the learner’s perspective, and have skills to employ appropriate scaffolding tools.

Don’ts

28. 피드백 효과성 향상을 위해 FD에만 의존하지 마라

Guideline 28. Don’t rely exclusively on faculty develop- ment to improve the effectiveness of feedback.

역사적으로 피드백에 관한 FD가 피드백의 퀄리티를 향상시키기 위한 primary approach였다. 그러나 '어떻게 피드백을 줘야하는가'에 집중한 나머지 '어떻게 학습자가 받아들일 것인가'를 놓쳐왔다. 또한 효과적인 피드백을 만드는 학습문화의 역할, 건설적 비판의 normalizing, 피드백을 학습에 가치있게 만들기 등등도 놓쳐왔다. FD는 필요하지만 충분하진 않다.

Historically, faculty development in feedback delivery has been the primary approach to improving the quality and effectiveness of feedback [29, 73]. This focus on how feedback is given ignores the important element of how it is received by learners [88]. The crucial role of

learning culture in making effective feedback possible,
normalizing constructive criticism, and
establishing the value of feed- back for learning

...is also missed by an approach focused on individual teachers [38]. Faculty development is important but not sufficient;

29. mini-CEX같은 임상스킬의 formal assessment가 관측과 피드백 없이 종결되게 하지 마라

Guideline 29. Don’t allow formal assessments of clinical skills, such as the mini-CEX, to be completed without obser- vation and feedback.

모르는 것

Don’t knows

Guideline 30. What are the vital components that ensure a constructive system of workplace learning that caters to trainees, workers, and the educational system? How can the institution nourish a climate which encourages the provi- sion and seeking of feedback?

'피드백이 효과가 있었나' 가 아니라 '어떤 상황에서 효과가 있는가'이다.

They conclude that thereal question is not whether feedback works, but under what circumstances is works best.

팀워크 프로세스에 대한 피드백, 팀워크 프로세스가 작동하는 동안의 피드백이 팀이나 팀원의 퍼포먼스에 대한 피드백보다 효과가 있었다.

Feedback about and during the process of teamwork was more reliably effective than feedback about performance given to the team or to individuals within the team.

Guideline 31. Is it most effective to give feedback to indi- viduals alone or in a group setting?

Guideline 32. Does the use of formative assessment out- comes for summative purposes (such as having supervisors provide formative feedback that at the end of a rotation is also used for a summative assessment) corrupt a well-inten- tioned educational system?

형성평가를 최종평가의 data point로 사용하는데 어려움을 겪고 있으며, 이로 인해서 형성평가가 assessment-for-leraning의 역할을 하지 못하고 있다.

A qualitative study with clinical undergraduate veterinary students and their supervisors highlighted that both struggled with formative assessments that are used as ‘data points’ for a final summative judgment. As a result, the formative assessments did not play the powerful assess- ment-for-learning role they are meant to have in lum based on programmatic assessment [69].

의학교육은 총괄평가와 형성평가의 경계를 흐릿하게 할 뿐만 아니라 교사의 코치로서의 역할과 평가자로서의 역할 구분도 흐릿하게 한다. 교사가 이렇게 dual role을 하게 될 때 피드백의 퀄리티와 impact가 훼손될 수 있다.

Medical education not only blurs the line, at times, between summative and formative assessment, but also blurs the line for its teachers between the roles of coach and assessor. Recent literature has begun to challenge this approach, suggesting that the quality and impact of feedback may be compro- mised when the teacher is assigned this dual role [38, 91, 92].

피드백 프로세스는 개선전략을 만들어내지 못하면 불완전한 것이다. 가장 좋은 피드백 프로세스 루프는 어떤 결과가 있었는지에 대한 subsequent assessment이다.

The feedback process is incomplete if it does not result in the generation of strategies for improvement— either recommendations, or self-generated as a result of feedback. And the best feedback process loops back into a subsequent assessment with feedback about whether this has resulted in improved clinical performance.

Summary

34. Kluger A, Van Dijk A. Feedback, the various tasks of the doctor, and the feedforward alternative. Med Educ. 2010;44:1166.

Perspect Med Educ. 2015 Dec;4(6):284-99. doi: 10.1007/s40037-015-0231-7.

Guidelines: the do's, don'ts and don't knows of feedback for clinical education.

Lefroy J1, Watling C2, Teunissen PW3, Brand P4.

Author information

1Keele University School of Medicine, Clinical Education Centre RSUH, ST4 6QG, Staffordshire, UK. j.e.lefroy@keele.ac.uk.
2Schulich School of Medicine and Dentistry, Western University, Ontario, Canada.
3Maastricht University and VU University Medical Center, Amsterdam, The Netherlands.
4Isala Klinieken, Zwolle, The Netherlands.

Abstract

INTRODUCTION:

The guidelines offered in this paper aim to amalgamate the literature on formative feedback into practical Do's, Don'tsand Don't Knows for individual clinical supervisors and for the institutions that support clinical learning.

METHODS:

The authors built consensus by an iterative process. Do's and Don'ts were proposed based on authors' individual teaching experience and awareness of the literature, and the amalgamated set of guidelines were then refined by all authors and the evidence was summarized for each guideline. Don't Knows were identified as being important questions to this international group of educators which if answered would change practice. The criteria for inclusion of evidence for these guidelines were not those of a systematic review, so indicators of strength of these recommendations were developed which combine the evidence with the authors' consensus.

RESULTS:

A set of 32 Do and Don't guidelines with the important Don't Knows was compiled along with a summary of the evidence for each. These are divided into guidelines for the individual clinical supervisor giving feedback to their trainee (recommendations about both the process and the content of feedback) and guidelines for the learning culture (what elements of learning culture support the exchange of meaningful feedback, and what elements constrain it?)

CONCLUSION:

Feedback is not easy to get right, but it is essential to learning in medicine, and there is a wealth of evidence supporting the Do's and warning against the Don'ts. Further research into the critical Don't Knows of feedback is required. A new definition is offered: Helpful feedback is a supportive conversation that clarifies the trainee's awareness of their developing competencies, enhances their self-efficacy for making progress, challenges them to set objectives for improvement, and facilitates their development of strategies to enable that improvement to occur.

KEYWORDS:

Feedback; Feedback culture; Feedback relationship; Formative assessment; Workplace based assessment

PMID:: 26621488
PMCID:: PMC4673072
DOI:: 10.1007/s40037-015-0231-7

[PubMed]

Free PMC Article

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > ⓧ교수법, 피드백, 멘토링 (From Misc.)' 카테고리의 다른 글

교수 학생간 비공식 멘토링 (Acad Med, 2005) (0)	2017.02.18
형성적 피드백(Formative Feedback) (Review of Educational Research, 2008) (0)	2017.01.19
Ppsychometrics를 활용한 신뢰성있는 인지부하 측정: 객관적인 교육프로그램 최적화 모델(Med Educ, 2016) (0)	2016.10.24
숙련된 운동능력에 대한 과도한 생각: 또는 왜 가르치는 사람은 할 수가 없는가 (Psychonomic Bulletin & Review, 2008) (0)	2016.04.11
의학교육자 되기: 동기, 사회화, 항해 (BMC Med Educ, 2014) (0)	2016.04.08

신임 교수개발자의 정체성 형성과 동기부여: resource-contrained환경연구 (Med Teach, 2016)

Meded. 2016. 11. 14. 04:12

2016. 11. 14. 04:12

신임 교수개발자의 정체성 형성과 동기부여: resource-contrained환경연구 (Med Teach, 2016)

Identity formation and motivation of new faculty developers: A replication study in a resource constrained university

PATRICIA S. O’SULLIVAN1, CHARLES MKONY2, JESSICA BEARD1 & DAVID M. IRBY1

1University of California San Francisco, USA, 2Muhimbili University of Health and Allied Sciences, Tanzania

도입

Introduction

UCSF의 연구에서 교수개발자들은, 심지어 occasional faculty developers조차, 그들의 전문직정체성이 시간에 따라 변화하며, 교수개발자의 역할을 맡음에 따라서 커리어가 advanced하였다고 응답했다.

In research at the University of California San Francisco (UCSF), we found that faculty developers, even occasional faculty developers, articulate how their professional identities change over time and their careers are advanced as they take on the role of being a faculty developer (O’Sullivan & Irby 2014).

이들 occasional faculty developers는 다양한 만족으로부터 동기부여된다.

These occa- sional developers are motivated to engage in this role from a strong sense of satisfaction resulting from

their demonstration of mastery,
meeting a sense of duty and purpose, and
having a set of relationships with others (O’Sullivan & Irby 2015).

MUHAS의 신임 교수개발자들은 극심한 교수 부족을 겪던 시기의 한 프로젝트로부터 나왔다. 이러한 resource-constrained 대학에서 교수개발프로그램 참여는 외부에서 fund를 맏을 수 있는 사람이나 비-의료전문직 기관에서 나온 교수개발자들이 시행하는 local workshop에 참여할 수 있는 사람에게만 기회가 제한적으로 주어진다. 이로 인해서 지속가능한 impact가 없고, 참가자들이 교수개발자가 되리라는 기대가 없고, 교수개발자로서 정체성 형성이되지 않는다. 반대로, 우리의 목표는 역량강화develop capacity를 통해 local context내에서 일군의 교수들이 동료들에게 교수개발워크숍을 할 수 있게 해주고, 교수개발자로서의 정체성을 개발시켜주고자 했다.

The new faculty developers emerged from a project with Muhimbili University of Health and Allied Sciences (MUHAS) that was experiencing a severe shortage of faculty (Mkony 2012). In such resource-constrained universities, participation in faculty development programs is often restricted to those who are able to garner the funds to attend an externally offered course or who can attend a locally offered workshop by faculty developers from non-health professions institutions. These approaches have limited sustainable impact and no expectation that participants will become faculty developers and develop an identity as a faculty developer. In contrast, our goal was to develop capacity within the local context through a cadre of faculty members who could offer faculty develop- ment workshops to their peers tailored to the local situation and who would gradually develop an identity as a faculty developer.

이 역량강화 과정capacity building process 은 교수들이 과거에 수행하지 않았던 역할을 하게 했다. 대학 입장에서도 새로운 역할이었다. 이를 도입함으로써 UCSF연구에서 발견한 것과 같은 lens로 무엇이 동기부여 시켜주는지 알아보고자 했다.

This capacity building process engaged these faculty members in new roles that they had not previously performed; roles that were novel for their univer- sity. This implementation provided the opportunity to examine how their identity evolved with this new role as a faculty developer and what motived them to participate using the same lens as we had in the UCSF research.

UCSF연구는 정체성형성에 관한 연구들과 Monrouxe 가 설명한 '다수 정체성 개념concept of multiple identities'을 기반으로 하였다. 우리는 면담한 30명의 모든 occasional faculty developers 가 교수개발을 해나감에 따라 educator로서의 정체성을 언급함을 확인하였다. 교수개발자로서의 정체성은 임상가/교사/연구자와 같은 다른 역할과의 관계 속에서 등장하였다.

In the UCSF research, we drew on identity formation research (Roccas & Brewer 2002; Monrouxe 2010; Goldie 2012; Monrouxe & Poole 2013) and specifically the concept of multiple identities as articulated by Monrouxe (2010). We found that all 30 of the occasional faculty developers we interviewed described an educator identity to which faculty development was added over time. Their faculty developer identity generally emerged in relation to their other roles as clinician, teacher and researcher in one of four ways:

(1) a merged identity in which the individual integrates multiple roles/identities simultaneously (e.g. physician, researcher, teacher);
(2) compartmentalized identity in which separate identities are maintained for different contexts (e.g. in the clinic a physician and in the classroom a teacher);
(3) a hierarchical identity in which the primary identity (e.g. physician) predominates but is closely associated with a less dominant identity (e.g. teacher); and
(4) a parallel identity in which the identities exist simultaneously but without a conscious overlap (O’Sullivan & Irby 2014).

이들의 교수개발자로서의 역할은 다른 사람들과 일하는 방식을 바꾸었고, 커리어의 발전방향을 바꾸었다. 교수개발은 기관문화에 영향을 주었고, 기관문화는 다시 교수개발에 영향을 주었다.

Their roles as faculty developers enhanced their status in their departments and influenced the way they worked with others and how it advanced their careers. Faculty development influenced the institutional culture and the institutional culture in turn supported faculty development.

우리는 Bandura, Maslow (1970), and Deci and Ryan 의 연구에 근거하여 교수개발자들의 동기부여를 탐구하였다. 우리는 다섯 개의 동기부여요인을 찾았고, 앞의 동기부여 이론들과 잘 맞았다. 교수들은 교수개발프로그램에 다음의 이유로 기여contribute하였다.

We also examined their motivation to become a faculty developer based on the work of Bandura (1986), Maslow (1970), and Deci and Ryan (2000). We found five motivators for occasional faculty developers, which aligned well with these theories of motivation (O’Sullivan & Irby 2015). These faculty members contributed to faculty development programs for the following reasons:

만족 satisfaction (fun and fulfillment),
숙달 mastery (learning and personal/professional development),
관계성 relatedness (enjoyment of working with and learning from others),
책임감 duty (obligation to give back as an academic citizen), and
목적의식 purpose (opportunity to improve local teaching and ultimately patient care).

이 결과는 occasional faculty developers를 구성하고 이것을 어떻게 정체성과 동기부여가 교수개발의 확장을 위해 사용될 수 있는가에 대한 통찰을 주었다.

These findings provide useful insights into how identity and motivation can be used to foster the expansion of faculty development through the creation of a cadre of occasional faculty developers, those whose primary responsibilities are other than faculty development.

그러나 UCSF는 자원이 풍요로는 환경이다.

However, UCSF has a well-established faculty development program in a resource-rich environment that values teaching and faculty development. We wondered if these identities and motivations would be the same for new faculty developers in a resource-constrained university such asMUHAS

연구질문

‘‘How does the faculty developer identity emerge in these new faculty developers?’’
‘‘What motivated them to become faculty developers?’’
‘‘How do the new education skills and faculty development role influence them?’’

방법

Methods

설계

Design

교수개발 연구에 인터뷰가 유용함.

This study uses a content analysis of interview sensitized by the identity formation and motivation findings of our previous research. As the role of faculty developer was new to these faculty members, the researchers thought an interview would allow participants the best way to describe what this new role meant to them. Additionally, Monrouxe (2010b) noted that interviews are a useful method of studying identity develop- ment. Two of the authors were involved in the preparation of the new faculty developers (P.O’S. and C.M.). Their experience placed responses in context for the analysis. Two authors (P.O’S. and D.M.) had conducted the previous research in this area that provided the sensitizing constructs in this work (O’Sullivan & Irby 2014; O’Sullivan & Irby 2015). Their experience also influenced the analysis of the data.

연구세팅과 참여자

Setting and participants

This study took place at MUHAS, the premier public institution for health sciences in Tanzania. MUHAS has schools of dentistry, medicine, nursing, pharmacy and public health, as well as institutes of Allied Health Sciences, as well as Traditional Medicine. However, MUHAS has suffered severe shortages of teaching faculty for decades (Mkony 2012).

At the time of the study, MUHAS had 300 faculty members and over 2000 students,

There were 16 participants in this study, consisting of two cohorts of faculty members, representing all the school and institutes in MUHAS who were selected from among junior faculty with aptitude and interest in education. The participants were free to accept or decline the invitation to participate and everyone proposed accepted the opportunity.

개입

Intervention

자세한 training에 대하여...

To provide context, the training is described briefly here and is reported extensively elsewhere (Mloka et al. 2012).

(1) Teach a new 18-session graduate education course on pedagogy, curriculum development, and assessment required of all medical residents and other professional graduate students beginning in 2011–2012, and

(2) Conduct faculty development workshops for their peers.

인터뷰 가이드

Interview guide

Two of the researchers developed the interview guide which consisted of several broad questions and multiple probes. The interview guide was used previously with faculty members at UCSF and has been published (O’Sullivan & Irby 2014, 2015). This study focused on questions eliciting

why they got involved in faculty development,
how participation affected them and
how their identity changed.

예시 질문

Example questions included:

‘‘How has being a faculty developer fit into your career trajectory?’’
‘‘What are your various professional roles?’’
‘‘How do you align your roles as a faculty developer with your other roles?’’
‘‘Why do you do faculty development?’’
‘‘What do you personally get out of this activity?’’

절차

Procedures

At the time of the interviews, the HPEGs had succeeded in offering at least seven workshops and had taught the 18-week postgraduate course twice. An individual (J.B.) uninvolved in the HPEG conducted the interviews in fall 2012 at MUHAS. All individuals consented and agreed to be audio-recorded.

분석

Analysis

Two researchers (P.O’S. and D.M.I.) read the transcripts applying codes from the two previous studies with faculty developers (O’Sullivan & Irby 2014, 2015). Each researcher read the transcripts individually. They met jointly to review all coding, adding, and deleting codes as needed. Although sensitized by their previous work, they were open to the possibility of additional codes. The 10 codes used to analyze the transcripts aligned with those from UCSF. The researchers applied the codes to address the questions posed by this study. Supporting quotes are indicated by the label ‘‘HPEG’’ followed by interviewee number. Another researcher (C.M.) reviewed audio recordings to confirm the appropriateness of the codes. Those interviewed in the study reviewed the results reported and concurred with the statements and interpretations.

Results

16명 중 15명을 인터뷰함.

Of the 16 HPEGs, 15 were interviewed. One person had assumed a leadership position outside the university and was unavailable for an interview.

성별 Six women and nine men participated.
전공 They came from the schools of medicine (n¼11), dentistry (n¼1), nursing (n¼1), pharmacy (n¼1) and public health (n¼1).
직위 The majority (n¼12) were lecturers (the first rank for faculty) and had been faculty members for approximately five years. The remaining participants were senior lecturers who had been at their rank about eight years.
교수개발경험 They all reported doing faculty development for 1.5–2 years.

정체성 형성

Identity development

모든 참가자들은 multiple role과 정체성에 대해서 언급했다 (의사/연구자/교사/멘토/관리자). 의사-연구자 또는 과학자-연구자의 정체성은 교육자로 확장되어갔다. 교육자 정체성의 진화는 새로운 것이었고 학습자와의 관계에 영향을 주었다.

All of the participants described the multiple roles and identities required at MUHAS: clinician, researcher, teacher,mentor, and administrator. Their identity of Clinician/Researcher or Scientist/Researcher was expanding to include educator. The evolution of the educator identity was new and influenced their interactions with their learners.

다양한 역할은 셋 중 하나로 묘사되었다.

Participants viewed these various roles as falling into one of three identities (Figure 1).

분절된 정체성

The ‘‘compartmentalized’’ was captured by,

‘‘All [roles] apply under different circumstances’’(HPEG 5).
Another noted, ‘‘I teach, take care of patients, I am a PhD student, faculty developer. I see them as separate in manyways’’ (HPEG 15).

그러나 교수개발이 하나의 정체성으로 포함되어있다는 것이 중요하다.

However, it is important to note that faculty development was included as one of these identities for most of these HPEGs with this compartmentalized identity.

위계적 정체성

Others saw their identity as ‘‘hierarchical’’;

‘‘I am first, a clinician. And then a researcher...I feel like part of the [HPEG] group, but maybe not independent enough to say stand alone and maybe do faculty development somewhere else’’ (HPEG 11).

혼합된 정체성

For many HPEGs the identity was ‘‘merged’’ among various roles and at times incorporating the faculty developer role.

One noted that his ‘‘Basic roles are teaching, research and patient care. My roles are not separate, but rather mixed together’’ (HPEG 7).

Local한 교수개발자의 가치를 인정해주기도 했다.

There was recognition of the value of having local faculty developers:

동기부여

Motivation

1 의무

UCSF에서 동기를 부여해준 것으로 나타난 다섯 가지 주제는 MUHAS에서도 같았다. 일부 HPEGs는 그렇게 해달라고 요청을 받아서 하게 되었다. 교수개발은 하나의 "의무"로 보였다.

All five them es about what motivated participants to be a faculty developer that were found at UCSF also were found at MUHAS. Some HPEGs participated because they were asked to do so. Faculty development was viewed as a ‘‘duty’’:

2 목적

Others had a sense of ‘‘purpose’’.

One saying, ‘‘Improving the faculty side...should go hand-in-hand with the new curriculum...you are at the fore front of improving quality of medical training’’ (HPEG 10)

3 숙달

Others expressed a sense of ‘‘mastery’’,

‘‘It opened my eyes that actually, I need to improve my teaching’’ (HPEG 3)

4 만족

Some identify a sense of ‘‘satisfaction’’ in doing faculty development, ‘‘I enjoy it’’ (HPEG 15)

5 관계

They valued the ‘‘relationships’’ they formed within the HPEG community, and the resulting cohesion,

교수개발자가 되는 것의 성과

Outcome of being a faculty developer

자기자신에 대한 성과

Outcome on self

첫째, 워크숍과 동료의 교육을 보며 스스로의 교육방식에 변화가 있었다.

The HPEGs identified three ways in which being an HPEG had a direct effect on them. First, all of the HPEGs reported changes in their own teaching due to the workshops and observation of their peers teaching,

둘째, HPEG가 되는 것은 공동체의식을 만들어줬다. interact할 수 있는 많은 방법을 안다.

Second, being an HPEG created an important sense of community. Now, they found many ways in which they could interact:

MUHAS가 큰 기관은 아니지만, 여러 HPEG구성원들은 서로를 잘 모른다. 이제 그들은 스스로를 '가족'이라 여긴다.

Although MUHAS is not a large institution, many of the HPEG members did not know each other.

‘‘I mean, through faculty development...we have been a very close group together’’ (HPEG9).

Now they saw themselves as ‘‘family’’ (HPEG 15).

셋째, HPEG가 됨으로써, 다른 사람과 상호작용하는 방식이 바뀌었고, 새로운 기회를 얻게 되었다. 어떤 HPEGs는 대학에서의 공식적 역할이 없음일 지적했지만, 동료의 follow-up에서 추가적 조언을 얻었다고 했다. 그들은 자기 자신을 더 중요하게 여기게 되었다. 그들은 동료에게 resource가 되었다.

Third, being an HPEG changed the ways in which they interacted with others and afforded new opportunities. Although some HPEGs noted the lack of an official role within the university, they did describe having peers follow- up with them after workshops for further advice. They saw themselves as important:

‘‘My image has changed from just this is a pediatrician to more than being just a pediatrician. I can offer an educational innovation to my peers’’ (HPEG 1).

They are a resource to their colleagues,

다른 사람에 대한 성과

Outcome on others

HPEG 구성원들은 MUHAS의 교육이 달라지기 시작했다고 언급했다. HPEG는 다른 사람에게 더 나은 강의와 상호작용적 교육을 할 수 있게 영향을 주는 것, 전문직간 그룹을 포함시키는 것incorporating interprofessional groups를 언급하였다.

The HPEG members attested to changing the teaching at MUHAS.

‘‘I can change others, the way they teach’’ (HPEG 13).

The HPEGs spoke about influencing others to create better lectures and interactive classes with student participation and incor- porating interprofessional groups.

기관 수준의 성과

Outcome on the institution

어떻게 기관의 문화가 달라졌는지 언급했다.

The HPEG members spoke about how the institutional culture responded to their efforts.

They created ‘‘cohesive groups...speaking the same language...transferring to the rest of MUHAS.....I think we’re getting there, but it’s a gradual process’’ (HPEG 11).

고찰

Discussion

전체적으로 resource-rich environment 에서와 매우 유사한 것을 발견했다.

Overall, we found remarkable similarities in our study of faculty developers in a resource-rich environment and new faculty developers in an environment that had fewer resources to devote to faculty development.

그러나 차이도 있다.

However, there were some differences, which we will compare and contrast.

MUHAS에서 교수개발자의 정체성은 주로 교육자로서 '새로운' 정체성으로 발달하였다. 모든 HPEGs는 교육에 대한 적성과 관심이 있어도 공식적 교육을 거의 받지 못했다. UCSF에서는 모든 교수개발자들은 교육자로서 오랜 경험이 있고 명망이 있었다. 두 경우 모두, 시간이 지남에 따라서 교육자 역할로부터 교수개발자의 정체성이 드러나기 시작했고, 교육자와 교수개발자 모두로서의 경험을 갖기 시작했다.

In MUHAS, the faculty developer identity evolved primarily through their newly developing identity as an educator. All of the HPEGs had an aptitude and an interest in teaching but little formal preparation. At UCSF, all the developers had long standing experience and outstanding reputations as educators. In both instances, the faculty developer identity emerged from their educator role over time and with increasing experience as both an educator and faculty developer.

그러나 원래 연구에서의 Fig 1은 이 연구의 Fig 1과 조금 다르다.

However, when contrasting the Figure 1 in this study with Figure 1 in the original research (O’Sullivan & Irby 2014), there are several striking differences.

첫째, 상대적인 중요도 인식을 동그라미의 크기로 반영했다. UCSF에서는 다양한 정체성이 있었지만, 임상가/연구자 정체성이 교육자 정체성만큼 중요했다. MUHAS에서는 교육자 정체성은 덜 중요했다. 비록 모든 HPEG가 교육을 자신의 역할 중 하나로 보았지만, 교육자 정체성이 dominating하진 않았다.
First, they perceived the relative importance of the identities as different as reflected in the size of the circles in the two studies. Although the multiple identities were developing at UCSF, the Clinician/PhD identity was of comparable importance to that of educator. At MUHAS, educator identity was less important. Although all HPEGs saw teaching as part of their role, the educator identity clearly was not as dominating.
둘째, UCSF에서 드러난 parallel identity(multiple role, not overlapping)는 위계적 정체성은 아니었다.
Second, the parallel identity noted in the UCSF sample of an individual simultaneously doing these multiple roles, but not overlapping, was not hierarchical identity, described in MUHAS. Similarly, the although mentioned, was less manifest in the HPEGs.
셋째, MUHAS에서 통합된 정체성merged identity은 교육자 정체성을 통해서 진화evolve하였는데, 반면 UCSF에서는 교수는 세 가지 역할 모두를(의사/과학자, 교육자, 교수개발자) 스스로 자신을 바라보는 방식에 통합시켰다. 우리는 이 multiple identities가 new developer에서조차 merge하지만, 교수개발자 정체성을 포함시키려면 강력한 교육자 정체성이 필요하다는 것이라고 결론을 내렸다.
Third, as noted in the previous paragraph, the ‘‘merged’’ identity evolved through the educator identity; whereas at UCSF, there were faculty members for whom all three roles (clinician/ scientist, educator, and faculty developer) were integrated into how they saw themselves. We conclude that these multiple identities are merged even in new developers, but that to include a faculty developer identity requires a strong educator identity.

교수개발자가 되려는 motivation도 이전 연구와 부합한다

The motivations to become a faculty developer echoed the findings of our previous work (O’Sullivan & Irby 2015).

FDP를 교육의 질을 높이고 교육변화를 위해서 사용하는 방식에 대한 권고.

From our findings, we believe that we can make recom- mendations for other institutions that may be turning to faculty development programs as a way to enhance the quality of teaching and make educational changes.

literature supports

This faculty devel- opment program has characteristics that the literature supports are effective for train the trainer models including

various instructional strategies,
supplying all instructional materials and
providing organizational support (Pearce et al. 2012; Tobias et al. 2012).

지속가능성

Additionally, this program overcame one of the threats to train-the-trainer programs of sustainability by the institutionalization of the curriculum which helps to stabilize the trained faculty. We have identified the need for appropri- ate background and have demonstrated how it can be done by building an educator community with a relatively small team. The creation, delivery, and now requirement of the postgradu- ate course was important to both culture building of valuing education as part of professional preparation and capacity building because the postgraduates became teaching resources, which they had not been previously. The learners received better teaching as described by the HPEGs and this is both critical to the education in an area with health care professional shortages, but provides satisfaction that helps sustain the teachers in an area with faculty shortages.

문화

Finally, by making education part of the university culture, future transitions will be easier, which is essential when there are fewer resources.

O’Sullivan teach PS, in 1536–1540. Irby faculty DM. 2015. Why does a development workshops? faculty Acad memberMed 90:

Monrouxe L, Poole G. 2013. An onion? Conceptualising and researchingidentity. Med Educ 47:425–429.

Monrouxe LV. 2010. Identity, identification and medical education: Whyshould we care? Med Educ 44:40–49.

O’Sullivan PS, Irby DM. 2014. Identity formation of occasional facultydevelopers in medical education: A qualitative study. Acad Med 89:1467–1473.

Med Teach. 2016 Sep;38(9):879-85. doi: 10.3109/0142159X.2015.1132409. Epub 2016 Feb 8.

Identity formation and motivation of new faculty developers: A replication study in a resourceconstrained university.

O'Sullivan PS1, Mkony C2, Beard J1, Irby DM1.

Author information

1a University of California San Francisco , USA .
2b Muhimbili University of Health and Allied Sciences , Tanzania.

Abstract

INTRODUCTION:

Previous studies on the identity development and motivation of faculty developers have occurred with seasoned developers in a research-rich environment. We sought to determine if the findings of those studies could be replicated with novice faculty developers in a resource-constrained environment.

METHODS:

We interviewed 15 novice faculty developers from Muhimbili University of Health and Allied Sciences (MUHAS) who, at the time, had led faculty development activities for no more than two years. We conducted a qualitative analysis sensitized by the previous findings.

RESULTS:

Results were very similar to the previous work. The developers described compartmentalized, hierarchical, and merged identities. The impact was on their teaching as well as on others at MUHAS and on the institution itself. The motivations related to mastery, purpose, duty, satisfaction, and relatedness.

CONCLUSION:

This replication led us to conclude that identity development as a faculty developer occurs even in novice developerswho do faculty development as only part of their work and despite constrained resources and a different culture. These developersfind the work richly rewarding and their motivations benefit the institution. This body of research highlights how faculty development provides benefits to the institution as well as engaging career opportunities.

PMID:: 26855161
DOI:: 10.3109/0142159X.2015.1132409

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글

Chapter 15. 국제교수개발 [Faculty Development in the Health Professions] (0)	2017.01.18
교수개발에 관한 Systematic review : 10년간의 업데이트 (BEME Guide No. 40) (참고문헌 검색) (0)	2016.11.16
교육프로그램 평가를 위한 열두가지 팁(Med Teach, 2010) (0)	2016.10.25
만약 공식적 CME가 효과가 없다면, 왜 의사들은 여전히 참석하나? (0)	2016.10.21
교수들에게 공식적 멘토링이 중요한가? - 임상교수대상 설문 - (Med Educ, 2016) (0)	2016.10.21

Blurprinting을 위한 12가지 팁(Med Teach, 2009)

Meded. 2016. 11. 14. 04:09

2016. 11. 14. 04:09

Blurprinting을 위한 12가지 팁(Med Teach, 2009)

Twelve tips for blueprinting

SYLVAIN CODERRE, WAYNE WOLOSCHUK & KEVIN MCLAUGHLIN

Office of Undergraduate Medical Education, University of Calgary, Canada

도입

Introduction

타당도는 모든 평가에서 필요한 것이고, 지원자가 학습목표에서 설정한 역량의 수준에 맞는 최소한의 퍼포먼스를 달성했음을 의미한다. 전형적으로 학업성취의 측정과 관련된 타당도의 유형은 '내용타당도'이다. 내용타당도를 갖추었다는 것은 목표와 학습경험이 서로 부합하는 것이며, 이 pillars of education들 간의 '합치'는 평가 blueprint를 사용하여 향상될 수 있다.

Validity is a requirement of every evaluation and implies that candidates achieving the minimum performance level have acquired the level of competence set out in the learning objectives. Typically, the type of validity that relates to measurements of academic achievement is content validity (Hopkins 1998). Evaluation content is valid when it is congruent with the objectives and learning experiences, and congruence between these pillars of education can be facilitated by using an evaluation blueprint (Bordage et al. 1995; Bridge et al. 2003).

교육내용을 표로 만들라

Tip 1. Tabulate curricular content

열과 행으로 되어있다.

A blueprint template consists of a series of rows and columns. At the University of Calgary, teaching of the undergraduate curriculum is organized according to clinical presentations, so the rows in our blueprints contain the clinical presentations relevant to the course being blueprinted (Mandin et al. 1995). Column 1 in Table 1 shows the eighteen clinical presentations for the Renal Course at the University of Calgary.

상대적 가중치를 준다

Tip 2. Provide relative weighting of curricular content

평가 문항의 수는 제한적이다.

Evaluations have a finite number of items,

그러나 어떤 내용이 중요한지를 정의하는 것은 어렵다. 오진시에 환자에게 영향impact가 큰 것 또는 질병예방이 중요한 것, 빈도 등을 기준으로 정의할 수 있다.

Content importance, however, is difficult to define. Attributes such as the potential harm to the patient from misdiagnosing a presentation (a measure of presentation ‘impact’), the potential for significant disease prevention (also a measure of presentation ‘impact’), and how frequently a presentation is encountered in clinical practice should be considered.

University of Calgary 에서는 다음의 세 가지를 가지고 판단한다.

At the University of Calgary we rate the impact and frequency of clinical presentations based on the criteria shown in Table 2.

모든 관련 그룹으로부터 의견을 모은다.

Tip 3. Sample opinion on weighting from all relevant groups

신뢰도는 표본의 size and breadth에 의해서 향상된다. 과목 책임자와 평가 담당자 외에도 교사, 학습자 등의 input을 얻어야 한다. 합의를 통해 가중치를 결정하는 것이다.

Reliability is improved by increasing sample size and breadth (Hopkins 1998). In addition to involving course chairs and evaluation coordinators, we solicit input from teachers and, if relevant, previous learners (McLaughlin et al. 2005a). That is, weighting of a content area is established through consensus.

각 내용영역에서의 문항 수 결정.

Tip 4. Decide on the number of items for each content area

신뢰도는 변별도와 문항 숫자에 의해 영향을 받는다. 변별도가 0.3일 경우 0.8의 신뢰도를 위해서 50~60개 문항이 필요하고, 변별도가 0.2라면 100개가 필요하다. 100개를 넘어서는 신뢰도가 거의 향상되지 않는다.

Reliability of an evaluation is affected by both the number and discrimination of items. As a rough guide, if the average discrimination index of the items is 0.3, then approximately 50–60 items are needed to achieve reliability of 0.8. This number increases to 100 if the average item discrimination is 0.2. Reliability appears to plateau beyond 100 items (Hopkins 1998).

각 내용영역에서 수행해야 할 task 정하기

Tip 5. Decide on the tasks for each content area

각 임상표현에 대해서 평가할 수 있는 다양한 task가 있다.

There are a variety of tasks that can be evaluated within any clinical cause presentation, such as

diagnosing the underlying(including specific points of history and physical examination),
interpreting or selecting investigations,
decid-ing on management and/or prevention,
demonstrating basic science knowledge, etc.

이들 task는 학습목표와 일관되어야 한다.

These tasks should be consistent with the learning objectives of the relevant course

이제 blueprint는 완성되었다. 다음은 valid content를 만드는 것이다.

The blueprint for content validity is now complete; the next challenge is to create the valid content.

Blueprint 기반으로 평가 만들기

Tip 6. Create evaluations based on the blueprint

모든 평가는 blueprint와 부합해야 한다.

All evaluations used in the course – formative, summative and retake – should conform to the blueprint.

문제은행 사용하기(또는 만들기)

Tip 7. Use (or create) an item bank

문제은행을 사용하는 것은 평가의 부담을 줄여준다. 문제은행이 존재하지 않으면, 장기적으로는 시간과 노력을 좀 들여서 만드는 편이 나으며, 과목이나 의과대학 간 공유할 수도 있다.

Using an item bank to match existing items to the blueprint reduces the burden of creating evaluations. If an item bank does not exist, the short-term investment of time and effort to create this pays off in the long run as items can then be shared between courses and even between medical schools.

학습목표를 Revise

Tip 8. Revise learning objectives

blueprint는 과목의 모든 측면에 걸쳐서 가중치를 준다. 이 Weighting은 과목담당자가 과목의 학습목표를 생각해볼 수 있는 기회가 된다. 학습목표를 blueprint 기반으로 수정하는 것이 직관에 반할지는 모르나, 내용타당도를 달성하기 위해서는 목표의 숫자/교육 시수/평가 문항 수 등이 각 임상표현과 비례해야 한다.

blueprint provides weighting for all aspects of a course. This weighting provides an opportunity for the course chair to reflect on the learning objectives. While it may appear counterintuitive to revise learning objectives based upon a blueprint weighting, to achieve content validity the number of objectives, hours our instruction, and number of evaluation items for each clinical presentation should be proportional.

학습경험을 revise

Tip 9. Revise learning experiences

Blueprint는 학습경험에 대해서 성찰해 볼 기회도 준다. 그러나 이것이 가중치와 교육시수 사이에 완벽한 선형관계가 있음을 의미하는 것은 아니다.

The weighting provided by the blueprint also offers an opportunity for reflection on learning experiences But this does not imply a perfect linear relationship between weighting and hours of instruction;

Blueprint를 교수들에게 배포하라

Tip 10. Distribute the blueprint to teachers

Blueprint는 과목책임자가 적절히 내용을 선태하는 것에 도움을 줄 뿐만 아니라, 교수들이 내용이 학습목표와 평가 두 가지 모두와 잘 부합하는 학습경험을 계획하는데도 도움이 된다.

The detail contained within a blueprint not only helps the course chair to select appropriate content area, but also helps teachers plan the learning experiences so that the content delivered is congruent with both the objectives and the evaluations.

내용 타당도를 모니터링하라

Tip 11. Monitor content validity

그러나 Blueprint를 발행하는 것 만으로 adoption되진 않는다. 내용타당도는 꾸준히 평가되고 모니터링 되어야 한다.

It cannot be assumed however, that publishing a blueprint inevitably leads to its adoption – content validity still needs to be evaluated and monitored.

Blueprint를 학습자에게 배포하라

Tip 12. Distribute the blueprint to learners

이상적으로, blueprint를 만들고 학습자들에게 배포하는 것은 course leader가 '운전대를 잡게' 해주며, 핵심 course material을 향해 학습이 이뤄지게 해준다.

Ideally, creating and providing a blueprint to learners ensures that course leaders are ‘grabbing hold of the steering wheel’ and driving learning towards what is felt to be core course material.

blueprint 는 학생들의 시험준비에도 중요한데, 학습목표를 reinforce시키고, 의도한 교육과정을 전달하게 해준다. 이전 연구에서 blueprint를 출판하는 것이 학생의 퍼포먼스를 향상시키지는 않았지만, 평가 프로세스의 공정함에 대한 인식을 크게 향상시켜주었다.

blueprint shown to be important in student examination preparation, reinforces the learning objectives and delivery of the intended curriculum (McLaughlin et al. 2005b). In a previous study, we found that blueprint publication did not improve student performance, but significantly increased the perception of fairness of the evaluation process (McLaughlin et al. 2005c).

Med Teach. 2009 Apr;31(4):322-4. doi: 10.1080/01421590802225770.

Twelve tips for blueprinting.

Coderre S1, Woloschuk W, McLaughlin K.

Author information

1Office of Undergraduate Medical Education, University of Calgary, Calgary, Alberta, Canada.

Abstract

BACKGROUND:

Content validity is a requirement of every evaluation and is achieved when the evaluation content is congruent with the learning objectives and the learning experiences. Congruence between these three pillars of education can be facilitated by blueprinting.

AIMS:

Here we describe an efficient process for creating a blueprint and explain how to use this tool to guide all aspects of course creation and evaluation.

CONCLUSIONS:

A well constructed blueprint is a valuable tool for medical educators. In addition to validating evaluation content, a blueprint can also be used to guide selection of curricular content and learning experiences.

PMID:: 18937095
DOI:: 10.1080/01421590802225770

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 평가법 (Portfolio 등)' 카테고리의 다른 글

그룹활동에서 "나" 평가하기: 현황과 권고(Med Teach, 2016) (0)	2016.11.18
결과타당도근거(Consequences Validity Evidence): 교육평가의 임팩트 (Acad Med, 2016) (0)	2016.11.16
차이에 관하여: 왜 전문가-초심자 비교가 타당도주장에 기여하는 바가 별로 없는가(Adv in Health Sci Educ, 2015) (0)	2016.11.07
MCQ에서 CIV와 IWF: 원칙이 차이를 만드는가?(Acad Med, 2002) (0)	2016.11.07
MSPE 랭킹의 학교별 차이: 매우 나쁜 학생이지만 "Good" (Acad Med, 2016) (0)	2016.11.07

의과대학 Trainee선발에서 집단의사결정을 위한 새로운 방법(Med Educ, 2016)

Meded. 2016. 11. 10. 17:07

2016. 11. 10. 17:07

의과대학 Trainee선발에서 집단의사결정을 위한 새로운 방법(Med Educ, 2016)

A new method for group decision making and its application in medical trainee selection

James R Kiger & David J Annibale

도입

INTRODUCTION

의과대학이나 레지던트 프로그램에서 지원자를 선바하는 기준은 시험점수나 grade에 기반하고 있다. 그러나 많은 경우, 비록 이 숫자 점수의 합이 면접수행능력, 리더십, 기존 경험 등과 같이 정량화하기 어려운 것들보다 덜 중요한 것은 아니지만, 숫자 자료들은 combine된다. 결국, 모든 프로그램에서는 어떻게든 이 모든 정보를 '선호'의 순서로 단순화시킨 리스트로 승화시켜야 한다. 이 목표를 달성하기 위하여, 종종 pseudo-quantitative scoring systems 을 사용하나, 수학적으로 타당하지 못하고, counterproductive하다.

The criteria by which a medical school or residency training programme selects its preferred applicants may, in part, rely on test scores or grades. In almost every case, however, these numerical data are combined with, if not superseded by, considerations that are difficult to quantify, such as interview performance, leadership traits and prior experience. In the end, every schoolor programme must find a way of distilling all this information into a simple list of applicants in order of preference. To achieve this goal, groups often rely on pseudo-quantitative scoring systems that are mathematically unsound and may be counterpro- ductive to the collaborative process of making a list.

우리의 전공 수련 프로그램은 NRMP를 사용한다. NRMP는 1952년 도입되었는데, 이 당시에는 의과대학생과 레지던트 프로그램에서 혼란과 불만이 늘어나던 시기였다. 중앙화된 기구가 모든 의과대학졸업생을 available residency spot에 배정하는 역할을 맡게 되었다. NRMP 시스템은 60년간 그 자리를 지켜왔고, 더 많은 전공, 세부전공까지 확장되었다.

Our subspecialty training programme uses the National Resident Matching Program (NRMP) for applicant selection. The NRMP was formed in 1952 in response to escalating confusion and exas- peration on the part of medical students and resi- dency programmes. This centralised body assumed the task of sorting all of the nation’s graduating medical students into available residency spots.2 The NRMP system has stood relatively unchanged for more than 60 years, and has expanded to cover more specialties and subspecialties.

지원자와 훈련프로그램은 NRMP에 각자 자기의 입장에서의 순위를 제출한다. NRMP는 'deferred acceptance'알고리즘을 사용하여 지원자를 안정적이고 최적의 결과를 얻을 수 있게 sort해준다. 지원자에게 있어서 순위를 매기는 것은 부담이 크지만 근본적으로 개인적인 문제이다. 훈련프로그램 입장에서 순위를 정하는 것은 더 복잡하다. 어떻게 정량적 자료를 질적 특성과 통합할지를 결정해야 하고, 다수의 면접관에게 받은 주관적 정보를 최종 순위 정보로 만들지 고민해야 한다. 이 단계에서 발생하는 부정확성은 여러 문헌에서 밝혀진 바 있다

Applicants and training programmes both submit rank-order lists to the NRMP, which employs a ‘deferred acceptance’ algorithm to sort the appli- cants into training positions such that stable and optimal results are achieved.2,3 For applicants, creat-ing a rank order may be taxing, but is a fundamen- tally personal matter. For training programmes, generating a rank-order list may be significantly more complicated. Each programme must decide how to integrate objective quantitative data (test scores, grades, etc.) with qualitative characteristics (volunteer work, written statements, etc.) and the subjective opinions of multiple interviewers into a final rank-order list. The imprecision of this process is highlighted by published reports that have demonstrated the lack of correlation between information gathered during the interview process, the position of applicants on a programme’s rank- order list, and future resident performance.4–8

ERAS는 AAMC가 제공하는 순위 산정을 위한 pseudo- quantitative method 이다. 면접관은 지원자를 리커트-타입 평가 스케일에 배정하고(1~9), 지원자에 대한 평균점수가 예비적 순위를 만들어준다. ERAS시스템은 리커트 스케일 기반 시스템의 한 예이다.

The Electronic Residency Application Service (ERAS), provided by the Association of American Medical Colleges (AAMC), incorporates a pseudo- quantitative method to generate a rank-order list. Interviewers assign applicants scores on a Likert-typerating scale (integers of 1–9), and averaged scores for applicants are sorted to create a preliminary rank-order list. This ERAS sys- tem is simply one example of a Likert scale-based system,

이러한 Pseudo-quantitative methods 는 몇 가지 근본적 문제가 있다.

Pseudo-quantitative methods such as this are beset by a number of fundamental problems:

1 면접관마다 분포가 다름.
the scores assigned by different interviewers are differently distributed;
2 면접관에게 '숫자'의 의미가 일관되지 않음
numeric scores have no consistent meaning for interviewers (e.g. an interviewer who gives con- sistently lower scores may view a score of 7 points as signifying an excellent candidate, whereas another interviewer may view the same score as indicating an average candidate);
3 임의적 스케일의 순위자료이다. arithmetic operation에 부적절하다.
Likert scale-type scores are ordinal data on an arbitrary scale; it is inappropriate to perform arithmetic operations, such as the calculation of means, on such data,9–11 and
4 지원자는 일부 교수에 의해서만 면접을 하게 되고, 교수도 일부 지원자만 면접한다.
candidates are interviewed only by a subset of faculty staff, and each faculty member may interview only a subset of candidates. Any partic- ular candidate’s final score may be altered sub- stantially by the inclusion or exclusion of an interviewer who gives consistently high or low scores.

이러한 문제로, 우리는 ERAS에서 만들어준 순위를 그룹토의를 거쳐 재평가한 뒤 NRMP에 제출한다. 토론과정에서 점수는 '집단 의견'에 맞게 조정되어 순위를 재조정한다. 물론, 이러한 집단 토의도 목소리가 큰 소수의 영향을 받을 수 밖에 없고, 참여못한 사람의 의견은 토론에서 배제된다.

Given these problems, our programme has had to re-evaluate the preliminary ERAS-generated rank- order list in group discussions prior to submission to the NRMP. During such discussions, scores are modified to force the rank list to conform to the ‘group opinion’. Of course, this group opinion may be unduly influenced by a vocal minority, and those who are unable to attend are left out of the discussion.

rank-ordering process 향상을 위한 수학적 노력이 있어왔다.

Others have suggested different mathematical meth-ods to improve the rank-ordering process.

One approach is to have interviewers compile individually ordered preference lists of applicants, instead of assigning scores. Both Chew et al. and Collins et al. suggest applying a formula to individ- ual rank lists to create scores that can then be aver- aged.12,13
These systems resemble the Borda voting system in which each voter gives each candidate a number of points proportional to that candidate’s place on the voter’s list.14 These systems are ham- pered by the fact that the score derived from any given voter is dependent on the number of candi- dates seen by that voter.
A recent article by Ross and Moore suggests retaining scores, but comparing candidates pairwise and assigning a ‘win percentage’to each in a system similar to that used in sports ranking.15

우리는 몇 가지 설계원칙을 정했다.

We proposed a set of design principles to which an optimal system should adhere:

1 the opinions of all interviewers will carry equal weight;
2 the rank-order list will not be influenced by which interviewers meet any individual candi- date;
3 interviewers will compare only applicants whom they have met;
4 the system will not depend on scores assigned on an arbitrary scale, and
5 the final ordering will be transparent and repro- ducible.

METHODS

알고리즘 개발

Algorithm development

We developed an algorithm termed ‘collab-orative unbiased rank list integration’ (CURLI)

네 단계로 이뤄짐

The CURLI algorithm involves four steps:

1 each interviewer submits a personal ranked pref- erence list of the applicants he or she has met or reviewed;
2 each personal rank-order list is used to generate a pairwise preference table of applicants;
3 the individual preference tables are summed to generate a composite preference table, and
4 a sorting algorithm is applied to the composite preference table to generate a final rank-order list.

기본적인 결과는 이렇다. 만약 지원자 A와 B가 모두 일부 교수에 의해서만 면접을 봤다면, 그리고 A가 B보다 더 많은 면접관들에게 선호된다면, A는 선호도 리스트에서 더 높은 순위를 받는다. 이는 얼마나 많은 인터뷰를 했는지, 몇 명의 교수가 했는지, 어떤 배점 bias가 있는지에 무관하다.

The fundamental result of the CURLI algorithm is as follows: if applicants A and B are both inter- viewed by a subset of faculty members, and candi- date A is preferred to candidate B by a majority of those interviewers, then candidate A will appear higher on the final preference list. This is unaf- fected by how many interviews any specific faculty member conducts or any individual scoring biases.

개별 순위 리스트

Personal rank-order lists

The fundamental change for interviewers is that instead of scoring applicants on an arbitrary scale, they are asked to maintain a personal ranked prefer- ence list of the applicants they have interviewed. Interviewers include only applicants they have met, conforming to design principles 2 and 3 above. Interviewers no longer assign arbitrary scores, removing the undue influence exerted by interview- ers who give consistently high or low scores, satisfy- ing principles 1 and 4.

짝지은 순위 표

Pairwise preference tables

지원자 선호가 더 높으면 상대비교에서 1 입력

Each interviewer’s ranked preference list is converted to a preference table, which is populated by the numbers 1 or 1 depending upon which applicant appears higher on that preference list. No values are assigned to applicants the interviewer did not meet. A preference list implies a comparison between all possible pairs of applicants on that list. Applicants appearing higher on the rank-order list are preferred to all applicants ranked below them. Therefore, a rank-order list of size n contains (n 9 [n 1])/2 pairwise comparisons between applicants.

4명의 지원자 A B C D중, C는 면접을 못 보고, 나머지 셋의 순위는 B D A 순서인 경우

For example, imagine there are four applicants: A, B, C and D. An interviewer meets all but applicant C, and submits the following rank-order list: B–D–A.

Table 1 shows the preference table generated from this list.

혼합 순위 표

Composite preference table

A composite preference table is computed simply by adding all of the individual preference tables.

For example, four interviewers (I, II, III and IV) provide the following rank lists for four applicants:

Interviewer I: B–D–A;
Interviewer II: C–B–A–D;
Interviewer III: B–C–D–A, and
Interviewer IV: C–D–B.

Table 2 shows the resulting four individual prefer- ence tables. Table 3 shows the composite preference table yielded by the sum for each cell.

배열

Sorting

modified bubble-sort algorithm 를 사용하여 composite table을 만들었음.

A sorting algorithm is applied to the composite preference table to obtain the final rank-order list. For our programme, we applied a modified bubble-sort algorithm to the composite table.16 An initial unsorted list is generated. Each applicant is compared with the applicant immediately below on the rank list by checking the corresponding value inthe composite preference table. If the lower-ranked applicant is preferred (i.e. the value in the cell is > 0), the order of the two applicants is swapped. This is continued until no more pairs of applicants are swapped. In the ideal scenario, the re-sorted list will yield a composite preference table with all nega-tive values in the upper triangle.

Re-sorting하면 Table 4가 됨

For our example, the final sorted rank list is: C–B– D–A. Re-sorting the preference table to reflect this order gives a matrix with a fully negative upper tri- angle which indicates that every applicant is pre- ferred by a majority of interviewers to all the applicants below them on the list (Table 4).

Borda voting scheme으로 같은 것을 한다고 했을 때, 각 지원자가 획득 점수 기준으로 나열했을 때 두 명이 C를 더 선호했음에도 B가 가장 높을 수도 있다.

If one imagines running the same example with a Borda voting scheme, for instance, in which each applicant is awarded points based on his or her position on each list, it is possible that applicant B may have been ranked highest, although two of the three interviewers who directly compared applicants B and C preferred applicant C.

방법론

Methodology

We implemented this new ranking algorithm during the 2013 neonatal-perinatal fellowship match. All faculty members and fellows were instructed to maintain a personal ranked preference list of the applicants they interviewed. They were also asked to assign a score of 1–9 to each participant as had been done in previous years, as per the ERAS sys- tem. These ‘shadow’ scores were used to compare the outcome of the CURLI algorithm with the results that would have been generated by the old Likert scale-based method.

결과

RESULTS

During the trial year 14 applicants were interviewed, and 19 faculty members and fellows served as inter- viewers. Figure 1 shows the minimum, maximum, median and interquartile ranges for the scores assigned by each individual interviewer.

평가자들은 점수 범위의 일부만 사용하였고 86%는 6점 이상이었다.

On average, each interviewer scored nine applicants. All inter- viewers utilised a truncated part of the scoring range at the top of the scale. Of 162 total scores assigned, 139 (86%) were ≥ 6. The median score assigned by each interviewer ranged between 6 and 8.

개별 면접관마다 discordance가 있었다. 총 162개의 점수를 주었는데, 그 중 23개는 자신이 매긴 순위와 점수의 순위가 달랐다.

We observed discordance between individual inter- viewers’ assigned scores and their final assessments of an applicant’s desirability. Collectively, the inter- viewers assigned a total of 162 scores, 23 (14%) of which were out of order in relation to the rank- order list of the interviewer who had given them.

new CURLI algorithm에 따라서 14명의 지원자 중 9명이 서로 다른 ranking list에 assign됨.

by the new CURLI algorithm. Of the 14 applicants, nine would have been assigned to a dif- ferent place on the final ranking list.

지난 3년간, 우리 분과는 2시간씩 2번의 미팅을 해서 preliminary list를 조정했는데, 이번에는 1시간만 걸렸다. 순위가 달라진 지원자는 없었다.

In the prior 3 years, our division had scheduled two 2-hour meetings to discuss and modify the prelimi- nary rank-order list. In this trial year, we required only a single 1-hour meeting to achieve consensus. No candidates were moved as a result of that discus- sion. Figure 2 shows the relationships between the preliminary rank-order list and the final rank-order list for 2013 and the prior 2 years. The changes reflect the alterations made during the divisional meeting. In 2011 and 2012, the positions of nine of 14 applicants, and 13 of 16 applicants, respectively, were moved on the final list.

고찰

DISCUSSION

행정적 관점에서 미팅이 4시간에서 1시간으로 줄었고, 순위의 변화가 없었다. composite preferene table을 공개하여 투명성을 확보하였다.

From an administrative perspective, the new method reduced meeting time from 4 hours to 1 hour, dur- ing which no changes were made to the rank-order list. During that meeting the composite preference table was displayed, providing complete trans- parency.

CURLI algorithm 는 몇 가지 장점이 있다. 재생산가능하고 투명하다. 지원자의 순위를 바꾸려는 소수의 압력을 극복할 수 있다. 면접관의 intrinsic difference에 의한 불공평함을 줄일 수 있다.

We suggest that our CURLI algorithm has numer- ous theoretical benefits that are borne out in prac- tice. It is reproducible and transparent. There is reduced vulnerability to pressure from a minority of participants to change a candidate’s rank position, and the inequality imposed by intrinsic differences in scoring among interviewers is removed.

CURLI algorithm 는 확실한 장점이 있다. Borda voting scheme과 유사한 방법들에서 지원자는 '점수'로 평가받거나 랭킹을 평균낸다.

Compared with other options that have been pro- posed, we feel that the CURLI method offers clear advantages. Borda voting schemes, and similar methods, introduce a process whereby applicants receive points for their place on each list, or in which the rank number on each list is averaged.12–14

이러한 방법은 모든 면접관이 모든 지원자를 면접할 경우에는 만족스러운 결과를 줄지도 모르나, 각 면접관이 일부 지원자만 면접할 경우 문제가 될 수 있다. 예컨대 일부 지원자만 면접했는데, 이들이 모두 least desirable한 지원자들일 수도 있다. 이 경우 Borda-like 방법에서는 이 지원자들 중 순위가 높은 사람은 엄청난 이득을 보는 셈이다. CURLI에서는 상대적 비교만 하기 때문에 그러한 문제가 없다.

These methods may yield satisfactory results if all interviewers see all applicants (i.e. every individual preference list is full), but in cases like ours in which each interviewer sees only a subset of appli- cants, these methods are problematic and allow bias. Take, for example, an interviewer who inter- views only a few applicants, all of whom happen to be among the least desirable. Under the Borda-like methods, the top-ranked applicant on this list will obtain a huge advantage in points or rank, even though that applicant may actually not be desirable compared with all the other applicants that particu- lar interviewer did not see. As the CURLI method uses the rank lists only to make pairwise compar- isons between applicants the interviewer actually saw, it suffers no such bias.

다른 pairwise 비교법도 있지만 CURLI보다 덜 투명하고 더 쓰기 힘들다. 대부분의 면접관은 심지어 내적일관성조차 유지하기 힘들다. CURLI는 arbitrary score의 가능성을 완전이 없앤다.

Other pairwise comparison methods have been proposed, but we feel they are less transparent and more cumbersome than our CURLI method.15 As our case study highlights, the majority of interviewers failed to maintain even internal consistency in their score assignment during one interview season. The CURLI method we have described dispenses with arbitrary scores entirely.

지식점수, 임상추론점수, SCT등에서 사용 가능할 것이다.

We believe this method may find fur- ther application in medical training in the scoring of knowledge or clinical reasoning assessment tools, such as script concordance testing.17

2016 Oct;50(10):1045-53. doi: 10.1111/medu.13112.

A new method for group decision making and its application in medical trainee selection.

Kiger JR1, Annibale DJ2.

Author information

1Department of Pediatrics, Medical University of South Carolina, Charleston, South Carolina, USA. kiger@musc.edu.
2Department of Pediatrics, Medical University of South Carolina, Charleston, South Carolina, USA.

Abstract

CONTEXT:

The problems associated with generating a collaborative ranked preference list represent a common source of dilemma in academic medicine and medical education. Such issues present during the process of choosing among applicants to medical schools, during the selection of postgraduate trainees, and in the course of performance assessments and the prioritising of financial expenditures. Currently, most institutions use pseudo-quantitative methods, such as the averaging of scores awarded on an arbitrary scale. These methods are mathematically problematic and may not accurately reflect group opinion.

METHODS:

The present authors developed a novel algorithm for creating a collaborative preference list that generates and sorts a matrix of pairwise comparisons between applicants or choices without placing any reliance on arbitrary Likert scale-type scores. This method achieves equality in influence across individual assessors, as well as transparency and reproducibility. The authors report a case study of their experience using this new algorithm in the 2013 neonatal-perinatal fellowship match.

RESULTS:

When used by this group in the selection of fellowship trainees, the method proposed here allowed for greater efficiency and created a rank-order list that did not require reshuffling or significant debate. A survey of faculty staff and fellows showed much higher levels of satisfaction with the new algorithm and a unanimous desire to use the new algorithm in the future, in preference to a score-based system.

CONCLUSIONS:

The algorithm developed and described here may reduce arbitrariness in processes that require the collaborative creation of a preference list. This method may have wide applicability in medical education and training, and beyond. The present authors' experience of using this algorithm during the National Resident Matching Program match showed improved perceptions of fairness, ease of use and efficiency.

PMID:: 27628721
DOI:: 10.1111/medu.13112

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 입학, 선발(Admission and Selection)' 카테고리의 다른 글

AAMC에서 요구하는 의과대학 입학생의 역량(Core Competencies for Entering Medical Students) (0)	2017.02.02
학생선발과정에서 얻은 네러티브 정보가 문제행동을 예측한다 (Med Teach, 2016) (0)	2016.11.14
썪은 사과 골라내기 (Adv in Health Sci Educ, 2015) (0)	2016.10.13
MMI점수 타당화: 다양한 기질을 측정하는가? (Adv in Health Sci Educ, 2014) (0)	2016.04.26
입학면접의 조건부 신뢰도: 극단적 평가에서 얻을 정보가 더 많다(Med Educ, 2007) (0)	2016.02.26

학업과제 중 의과대학생의 자기조절학습SRL (Med Educ, 2016)

Meded. 2016. 11. 10. 16:53

2016. 11. 10. 16:53

학업과제 중 의과대학생의 자기조절학습SRL (Med Educ, 2016)

Self-regulated learning processes of medical students during an academic learning task

Roghayeh Gandomkar,1 Azim Mirzazadeh,1,2 Mohammad Jalili,1,3 Kamran Yazdani,4 Ladan Fata5 &

John Sandars6

도입

INTRODUCTION

적절한 remediation을 하기 위한 'struggling' 의과대학생에 대한 이해에 관심이 높아지고 있다. 의과대학 1학년에서 특히 중요한데, 적절히 교정되지 않으면 지속될 가능성이 높기 때문이다. 최근 SRL이 remediation 설계에 널리 사용되고 있고, 특히 의과대학 초기에 악순환을 끊고자 사용한다. 더 나아가서, SRL microanalytic 을 가지고 비-의학학습적 맥락에서 struggler를 찾고 remediate하려고 시도하기도 한다.

There is increasing interest in gaining greater understanding of the ‘struggling’ medical student so that appropriate remediation can take place.1 This is of great importance during the first years of medical school because early weak performance is likely to continue if it is not adequately addressed.2 Recently, self-regulated learning (SRL) theory has been applied increasingly in the design of remedia- tion interventions,3 including at an early stage of medical school in order to stop this cycle.4 More- over, there is a growing trend in the use of an SRL microanalytic approach to identify5 and remediate strugglers in non-medical academic contexts by pro- viding more effective feedback on the essential SRL processes.6

Pizzimenti and Axelson은 1학년에서 해부학 학습의 성공은 SRL 사용에 달렸다고 주장하였다. 그러나 이 때 SRL은 MSLQ로 측정되었다. SRL보고 스케일의 사용에는 근본적 문제가 있다. 따라서 우리는 SRL microanalytic 을 사용하였다.

Pizzimenti and Axelson7 noted that the success of Year 1 medical students on a gross anatomy course was related to their use of SRL processes. However, the SRL processes in this study were identified through the use of the Motivated Strategies for Learning Questionnaire (MSLQ).7 There are inher- ent limitations in the use of SRL self-report scales; therefore, we employed SRL microanalytic method- ology during a biomedical science learning task to capture the task-specific and fine-grained nature of SRL processes.8

개념틀
Conceptual framework

이론적으로 본 연구는 SRL의 사회-인지모델에 기반하고 있으며, 이 모델에서는 학업적 SRL을 역동적이고 순환적 프로세스로 본다. 세 단계로 이뤄지는데, forethought, performance, self-reflection이다.

Theoretically, the current study is based on a social- cognitive model of SRL that considers academic SRL as a dynamic and cyclical process characterised by three sequential interrelated phases: forethought; performance, and self-reflection.9

Forethought 에서는 자기효능감, 목표설적, 전략적 행동 등이 학생의 학습노력이나 동기부여에 선행하며 적절한 학습테크닉 선택에 영향을 준다.
Forethought pro- cesses, such as self-efficacy beliefs, goal setting and strategic planning, precede any learning efforts and mobilise students’ motivation and their choice of the appropriate learning techniques for the learning task they face.
Performance는 학습과제 중간에 발생하며, 자기조절학습자가 메타인지적으로 스스로의 학습을 모니터링하여 Forethought 단계에서 선택한 동기부여 혹은 학습테크닉이 가장 적절한지를 확인한다.
Performance processes occur during the learning activity, when self-regulated learners metacognitively monitor their learning to ensure that the motivation and techniques chosen in the forethought phase are the most appropriate to suc- cessfully complete the task.
self-reflection 에서는 학습과제를 수행한 이후에 causal attribution과 adaptive inference를 하는 것이다.
In the self-reflection phase after the performance of the learning task, the processes of causal attributions and adaptive inferences occur.10

Causal attributions 이란 학습자가 가지고 있는 특정 과제에서 이룬 성과의 원인에 대한 인식이다. 이것이 중요한 이유는 이후의 동기부여나 테크닉 선택에 영향을 주기 때문이다. 고성과자는 자신의 실패를 개인적으로 통제가능한 요인의 탓으로 돌리며(학습 테크닉 등), 저성과자는 통제불가능한 요인(능력, 난이도)에 돌린다.

Causal attributions refer to learners’ perceptions of the causes of the outcomes they attain in a particular task.11 The importance of causal attributions is that it directs the subsequent motivation of learners and their choice of tech- niques.10 High-performing learners tend to attribute their failure in the learning task to personally con- trollable factors, such as their use of specific learn- ing techniques, whereas low-performing learners tend to attribute unfavourable results to uncontrol- lable sources, such as ability or the difficulty of the learning task.

효과적인 SRL은 proactive engagement이며, 과제-특이적 프로세스를 사용해야 한다. 비-의학교육에서 SRL의 차이에 따른 성취도의 차이가 밝혀진 바 있다.

Research suggests that a key feature of an effective self-regulated learner is proactive engagement in the process of learning and the use of task-specific processes prior to, during and follow-ing a learning task.12 In the non-medical education domain differences in SRL processes between high and low performers on various academic learning tasks have been identified.13–15

SRL microanalysis
Self-regulated learning microanalysis

사회인지이론의 측면에서 SRL은 (Global, fixed가 아니라) 맥락- 특이적, 과제-특이적 사건이다. 이 가정이 중요한 이유는 SRL microanalytic 접근법이 특정 SRL 프로세스에 따라 커스토마이즈 되기 때문이다. SRL microanalysis는 구조화된 인터뷰 프로토콜을 포함하는데, 이는 think-aloud 인터뷰와 비슷해서 잘 정의된 학습과제를 수행하기 전/중간/후에 개방형 또는 폐쇄형의 과제-특이적 질문을 한다.

Through the lens of social-cognitive theory, SRL is considered to be a context- and task-specific event, rather than a global, fixed trait. Based on this important assumption, the SRL microanalytic approach is customised to specific SRL processes related to a learning task and measures processes within all three phases of the SRL cyclical loop. Self- regulated learning microanalysis involves a struc- tured interview protocol, similar to that used in think-aloud interviews, that involves administering open-ended or closed task-specific questions before, during and after the completion of a well-defined learning task.16

방법
METHODS

참여자와 세팅
Participants and setting

This study was conducted at Tehran University of Medical Sciences (TUMS) School of Medicine. The TUMS School of Medicine introduced a new out- come-based undergraduate medical curriculum from September 2011.

절차
Procedure

Students who were eligible to participate were invited by telephone to enrol in the study. Those who agreed to do so were given a scheduled appointment. Participants were briefed about the format of the session and specifically that students would not be allowed to make use of extra aids, such as books, or have access to the Internet during the completion of the learning task. Pens, high- lighters and blank papers were available on the desk. There was no time limit for completing the learning task.

자료

Materials

학생들에게 충분히 도전이 될 만한 수준의 신경과학 주제를 줌.

A biomedical science learning task was developed on the topic of basal ganglia. This topic was selected based on expert opinion in the medical school that neuroscience topics were sufficiently challenging for students, and because participants had not previ- ously completed any learning tasks related to the basal ganglia or similar subject during their first semester.

제공 자료, MCQ, 문항 개발

All students were provided with a one- page text in which a case of chorea was presented and the normal structure and function of the basal ganglia described. Students were instructed to answer a multiple-choice question (MCQ) that required the integration and application of the basic biomedical science knowledge provided with the case presentation.23 The learning task was devel- oped with the cooperation of two faculty members from the anatomy department. The validity and fea- sibility of the biomedical science task were exam- ined in a pilot study with 14 Year 2 students drawn from another cohort.

척도
Measures

SRL microanalysis
Self-regulated learning microanalytic measures

참여학생의 SRL프로세스를 평가하기 위해서 SRL microanalytic assessment 를 개발하였다. Cleary의 가이드라인을 따름. 자기효능감을 측정하는 폐쇄항 질문과 6개의 SRL프로세스 관련 개방형 질문으로 이루어져 있다.

To assess the SRL processes of participants, an SRL microanalytic assessment protocol was devel- oped based on guidelines provided by Cleary et al.8 The protocol consisted of a closed question for the measuring self-efficacy measure24 and six open-ended questions for five SRL sub-processes including (two questions referred to the metacognitive monitoring measure).12

goal setting,
strategic planning,
metacog- nitive monitoring, (2개 질문)
causal attributions and
adaptive inferences measures

Forethought를 측정하는 질문은 참여자가 학습과제를 수행하기 직전에 물어보았다. 두 개의 메타인지 모니터링 질문은 학습과제 진행 중에 물었다. 기존 경험에 따라 performance 단계의 질문은 학습자가 과제를 시작한지 5분이 지난 이후에 물었다. Self reflection 단계의 질문은 과제를 마친 후 물었다.

Questions measuring forethought phase processes were administered immediately before participants started the learning task. Two metacognitive moni- toring questions measuring performance phase processes were asked during the biomedical science learning task. Based on our prior experi- ence in the pilot study and in order to standard- ise the protocol, we asked these performance phase questions at 5 minutes after students com- menced the learning task. Self-reflection phase questions were posed after participants had com- pleted the learning task.

개방형 응답의 분석

To analyse participants’ responses to open-ended questions, we developed a coding scheme according to previous research on SRL microanalysis across different tasks,17–20 as well as related literature on biomedical science learning strategies.5,25 To con- textualise this, we discussed and modified the cod- ing scheme in consultation with a panel of experts, and further refined it based on the pilot study results. Participants’ responses were coded indepen- dently by two authors (RG and LF) into one of the predetermined categories for each SRL measure. When a participant’s response to an SRL item could be coded into more than one category, it was coded at the highest-level category possible. For example, if the respondent reported both task-specific and task-general processes, we coded the process as task- specific. Appendix S1 shows details of SRL sub-pro- cesses questions, coding categories and examples.

의과학 성취 척도
Biomedical science performance outcome measures

두 가지를 사용하였음. (1)기존의 의과학 성취, (2)주어진 학습과제에서의 성취

We used two measures of biomedical science perfor- mance: (i) previous biomedical science perfor- mance, and (ii) the learning task performance test.

첫 번째 척도에 대해서, 대부분의 학생이 유사한 SRL프로세스를 쓸 거라는 가정에서, 기존 시험 performance의 양극단 점수를 포함시켜서 SRL 측정과 의과학 수행능력 간 관계를 보고자 했다.

For the first measure, participants’ prior perfor- mance in biomedical science was measured as the weighted average score on three examinations administered at the end of each interdisciplinary biomedical science block in the first semester. In view of the likelihood that most medical students would have the same SRL processes, we included two extremes of previous examination performance in order to capture significant associations between more SRL measures and biomedical science performance.26

두 번째, 학습과제에 대해서 MCQ 응답 결과를 사용

For the learning task performance test measure, to assess performance in the biomedical science learning task, participants were required to answer an MCQ regarding the underlying mechanism of presentations of chorea disease at the end of the basal ganglia passage.

통계분석
Statistical analysis

결과

RESULTS

Table 1 presents a summary of descriptive results for the SRL microanalytic measures during the learning task for all participants and by study group.

Regression analyses

Table 2 displays a summary of the logistic regression results for the associations of SRL measures with previous biomedical science performance

Table 3 provides a summary of logistic regression results for the associations of SRL measures with being a high task performer during the learning task.

고찰
DISCUSSION

비록 SRL이 전체 의학교육과정에 필수적이긴 하지만 우리가 아는 한 이것이 SRL microanalytic 접근법으로 의과학 학습에서의 SRL프로세스를 탐구한 첫 번째이다.

To our best knowledge, this is the first study to use an SRL microanalytic approach to explore SRL pro- cesses during biomedical science learning, although SRL represents an essential skill for scientific think- ing throughout the entire medical education and practice experience.27

자기효능감 신념이 높고 메타인지 모니터링과 인과관계 귀인에서 과제-특이적 프로세스가 높을수록 기존 의과학 performance가 높았다. 학습과제 진행중에는 univariate analysis에서는 인과관계 귀인과 적응적 추론이 관계가 있었으나 multiple analysis에서는 인과관계 귀인만 관련되었다.

We identified that higher self-efficacy beliefs and a task-specific process (versus a task-general process) for metacognitive monitoring and causal attribu- tions measures were associated with previous biomedical science performance in both univariate and multiple analyses. We also identified that causal attributions and adaptive inferences were associated with learning task performance in univariate analysis and also that only causal attributions was associated with learning task performance in multiple analysis.

DiBenedetto and Zimmerman는 과거 과학과목 성취수준의 차이가 있는 학생에서 SRL microanalytic 프로토콜이 세 개의 자기조절학습 단계에 걸쳐서 차이를 보여줄 수 있다고 주장하였다. 그러나 이들은 일부 forethought measure (목표설정, 자기효능감, 기대성과)에서 차이를 찾지 못했다.

DiBenedetto and Zimmerman5 reported that an SRL microanalytic protocol can detect differences in self-regulatory processes throughout the three phases of the cycli- cal model of SRL among participants at different levels of prior science achievement. However, they did not find differences in some forethought mea- sures, including goal setting, self-efficacy and out- come expectation.5

저자들은 메타인지 모니터링과 자기성찰 프로세스가 가장 강력한 과거 과학과목 성취라고 지적했으며, 여기에는 strategic planning and strategy use가 포함된다. 그러나 이런 기존 연구와 달리 우리는 strategic planning과의 관곌르 찾지 못했다.

authors also noted that metacognitive monitoring and self-reflection processes were the strongest pre- dictors of students’ prior science performance in comparison with the other SRL measures, including strategic planning and strategy use.22 By contrast with these earlier findings, we did not discover any associations between strategic planning and previous performance.

주어진 학습과제 수행능력에 있어서, 우리는 self-reflection의 subprocess (인과관계 귀인, 적응적 추론)이 유일하게 예측력이 있음을 보여주었다. 이런 결과는 학생이 자신의 수행능력에 대한 귀인을 어떻게 하는지가 중요함을 보여주며, 의과대학 초반의 remediation에서 attribution-based training을 필수적 요소로 포함시켜야 함을 보여준다. Attribution-based training은 학습자들이 자신의 학습에 대해서 통제불가능하다고 믿었던 것을 다시 생각해보고, 적절한 학습전략을 사용함으로써 향상될 수 있다는 방식의 통제가능하다는 생각으로 바꾸게 하는 것이다.

In terms of biomedical science learning task per- formance, we unexpectedly found that the self- reflection sub-processes (causal attributions and adaptive inferences) were the only predictive mea- sures. These results underscore the importance of medical students’ attributions for their biomedical science performance and the need to include attri- bution-based training as an integral component of remediation interventions in the early years of medical school. Attribution-based training chal- lenges learners to reconsider the uncontrollable beliefs they hold about their learning performance and exchange these for controllable beliefs that their performance can be improved by using appropriate learning strategies.28

과학 학습과 관련된 기존 문헌은 SRL측정을 밝히는데 개념/지식 시험은 차이가 없음을 보여주었다. 참여자들의 친숙도 혹은 lack of challenge가 이것을 설명해줄수도 있다.

Previous research in science learning has also revealed no differences between conceptual and knowledge tests in terms of uncovering SRL measures associations.21 The participants’ familiarity with and lack of challenge in the learning task may also represent possible explanations.

함의

Implications for practice and future research

과제-특이적 SRL microanalytic measures 는 높은 평가자간 신뢰도를 보여주었다.

The task-customised SRL microanalytic measures showed high levels of inter-rater reliability and pro- vided fine-grained results for the SRL processes as learners engaged in a biomedical science learning task.

SRL 프로세스를 밝히는 것의 장점은 교육자들이 SRL프로세스에 대해 피드백을 줄 수 있게 하는데, 이는 효과적인 피드백과 수행능력 향상에 필수적이다. K-12 대상의 기존 연구에서는 과학과목에서 낙제한 경험이 있는 학생에서 시험 퍼포먼스와 SRL프로세스 모두에 상당한 향상이 있었고, 특히 self-reflection sub-process에 향상이 있었다. 의과대학에서도 적용할 수 있을 것.

The main advantage of identifying SRL processes is to offer educators a framework31 for pro- viding feedback on SRL processes, which is essential for effective feedback and for improving perfor- mance.32,33 Previous research using a model of indi- vidualised feedback and training based on SRL microanalysis in the K–12 (kindergarten to 12th grade) context observed marked improvement in both test performance and SRL processes,6 particu- larly in self-reflection sub-processes,34 in students with previous science learning failure. The use of sim- ilar personalised remediation approaches that focus on SRL processes also has potential application in the academic context of medical school, including in peer mentoring programmes.35

개별화된 접근법에 더하여, 이번 연구는 의과대학 초반의 remediation을 attribution-based training 과 metacognitive interventions 중심으로 개편해야 함을 보여준다. 이 훈련 프로그램에서는 학습자가 자신의 성공과 실패에 대하여 생각하는 방식을 재구조화하여 학습자의 동기부여, 학습전략과 성취를 강화한다. 또한 학습자들에게 메타인지 스킬을 적용하게끔 독려한다. 교육자들은 학생의, 동료의, 혹은 자기 자신의 바람직한 귀인성향의 예시를 들어줌으로써 '통제가능한 귀인'에 대해서 말해줄 수 있다. 또한 biomedical science에서 과제-특이적 학습 프로세스를 모델링하여 학생의 메타인지 모니터링과 자기효능감을 강화시켜줄 수도 있다.

In addition to personalised approaches, the present findings have implications for directing the content of formal remediation interventions in the early years of medical school towards attribution-based training and metacognitive interventions. These training programmes are designed to enhance lear- ner motivation, learning strategies and achievement by restructuring how learners think about their suc- cesses and failures,28 as well as by encouraging them to apply metacognitive skills.36 Biomedical science educators may also use the results of this investiga- tion to infuse their routine teaching activities. They may communicate controllable attributions during a teaching event by exemplifying students’, peers’ or their own desirable attributions.37 They may also enhance students’ metacognitive monitoring and self-efficacy by modelling the use of task-specific pro- cesses for the learning of biomedical science con- cepts during teaching episodes.38

Strengths and limitations

CONCLUSIONS

1 Hauer KE, Ciccone A, Henzel TR, Katsufrakis P, Miller SH, Norcross WA, Papadakis MA, Irby DM. Remediation of the deficiencies of physicians across the continuum from medical school to practice: a thematic review of the literature. Acad Med 2009;84 (12):1822–32.

23 Kulasegaram KM, Martimianakis MA, Mylopoulos M, Whitehead CR, Woods NN. Cognition before curriculum: rethinking the integration of basic science and clinical learning. Acad (10):1578–85.

Appendix S1. Self-Regulated Learning (SRL) Micro- analytic Protocol (Bioscience learning task).

2016 Oct;50(10):1065-74. doi: 10.1111/medu.12975.

Self-regulated learning processes of medical students during an academic learning task.

Gandomkar R1, Mirzazadeh A2,3, Jalili M1,4, Yazdani K5, Fata L6, Sandars J7.

Author information

1Department of Medical Education, School of Medicine, Tehran University of Medical Sciences, Tehran, Iran.
2Department of Medical Education, School of Medicine, Tehran University of Medical Sciences, Tehran, Iran. mirzazad@tums.ac.ir.
3Department of Internal Medicine, School of Medicine, Tehran University of Medical Sciences, Tehran, Iran. mirzazad@tums.ac.ir.
4Department of Emergency Medicine, School of Medicine, Tehran University of Medical Sciences, Tehran, Iran.
5Department of Epidemiology and Biostatistics, School of Public Health, Tehran University of Medical Sciences, Tehran, Iran.
6Department of Medical Education, School of Medicine, Iran University of Medical Sciences, Tehran, Iran.
7Academic Unit of Medical Education, School of Medicine, University of Sheffield, Sheffield, UK.

Abstract

OBJECTIVES:

This study was designed to identify the self-regulated learning (SRL) processes of medical students during a biomedical science learning task and to examine the associations of the SRL processes with previous performance in biomedical science examinations and subsequent performance on a learning task.

METHODS:

A sample of 76 Year 1 medical students were recruited based on their performance in biomedical science examinations and stratified into previous high and low performers. Participants were asked to complete a biomedical science learning task. Participants' SRL processes were assessed before (self-efficacy, goal setting and strategic planning), during (metacognitive monitoring) and after (causal attributions and adaptive inferences) their completion of the task using an SRL microanalytic interview. Descriptive statistics were used to analyse the means and frequencies of SRL processes. Univariate and multiple logistic regression analyses were conducted to examine the associations of SRL processes with previous examination performance and the learning taskperformance.

RESULTS:

Most participants (from 88.2% to 43.4%) reported task-specific processes for SRL measures. Students who exhibited higher self-efficacy (odds ratio [OR] 1.44, 95% confidence interval [CI] 1.09-1.90) and reported task-specific processes for metacognitive monitoring (OR 6.61, 95% CI 1.68-25.93) and causal attributions (OR 6.75, 95% CI 2.05-22.25) measures were more likely to be high previous performers. Multiple analysis revealed that similar SRL measures were associated with previous performance. The use of task-specific processes for causal attributions (OR 23.00, 95% CI 4.57-115.76) and adaptive inferences (OR 27.00, 95% CI 3.39-214.95) measures were associated with being a high learning task performer. In multiple analysis, only the causal attributions measure was associated with high learning task performance.

CONCLUSIONS:

Self-efficacy, metacognitive monitoring and causal attributions measures were associated positively with previous performance. Causal attributions and adaptive inferences measures were associated positively with learning task performance. These findings may inform remediation interventions in the early years of medical school training.

PMID:: 27628723
DOI:: 10.1111/medu.12975

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 자기주도학습, 자기평가' 카테고리의 다른 글

유급 위험에 있는 의과대학생들을 찾아내기 위한 도구 개발: 후향적 탐색적 사례 연구(BMC Med Educ, 2011) (0)	2017.11.23
Informed 자기평가의 과정과 차원: 개념 모델(Acad Med, 2010) (0)	2017.11.17
위험군 의과대학생을 대상으로 한 의무 인지기술 프로그램의 설계와 효과성(Med Teach, 2010) [출력완료] (0)	2016.04.08
자기조절학습 이론을 활용하여 Struggler 학생의 신념/감정/행동 이해하기(Acad Med, 2011) (0)	2016.04.01
임상술기 연습에 관한 자기조절 프로세스 평가: 파일럿 연구(Med Teach, 2011) (0)	2016.04.01

의과대학생들 사이에서의 Peer Nomination(동료지명) 예측: 사회적 네트워크 접근법 (Acad Med, 2016)

Meded. 2016. 11. 8. 09:30

2016. 11. 8. 09:30

의과대학생들 사이에서의 Peer Nomination(동료지명) 예측: 사회적 네트워크 접근법 (Acad Med, 2016)

Predicting Peer Nominations Among Medical Students: A Social Network Approach

Barret Michalec, PhD, Douglas Grbic, PhD, J. Jon Veloski, MS, Monica M. Cuddy, MA, and Frederic W. Hafferty, PhD

동료지명은 의학교육 프로세스에서 학생의 임상역량/공감/연민/휴머니즘/프로페셔널리즘 등등 여러 긍정적 특성을 평가하기 위해 자주 사용되는 도구이다. 이러한 흔한 사용이 방법의 유용성을 보여준다. 예컨대 Pohl은 최소한 한 명 이상의 동료로부터 임상 혹은 인문의학적으로 뛰어나다고 평가받은 의과대학생들은 (그렇지 않은 학생에 비해서) 교수에 의해서도 임상역량을 인정받아으며, 공감점수도 더 높았다. 비슷하게 Dannefer, McMormack, Arnold 등도 동료평가의 응답이 내적일관성과 평가자간 신뢰도를 모두 갖추었다고 말했다.

Peer evaluation is a method frequently used within medical education to assess students’ clinical competence, empathy, compassion, humanism, professionalism, and other positive attributes and abilities. The frequent use reflects the method’s utility; for example, Pohl et al1 found that medical students who had been nominated by at least one of their peers as “the best” in areas of clinical and humanistic excellence were rated significantly higher in clinical competence by faculty and reported higher empathy scores compared with those students who received no nominations from peers. Similarly, work by Dannefer et al,2 McCormack et al,3 and Arnold et al4 (among others) shows that students’ responses to peer assessment scales display strong internal consistency and interrater reliability.

동료평가의 한 방식이 동료지명이다. 이는 "각 그룹원이 스스로 특정 퍼포먼스나 역량이 뛰어나다고 생각하는 다른 그룹원을 일정 수로 지명하는 방식"이다. 기본적 전제는 동료가 서로의 능력과 행동에 대한 unique observer이므로 시험/교수의 평가/자기보고 척도를 넘어서는 가치있는 정보를 줄 수 있다는 것이다.

One facet of peer evaluation is peer nomination, with “each group member naming a certain number of group members as the best along a particular performance dimension or quality.”5 The basic premise underlying this method is that peers serve as unique observers of each other’s abilities and actions and therefore offer valuable information beyond that ascertained by exams, faculty evaluation, and self-report measures.5–7

연구의 목적은

We undertook this study to explore

(1) what factors predict the likelihood of a student nominating another student; and
(2) what clusters, if any, occur among peer nominations.

의과대학 내에서, 다른 여러 social institution과 마찬가지로, 개개인들은 자신과 비슷한 집단과 associate하려는 경향이 있고, 이는 사회네트워크 문헌에서는 "homophily"라고 부른다. "유유상종“birds of a feather flock together.”"과 비슷한 의미기도 하다. 이러한 관점에서, 공통적 관심/경험/관점을 공유하는 개인들이 서로서로 더 connect하려고 하며, 이에 따라 상호작용의 기회도 많아지고, 서로 강력한 사회적 유대 significant social ties를 만든다.

Within medical school, much like in any social institution, individuals tend to associate and bond with others who are similar to them, a phenomenon referred to in the social network literature as homophily—something akin to the classic adage “birds of a feather flock together.”8 From this viewpoint, individuals who share common interests, experiences, and perspectives may be more likely to seek out and connect with one another, thereby increasing their opportunities to interact and, in turn, cultivate significant social ties with one another.

따라서, homophily의 원칙에 따라, 우리는 특정 인구통계학적 특성을 공유하는 학생 혹은 비슷한 학교-단위 특성(성적, 교과목 이수, 전공선택)을 공유하는 학생들이 같은 social network 안에 있을 것이라고 가정하였다.

Therefore, and following the homophily principle, we would assume that students who share certain demographic characteristics (such as gender, race, or age) or particular school-based characteristics (such as similar class rank, accelerated program status, or specialty choice) are likely to be nested within the same social network.

방법

Method

세팅

Study setting

The Sydney Kimmel Medical College at Thomas Jefferson University is a large private medical school located in an urban setting. We conducted this study in 2013 as part of the graduation survey administered as part of the Jefferson Longitudinal Study of Medical Education.10

측정, 과정

Measurements and procedure

"당신의 전문직적&개인적 발달에 유의한 긍정적 영향을 준 동료는 누구입니까?" 이 질문은 Arnold and Stern의 동료지명에 관한 질문표본을 기반으로 만들었다.

Students were asked to think back to their medical school experiences to answer the question, “Which of your classmates had significant positive influences on your professional and personal development?” This question is representative of questions that elicit peer nominations in that, following Arnold and Stern,5 “nominations consist of each group member naming a certain number of group members as the best along a particular performance dimension or quality.”

표본

Sample

Using independent t tests and chi-square analyses, we found that these respondents were representative of the class with respect to age (P < .60), gender (P < .58), race/ ethnicity (P < .67),* membership in the accelerated program (P < .37), and specialty choice (P < .35). However, their mean scores on Step 1 (mean = 230)and Step 2 Clinical Knowledge (CK; mean = 241) of the United States Medical Licensing Examination were significantly higher (P < .001) than those of the nonrespondents’ means on Step 1 (mean = 218) and Step 2 CK (mean = 234). N

분석 전략

Analytical strategy

네트워크 밀도와 상호성을 측정함.

At the descriptive level, we first examined network density, which is simply the proportion of all possible ties in the network that are, in fact, present. We also measured the extent of reciprocity—that is, of all pairs of students that have any tie, what percentage of these pairs have reciprocated ties, whereby student i nominates student j and vice versa.

If the nominations occur at random, then reciprocity would equal network density.
If reciprocity is greater than network density, then the network of nominations are likely conditioned by dependencies, such as common group membership, between pairs of students.

Relational contingency table (RCT) analysis 를 활용하여 within group와 between group의 density of ties의 차이를 분석함. 만약 "sameness"가 동료지명을 예측한다면, 이는 tie가 '집단 내'에서 더 발생할 가능성이 높음을 말한다. 따라서 RCT란 무작위로 지명했을 때에 비해서 집단-내 밀도와 집단-간 밀도의 차이가 어떻게 다른지를 보는 것이다.

We then employed relational contingency table (RCT) analysis to examine the differences in the density of ties (positive nominations) within groups versus between groups. (By “groups” we are referring to students within the same variable set—e.g., same age group, same gender, or same specialty choice.) If “sameness” predicts the presence of positive nominations, then ties will be more likely to occur within than between groups. RCT analysis therefore provides a global test of whether the within- and between-group densities differ from what we would expect if the nominations observed were randomly distributed across pairs of students (random distribution would mean that belonging to a particular group had no influence on whom one nominated).

결과

Results

학생 당 피지명된 숫자는 2~75였으며 중간값은 30이었다. 총 190명의 학생이 지명되었고, 최소 2명에서 최대 52명의 학생에게 지명을 받았다. 평균적으로 학생은 32명의 동료를 지명하였다. 네트워크의 밀도에서 dyadic connection은 0.151수준이며, 즉 모든 가능한 지명의 15.1%이 실제로 네트워크상에 존재했다. 상호성을 보면 25.3%에서 상호지명하였다. 즉 reciprocity가 density보다 높다.

The number of designations (i.e., nominations received) per student ranged from 2 to 75 with a median of 30. A total of 190 students (90%) were designated as being a positive influence by between 2 and 52 classmates. On average, students nominated 32 other students (31.7 students to be exact, with a standard deviation of 32.3). Examining the density of network of positive designations shows that the degree of dyadic connection is 0.151, or 15.1%. That is, 15.1% of all possible nominations are present within the network. An examination of reciprocated ties shows that 25.3% of all pairs of students with a tie reciprocated positive nominations. Thus, reciprocated ties occurred more often than they would have by chance, since reciprocity (0.253) is greater than density (0.151).

Table 1 provides results for the global tests of homophily. Results show a deviation of observed nominations from randomness for accelerated program (x2 = 243.97, P < .02) and specialty choice (x2 = 746.22, P < .02)

Table 2 shows the ratio of observed to expected nominations, derived from the RCT analysis, for the accelerated program versus nonaccelerated program groups, and for each specialty area choice group.

Table 3 shows the results from a test of whether patterns of within- and between-group ties differ across groups. For specialty choice, the probability of any one student nominating another student with a different specialty choice—that is, the probability of between-group ties—is 0.145, or 14.5%.

산부인과와 안과 학생들이 특히 집단-내 지명이 높았다. Accelerated program학생을 고려하면, 집단-간 지명의 가능성은 10.9%였다.

Ob/gyn and ophthalmology students had particularly high within-group nominations. Regarding the accelerated program students, the probability of between- group nominations is 0.109, or 10.9%.

Discussion

비록 동료지명이 성별/연령/석차를 중심으로 모이지는cluster 않았으나, accelerated six-year program에 있는 ㄱㅇ우나 특정 전공과목에 들어간 경우 서로를 더 긍정적 영향을 주는 사람으로 선택하였다.

Although peer nominations did not cluster around gender, age, or class rank, those students within an accelerated six-year program, as well as those entering certain specialties, were more likely to nominate each other as a positive influence on their professional and personal development.

accelerated six-year program에 있는 학생이 서로를 더 선택하였는데, 의학교육이 일반적으로 정서적이나 심리적 긴장과 고난을 겪는 시기라고 본다면, accelerated six-year program이 이러한 스트레스를 더 악화시키거나 더 큰 영향을 주게 만들었다고 주장할 수도 있다. 비유적으로 본다면, 전통적 교육이 오븐이라면, accelerated program 은 전자레인지이다.

We found that students within the six-year accelerated program were more likely to nominate each other than students not in the accelerated program. Although medical education in general is considered to be rife with emotional and psychological tension and hardships,13–15 it could be argued that an accelerated program may actually exacerbate and/ or accentuate the impact of those stressors, given the program’s more condensed structure. Put metaphorically, whereas a traditional medical education program could be considered an oven, an accelerated program might be considered a microwave.

Michalec and Keyes는 1학년 학생(accelerated six-year program에 있지 않은)이 학교 처음부터 끝까지 정서적 well being이 낮아지고, social well being은 높아진다. 저자들은 1학년이 집단적으로 스트레스와 긴장을 겪기 때문에, 서 서로서로를 더 편안하고 지지적으로 느끼고, 따라서 사회적 connectedness를 강화시킨다고 주장하였다. 같은 현상이 (비록 더 두드러지게 나타나지만) accelerated program에서 있을 수도 있다.

Michalec and Keyes16 found that although first-year medical students (of a nonaccelerated program) decreased in emotional well-being from the beginning to the end of the school year, they actually increased in their social well-being. The authors posit that the first- year students experienced stressors and strains together as a group (not just as individuals) and thus found comfort and support among one another, thereby fortifying their social connectedness. It is quite possible that this same phenomenon—but at an even more pronounced level—occurred among the students in the accelerated program.

우리는 또한 학생들이 같은 전공과목 계획을 가지고 있을 때 서로를 더 많이 지명하는 것을 보았다. 특정 전공과목에서 임상 일렉티브를 하는 것이 사회적 유대감social connection을 강화하는 '기회구조'가 되는 것이다. classic social theorist인 Robert Merton,에 따르면 “Opportunity structure designates the scale and distribution of conditions that provide various probabilities for individuals and groups to achieve specific outcomes.” 이다. 유사하게 Macintyre 등도 기회구조를 "사회적 상호작용과 관계를 촉진할 수 있는 물리적/사회적 환경에서의 사회적으로 패턴화된 특징"이라 하였다.

We also found that students were more likely to nominate peers with similar specialty plans as a positive influence on their personal and professional development than to nominate students in other fields. because the clerkship electives associated with given specialty areas serve as opportunity structures to cultivate and strengthen social connections. As noted by the classic social theorist Robert Merton,17 “Opportunity structure designates the scale and distribution of conditions that provide various probabilities for individuals and groups to achieve specific outcomes.” Similarly, Macintyre et al18,19 define opportunity structures as socially patterned features nested within the physical and social environment that can facilitate social interactions and social relations.

accelerated program처럼 어떤 임상실습은 interconnectedness를 강화시켜주었는데, 그 이유는 그런 임상실습은 정서적으로 강렬한 경험이나 상호작용을 주기 때문이다(출산 등). 이들의 공통적 경험이 학생 간 유대를 강화시켜주었을 수 있다.

Much like the accelerated program, certain clerkships (e.g., ob/gyn or surgery) may intensify a sense of interconnectedness among students because such clerkships are riddled with emotionally intense and evocative experiences and interactions (e.g., participating in delivering a baby). These shared encounters may strengthen bonds between individuals, with such heightened emotionality positively influencing their social cohesion.

homophily 원칙으로 돌아와서, 유사한 흥미나 성격을 가진 학생이 비슷한 과목에 이끌리게 되고, 서로를 더 잘 찾아내는 경향이 있고, 더 자주 상호작용한다. 이러한 이유로 전공과목이란 비슷한 성향을 가진 사람을 모으는 봉화beacon이나 자석이 되는 것이다. 우리는 전공과목 선택이 사횢거 연결을 강화시켜주는 강력한 힘이며, 임상실습 그 자체가 이러한 목적을 달성할 수 있게 기회구조를 제공한다고 해석한다. 그럼에도 불구하고 학생 간 유사성이나 공통의 관심이 근본적인 메커니즘일 수 있다.

Returning to the homophily principle, it is also possible that students of similar interests and/or personalities are drawn to similar specialties,20–23 and that students of similar interests and/or personalities tend to find each other and interact more frequently. As such, specialties may serve as a beacon or magnet for like-minded individuals. We interpret our findings to suggest that specialty choice is a strong force in fostering social connections, and that clerkships themselves serve as opportunity structures to this end. Nonetheless, shared interest and likemindedness among students (that drive them to the same specialty) may be a primary causal mechanism.

사회적 네트워크는 공통의 규범/정체성/집단적 행동을 길러주고 강화시킨다. 한 연구에서 병원의 특정 과가 그 과의 고유한 문화를 보호하고 유지하고자 하며, 그러한 고립된 문화siloed culture가 과간 협진interdepartmental care delivery에 영향을 줌을 밝힌 바 있다. 우리의 연구에서 이런 과-기반의 공유된 규범/정체성/문화가 이미 의과대학4학년때 나타남을 보여준다.

Social networks nurture and encourage shared norms, identity, and collective behavior.24 Previous research has shown that specific departments within care delivery institutions (e.g., hospitals) maintain and protect their own departmental cultures (which include language, norms, and care delivery tactics) and that such siloed cultures have an impact on interdepartmental care delivery.25 Findings from our study suggest that these department-based shared norms, identity, and general cultures could manifest themselves as early as the fourth year of medical school.

기회구조와 이번 연구를 함께 생각하면, 동료지명은 상호작용의 양과 강도에 영향을 받는다.

These findings, and the accompanying discussion of opportunity structures, suggest that peers’ selections of others may be influenced by the amount and intensity (i.e., positive contact) of interactions among and between them.

Acad Med. 2016 Jun;91(6):847-52. doi: 10.1097/ACM.0000000000001079.

Predicting Peer Nominations Among Medical Students: A Social Network Approach.

Michalec B1, Grbic D, Veloski JJ, Cuddy MM, Hafferty FW.

Author information

1B. Michalec is associate professor, Department of Sociology, and assistant director of health research, Center for Drug & Health Studies, University of Delaware, Newark, Delaware. D. Grbic is lead research specialist, Policy Research Studies, Research and Data Programs, Association of American Medical Colleges, Washington, DC. J.J. Veloski is director of medical education research and instructor in psychiatry and human behavior, Sidney Kimmel Medical College, Thomas Jefferson University, Philadelphia, Pennsylvania. M.M. Cuddy is measurement scientist, National Board of Medical Examiners, Philadelphia, Pennsylvania. F.W. Hafferty is professor of medical education, Division of General Internal Medicine, Program in Professionalism and Values, Mayo Clinic, Rochester, Minnesota.

Abstract

PURPOSE:

Minimal attention has been paid to what factors may predict peer nomination or how peer nominations might exhibit a clustering effect. Focusing on the homophily principle that "birds of a feather flock together," and using a social network analysis approach, the authors investigated how certain student- and/or school-based factors might predict the likelihood of peer nomination, and the clusters, if any, that occur among those nominations.

METHOD:

In 2013, the Jefferson Longitudinal Study of Medical Education included a special instrument to evaluate peer nominations. A total of 211 (81%) of 260 graduating medical students from the Sidney Kimmel Medical College responded to the peer nomination question. Data were analyzed using a relational contingency table and an ANOVA density model.

RESULTS:

Although peer nominations did not cluster around gender, age, or class rank, those students within an accelerated program, as well as those entering certain specialties, were more likely to nominate each other. The authors suggest that clerkships in certain specialties, as well as the accelerated program, may provide structured opportunities for students to connect and integrate, and that these opportunities may have an impact on peer nomination. The findings suggest that social network analysis is a useful approach to examine various aspects of peer nomination processes.

CONCLUSIONS:

The authors discuss implications regarding harnessing social cohesion within clinical clerkships, the possible development of siloed departmental identity and in-group favoritism, and future research possibilities.

PMID:: 26826072
DOI:: 10.1097/ACM.0000000000001079

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > ⓧ전문직업성(From Misc.)' 카테고리의 다른 글

학생의 개인적, 전문직업적 성장: PPD의 새 프레임워크(Med Educ, 2003) [출력완료] (1)	2017.02.18
의과대학에서 공감을 유지하기: 가능하다 (Med Teach, 2013) [출력완료] (0)	2016.04.15
성격 검사와 의학교육 및 의료행위 관련 성과(AMEE Guide No.79) (0)	2016.04.07
보건의료인 교육에서 성찰과 성찰적 실천: systematic review (Adv in Health Sci Educ, 2009) (0)	2016.03.07
의과대학생 중 잠재적 관계-지향적 리더 찾아내기: 동료에 대한 긍정적 영향의 역할(Med Teach, 2015) (0)	2016.02.11

임상과학자프로그램 평가 - 커크패트릭을 넘어서. "효과가 있었나"와 "어떻게 효과가 생겼나" (Acad Med, 2011)

Meded. 2016. 11. 8. 09:17

2016. 11. 8. 09:17

임상과학자프로그램 평가 - 커크패트릭을 넘어서. "효과가 있었나"와 "어떻게 효과가 생겼나" (Acad Med, 2011)

Going Beyond Kirkpatrick in Evaluating a Clinician Scientist Program: It’s Not “If It Works” but “How It Works”

Kathryn Parker, PhD, Gwen Burrows, MA, Heather Nash, and Norman D. Rosenblum, MD

의학교육계에서 (프로그램평가는) 흔히 프로세스보다는 Outcome을 강조한다.

In medical education, commonly used models and approaches emphasize the outcomes rather than the processes that lead to outcomes.1

여러 근거를 보면, well-constructed한 프로그램이라도 고등 수준의 행동변화를 얻어내는데 실패하는 경우가 많으며 이는 심지어 sophisticated learner에 대해서도 마찬가지다.

Evidence suggests that programs—including well-constructed ones—fail to demonstrate outcomes at the higher levels of behavioral change, even in sophisticated learners.7–11

Outcome-focused 모델은 프로그램의 이해관계자들에게 프로그램의 rationale, goal, 의도한 목표에 대한 정보 뿐만 아니라 그러한 성과를 내기 위한 input와 process에 대한 정보도 제공한다. 그러나 이러한 모델은 "프로그램 이론"에 대한 통찰은 거의 주지 못한다. 또한 의도하지 않은 성과를 잡아내지도 못한다. 따라서 성과-지향적 모델은 high-level의 프로그램 성과를 가능하게 했거나 불가능하게 만들어준 기저에 깔린 메커니즘을 이해하는데 거의 통찰을 주지 못한다.

Outcomes-focused models may provide program stakeholders with a common knowledge of the program’s rationale, goal, and intended outcomes—as well as the inputs and processes required to arrive at those outcomes. Yet, these models provide little insight into a program’s “theory”—that is, the processes by which it yields desired outputs and outcomes—and they do not capture unintended outcomes.12–14 Accordingly, outcome-focused models provide little insight into the underlying mechanisms that hinder or enable the achievement of higher-level program outcomes.

우리는 emergent and unintended outcome을 평가하는 것이 어떻게 교육프로그램을 usual, outcome-based method를 넘어서는 성과를 주는지를 평가해보고자 했다.

We investigated how evaluating emergent and unintended outcomes can informan educational program in ways that extend beyond the results of usual, outcome- based methods.

프로그램

The Program

CCHCSP : 의사과학자 양성 프로그램

The overarching objective of the CCHCSP is to educate a new generation of clinician scientists in child and youth health within an interdisciplinary model.

17개의 AHC

The CCHCSP is a partnership among 17 Canadian child-and-youth-health- focused academic health centers (AHCs).

주요 커리큘럼

CCHCSP trainees engage in a curriculum which consists of four major components:

Web- based learning modules,
interdisciplinary mini-symposia,
an annual national symposium, and
international meetings.

온라인 학습모듈(5개)

The five online learning modules focus on the following subject areas or content:

(1) research ethics and conflicts of interest,
(2) research design and clinical research practice,
(3) managing one’s career as a clinician scientist,
(4) oral and written communication, and
(5) knowledge translation.

미니심포지엄

The CCHCSP uses research exercises at mini-symposia as key elements for learning. A typical symposium focuses on a specific theme (e.g., “collaborating in research groups”) and consists of a series of keynote lectures, working seminars that address the theme, and small-group sessions that focus on pivotal questions, which again relate to the theme.

연례 심포지움

The annual national symposium, which takes place in a different Canadian city each year, also features workshops, but these focus on specific skill sets relevant to the emerging clinician scientist.

방법

Method

로직-모델 기반 평가

Logic-model-based evaluation of the CCHCSP

Soon after its creation, the CCHCSP developed an evaluation framework using a program logic model. This logic model (Chart 1) was created to serve as a communication tool for the program, to inform program development, and to serve the evaluation needs of program developers and funders.

정량적 평가

Quantitative assessment

Tools developed through the program’s logic model track whether graduates were sufficiently exposed to and engaged in the programto learn and develop transdisciplinary research skills. We examined participation rates in all program components.

정성적 평가

Qualitative assessment

평가위원회의 위원장

To further explore the achievement of goals, one of us, the evaluation committee chair of the CCHCSP (G.B.), conducted confidential, one-on-one, face-to-face exit interviews, each lasting about 30 minutes, with all program graduates, as well as with trainees who did not complete the program(see Appendix 1 for the exit interview questions). The interviewer (G.B.) summarized the resulting data using grounded theory methodology,16 and then we grouped and analyzed recurring themes.

결과

Results

샘플, 참여, 만족도

The sample, participation, and satisfaction

From 2003 to 2009, the program graduated 21 trainees, each of whom received training in one of seven different clinical disciplines: medicine (11 graduates), nursing (2), physical therapy (1), psychology (1), occupational therapy (2), speech language pathology (3), and dentistry (1).

다수가 네 개의 프로그램 요소에 참여

A large number of graduates engaged in each of the four program components (Table 1).

만족도는 높음.

Graduate satisfaction with the mini- symposia, as well as with the seven national symposia held between 2003 and 2009, was high. The average overall rating by all participants (including graduates) was 4.33 out of 5; the range was from a low of 4.2 in 2004 to a high of 4.5 in 2006.

프로그램 성과

Program outputs and outcomes

생산성

Productivity.

연구논문 출판, 초청발표, 펀딩

The number of peer-reviewed publications they produced, the number of invited presentations they gave, and the amount of funding they garnered (Table 2)

학제간 연구와 커리어

Interdisciplinary research and careers.

학제간 연구에 참여하였음.

Graduates’ research projects indicated that they engaged in interdisciplinary research as established investigators (a program outcome articulated in the logic model); the mean number of disciplines their research represented was 3.2, and the rangewas 2 to 8.

질적 탐구

Qualitative inquiry

학제간 연구에 대해 노출된 것이 중요한 프로그램 성과 중 하나였다. 더 나아가서 졸업생들은 CCHCSP가 연구 프로세스와 시스템에 대한 시야를 넓혀주었으며, 전문직 네트워크과 서포트 시스템을 늘려주었다고 하였음.

Table 3 provides a summary of the themes that emerged from the interviews regarding progra mgraduates’ experiences with and perceptions of the CCHCSP. We found that the ability of the CCHCSP to expose graduates to interdisciplinary research was a critical program outcome. Furthermore, graduates indicated that the CCHCSP broadened their perspectives about research processes and systems and increased their professional networks and support systems.

의도하지 않은 성과와 추가 탐구

Unintended program outcome and further inquiry

21명의 졸업생 중 14명이 프로그램이 자신들의 커리어를 준비할 수 있게 도와주는데 도움이 되었던 것으로 의사과학자의 역할을 이해하고 명확하게 해준 것을 꼽았다. 이는 의사과학자로서 자신을 이해하는데 기여하였다. 일부 졸업생들은 이러한 성과를 전문직 정체성 변화로 연결시켰다Professional identity alteration.

Fourteen of the 21 graduates (67%) said that one of the most important ways the program prepared them for their careers was to provide understanding and clarity about the clinician scientist role, which in turn contributed to their understanding of themselves as clinician scientists. Some graduates linked this outcome explicitly to professional identity alteration (Table 3, bottom row).

그러나, 면담에서의 정보는 값어치있는 것이긴 했지만 어떻게 프로그램이 의사과학자로서 self-identification을 향상시켰는지에 대해선 충분히 설명해주지 못한다.

However, information from the interviews, although invaluable, was insufficient to explain how the program worked to effect enhanced self- identification as a clinician scientist.

앞서 언급한 것처럼, 우리는 문헌조사를 함.

As mentioned above, we conducted a search of the literature to find further information about professional identity.

그러나 우리는 기존 문헌에서 정립된 정체성이 있는 전문직이 새로운 정체성을 얻는지에 대한 이론을 찾지 못했다.

However, we could not find any theory in the published health care literature on how professionals with an established identity acquire a new one—that is, how practicing clinicians may come to see themselves as clinician scientists.

Ibarra의 임시적-자기 이론

Ibarra’s theory on provisional selves

Herminia Ibarra의 임시적-자기 이론은 전문직은 "(아직 완전히 형성되지 않은 전문적 정체성인)임시적 자기"를 가지고 pseudo-trial- and-error process (유사 시도-실패 과정)을 거치며 새로운 정체성을 얻게 된다. 임시적 자기는 전문직이 새로운 역할을 가지게 되면서 constructed, rehearsed, and refined 되는 전문직 정체성이다. 임시적-자기는 다음의 시기에서 '임시적-자기'가 형성constructed 된다고 말했다.

Herminia Ibarra’s28 theory on provisional selves proposes that professionals adopt new identities through a pseudo-trial- and-error process of experimenting with “provisional selves” that are possible, yet not fully formed, professional identities. Provisional selves are new professional identities that are constructed, rehearsed, and refined as a professional takes on a new role. This provisional self is constructed during

“times of career change or transition, as people identify role models, experiment with unfamiliar behaviors, and evaluate their progress.”28

Ibarra는 전문직은 새로운 역할을 받아들이는 경우 세 개의 단순한 task에 참여하게 된다고 주장했다.

Ibarra asserts that professionals will engage in three simple tasks in the adaptation of new roles:

(1) 새로운 정체성을 찾기 위한 롤모델 관찰 observing role models to identify possible identities,
(2) 임시적-자기를 가지고 실험함 experimenting with provisional selves, and
(3) 이러한 실험을 내적 기준과 외적 피드백에 대해 평가함 evaluating these experiments against internal standards and external feedback.

CCHCSP를 위한 새로운 프로그램 이론.

A new program theory for CCHCSP

우리는 로직모델 데이터를 통합하고 문헌 결과를 합하여 전문직-정체성-변화에 대한 새로운 프로그램 이론을 도출하였다.

We merged logic model data (including qualitative information from exit interviews) and findings from the literature on professional identity change to articulate a new program theory or model for the CCHCSP (Figure 1).

우선 세 가지 critical components 를 통합하여 trainee는 의사과학자로서 자신을 찾아간다.

We hypothesize that the process by which this program works to enable a trainee to identify as a clinician scientist is first a synthesis of three critical components (Figure 1, Boxes 1–3).

커리큘럼에 engage함. 다양한 전공과 연구분야의 동료들을 포함함.
First, the trainee needs to engage in the curriculum(Figure 1, Box 1), which includes interacting with a group of peers from diverse clinical and research disciplines.
이는 연구 성과로 이어짐
Engagement in the curriculum, in turn, contributes to an increased productivity in research (Figure 1, Box 2).
미니 심포지엄, 연례 심포지엄, 국제 미팅 등에서 정기적으로 결과물을 발표하고, 연구 프로세스에 참여함으로써 롤모델(멘토)를 관찰하고 함께 일할 기회를 얻게 됨. 이는 Ibarra의 이론에 따르면 임시적-자기로 실험을 하는 것과 같다.
Engagement in the mini- symposia, the annual national symposium, and the international meetings where trainees regularly present their research, as well as engagement in the research process, provides the opportunity for trainees to work with and observe role models (mentors) which, according to Ibarra’s theory, enable the trainee to experiment with provisional selves (Figure 1, Box 3).

그 다음, trainee들이 이 '실험'을 할 때 (이 모델에서는 명확하게 밝혀지지 않은) 세 가지 source가 각 임시적-자기를 평가하는데 필요한 정보를 준다.

Next, as the trainee engages in this experimentation, three sources (not identified explicitly in the model) provide information to the trainee that informs the evaluation of each provisional self.

외부 피드백: 다양한 교수와 연구자들로부터의 피드백
The trainee evaluates his or her experiences against external feedback provided by various faculty or researchers. This external feedback (formal or informal in nature) may come from the trainee’s mentor, a peer, another faculty member, or from the program leaders.
자기 스스로의 기준(내적 기준)
The trainee also evaluates each provisional self against his or her own internal standards. If the provisional self is in accordance with these internal standards, full or partial adoption of the provisional self is more likely to occur.
외적 기준. 프로그램이 정해준 기준, 시스템이 정한 기준, 여러 활동(투고, 연구비 수주 등)에서 얻은 기준. 이 시도-실패 과정은 반복적이고 역동적이다. 이 과정을 거치며 내적 기준이 변화하거나 강화된다.
Finally, the trainee evaluates each provisional self against external standards. External standards may be those set by the program—but they may also be those that are set by the system in which a clinician scientist works and/or those that are learned through activities such as applying for grants, submitting manuscripts for publication, and seeking jobs. This trial-and-error process is an iterative and dynamic one. As each provisional self is evaluated against external feedback and internal standards, the trainee’s internal standards may be altered or reinforced.

4. 이 평가 프로세스는 trainee의 연구에 대한 자신감과 흥미에 직접적으로 영향을 준다.

This process of evaluation directly influences the trainee’s confidence and interest in pursuing research (Figure 1, Box 4) and

5. 그 다음 의사과학자의 역할과 시스템의 역할에 대해 명확하게 이해하게 된다.

generates clarity of the role of the clinician scientist and of the system in which a clinician scientist works (Figure 1, Box 5).

6. 이 자신감/흥미는 trainee가 의사과학자가 될 것인지에 대한 결정에 중요하다.

This confidence/interest and this clarity are components necessary for the trainee to determine if he or she will identify as a clinician scientist (Figure 1, Box 6). (Notably, these two constructs— confidence/interest and role clarity— were also identified by the program’s logic model and exit interview data.)

7. 적극적으로 employment를 찾고

The trainee who identifies as a clinician scientist will actively seek employment in the role (Figure 1, Box 7), thus

8. 차세대 의사과학자로서 기여한다.

contributing to the next generation of clinician scientists (Figure 1, Box 8).

Table 3 Experiences, by Theme, of the 21 Program Graduates of the Canadian Child Health Clinician Scientist Program as Identified in Exit Interviews, 2003–2009

고찰과 결론

Discussion and Conclusions

인터뷰에서 수집된 정보는 Ibarra의 임시적-자기 이론과 부합한다. 두가지에서 공통적이었던 것은 전문직으로서의 정체성을 형성하거나 변화시키는데 중요한 것은 "네트워크와 멘토"라는 점이다. Ibarra는 "멘토"는 그 자체로 possible provisional self라고 했다. 즉, trainee가 멘토의 다양한 특징을 받아들이기 전에 시도(tries on)해 본다는 것이다. 비슷하게, 인터뷰에서도 멘토링과 네트워킹이 의사과학자로서 무엇이 필요한가를 이해하는데 핵심이었다. 비록 프로그램이 명시적으로 강력한 멘토링 요소를 포함시키기는 했지만, 보다 비공식적으로 이루어진 멘토링의 중요성이 확인되었다. Ibarra의 주장과 우리의 자료에서는 이 멘토-멘티 관계가 commonly held understandings를 전달하는데 중요하며, 의사과학자 커뮤니티의 문화적 규범은 졸업생이 자신을 의사과학자로서 정체성을 갖게 되는 과정에서 중요하다. 이러한 "잠재 교육과정"을 이해하는 것은 어떻게 이 프로그램이 "관측된 성과"를 가져오는지 이해하는데 중요하다.

Information that we collected from the interview data is consistent with assumptions in Ibarra’s theory on professional identity. Common to both is the importance of the network and mentor in establishing or changing a professional identity. Ibarra asserts that the mentor is a possible provisional self: that the trainee “tries on” various characteristics of the mentor prior to the adoption of any of these characteristics. Similarly, exit interview data indicate that the mentoring and networking provided by the programare key to achieving a greater understanding of what is required as a clinician scientist. Although the programexplicitly built in a strong mentoring component, the importance of more informal mentoring was also clearly evident. Ibarra asserts, and these data support, that this mentor–mentee relationship is critical for conveying commonly held understandings about, and the cultural norms of, the clinician scientist community, which are in turn vital to the process of graduates identifying themselves as clinician scientists, members of the community. Understanding this “hidden curriculum” (implicit in many programcomponents) provides insight into how this program works to bring about the observed outcomes.

우리의 결과와 Ibarra의 이론의 또 다른 공통점은 role clarity의 중요성이다. Ibarra는 trainee들은 임시적-자기를 시도해봄으로써 그 직업의 현실을 보다 잘 이해하고, 그 안에서 자신의 위치를 이해하게 된다. Role clarity는 면접에서 두드러지게 나타났다. 이 clarity를 얻는 과정을 거치며 trainee는 의사과학자가 되는 것이 바람직하지 않은 것이라고 판단내렸을 수도 있다. 이 성과는 프로그램의 로직 모델에서는 거의 다뤄지지 않지만, 프로그램의 실패를 errorneously view하는 것일 수 있다. 교육자들은 종종 그들의 교육적 노력이 의도한 성과를 내지 않으면 실패했다고 말한다. 사실 학습자가 성장과 발달의 과정에서 교육받기 이전에는 깨닫지 못했던 것을 깨닫게 해주는 능력(학습자는 자신이 환자를 보는 것을 더 좋아한다는 것을 깨달음)도 프로그램 성공의 지표가 될 수 있다.

Another commonality between our results and Ibarra’s theory is the importance of role clarity. Ibarra asserts that trainees try on provisional selves to gain a better understanding of the reality of the profession and their place in it. Role clarity was a dominant theme in the exit interviews. Through this process of obtaining clarity, a trainee might come to the conclusion that being a clinician scientist is not a role that is desirable. This outcome, rarely articulated in a program’s logic model, might be erroneously viewed as an indicator of the program’s failure. Educators often view their educational efforts as failures if predetermined outcomes (e.g., a participant does not pursue work as a clinician scientist) are not achieved. In fact, their ability to influence learners in their process of growth and improvement in ways that are not known a priori (e.g., a learner comes to realize she prefers to spend the majority of her time with direct patient care) should be viewed as an indicator of program success.

프로그램 개발자와 평가자로서 우리는 세 가지 핵심 교훈을 얻었다.

As program developers and evaluators, we learned three key lessons through this process.

로직모델을 개발하는 것은 Sound 프로그램 기획과 평가의 부분이다.
First, the development of a program’s logic model is part of sound program planning and evaluation. A small but worthwhile investment, it brings knowledge of the program to its key stakeholders and should be created at the outset.
프로그램이론을 설명하는 것은 프로그램의 의도한 성과와 의도하지 않은 성과에 대한 이해를 준다
Second, the articulation of a program’s theory provides a greater understanding of how the program brings about not only predetermined and intended outcomes but also unintended or emergent outcomes. Articulating the underlying theory is vital to program improvement and knowledge generation.
프로그램 개발자의 open-ended level of inquiry와 a readiness to integrate the right people and perspectives 가 중요하다.
Finally, the ability of program developers to bring both an open-ended level of inquiry and a readiness to integrate the right people and perspectives (e.g., theories, including those from the literature of other fields) leads to new hypotheses and research in educational programming.

Appendix 1

Exit Interview Questions Asked of Participants, Including Graduates, of the Canadian Child Health Clinician Scientist Program (CCHCSP), 2003–2009

Preamble

The purpose of this exit interview is to get a sense of your experience as a trainee within the CCHCSP, and your views on the strengths and weaknesses of program. Your answers will be kept confidential unless you give me permission to share specific feedback with [other investigators].

Over time I will be aggregating the information from the interviews and seeing if certain themes emerge.

1. What is your experience of the program? Please consider the following:

a. Your specific center and the activities at that center

b. The curriculum (Was it useful? What are some ways it can be improved?)

c. The interdisciplinary experience (Was that valuable? In what ways can it be improved?)

d. The national and mini symposia (Were they valuable? In what ways could they be improved?)

e. The mentorship you received (How was it different from other mentorship you have experienced? Were there any specific qualities to that relationship because it was part of the program?)

f. Salary (Was it important factor in your applying to CCHCSP? Why/why not?)

2. Are there any issues which you think the program needs to address and resolve? Are there any major problems with the program from your perspective?

3. What are the greatest strengths of the CCHCSP from your perspective?

4. How do you think having trained through CCHCSP has prepared you for your career as a clinician scientist?

5. [When relevant] Why did you choose to leave the program before completing it?

2011 Nov;86(11):1389-96. doi: 10.1097/ACM.0b013e31823053f3.

Going beyond Kirkpatrick in evaluating a clinician scientist program: it's not "if it works" but "how it works".

Parker K1, Burrows G, Nash H, Rosenblum ND.

Author information

1Holland Bloorview Kids Rehabilitation Hospital, and Department of Paediatrics, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada. kparker@hollandbloorview.ca

Abstract

PURPOSE:

To explore how the Canadian Child Health Clinician Scientist Program (CCHCSP) works to achieve prearticulated and emergent outcomes.

METHOD:

In 2009, after gaining ethical approval from the Hospital for Sick Children, the authors examined quantitative data (e.g., participation in curriculum elements) to ensure sufficient exposure by trainees to the program and quantitative outputs (e.g., publications) to measure achievement of CCHCSP goals. They identified emergent outcomes through grouping and analyzing qualitative data generated through interviews with program graduates. Then, to explore possible theoretical explanations for the emergent findings, the authors conducted a literature review.

RESULTS:

Graduates participated in high rates in each component of the CCHCSP and produced publications, presented research, and received funding. Interview data revealed an unexpected outcome: that the CCHCSP helped graduates to form new professional identities. These data, along with theoretical assumptions from Ibarra's theory on professional identity change, informed a new theory or model for the CCHCSP.

CONCLUSIONS:

Early investment in building a program's logic model is invaluable for understanding program goals and for guiding program planning and development. Both employing a strategy that captures emergent program outcomes and investigating (e.g., through a literature search) why and how the program actually works to arrive at these outcomes informs the development and evaluation of future program offerings and may, as in the case of the CCHCSP, offer a new program model or theory.

PMID:: 21952054
DOI:: 10.1097/ACM.0b013e31823053f3

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교육과정 개발&평가' 카테고리의 다른 글

역량바탕교육(CBME, CBE): 프로그램 설계와 시행의 과제(Med Educ, 2016) (0)	2016.11.18
Competencies, Milestones, EPAs - 과거를 잊은 자는 반복하게 될 것이다 (Med Teach, 2016) (0)	2016.11.17
교육프로그램 평가(AMEE Guide no.29) (Med Teach, 2006) (0)	2016.11.02
보건전문직 교육에서 프로그램 평가에 대한 생각: '효과가 있었나?'를 넘어서 (Med Educ, 2013) (0)	2016.10.26
의학교육에서의 과목평가 (Teaching and Teacher Education, 2007) (0)	2016.10.26

차이에 관하여: 왜 전문가-초심자 비교가 타당도주장에 기여하는 바가 별로 없는가(Adv in Health Sci Educ, 2015)

Meded. 2016. 11. 7. 13:29

2016. 11. 7. 13:29

차이에 관하여: 왜 전문가-초심자 비교가 타당도주장에 기여하는 바가 별로 없는가(Adv in Health Sci Educ, 2015)

Much ado about differences: why expert-novice comparisons add little to the validity argument

David A. Cook

도입

Introduction

CBME와 성과를 강조하며 근거-기반 교육이 필수적이 됨.

The growing emphasis on competency-based education (Albanese et al. 2008; Weinberger et al. 2010) and educational outcomes (Prystowsky and Bordage 2001; Cook and West 2013) creates an imperative for evidence-based educational metrics.

'known-groups comparison'식의 연구는 (타당도근거 중) "relationships with other variables"에 해당되는 것으며, 이 때 'other variable'은 보통 training status에 대한 것이다.

Such known-groups comparison studies provide evidence of ‘‘relationships with other variables’’ (American Educational Research Association 1999; Downing 2003; Cook and Beckman 2006), with the other variable usually being the training status (or rather, the presumably higher proficiency that comes with advanced training).

전형적인 방법은 staff physician과 PG trainee 또는 4학년과 2학년 의과대학생을 비교하는 식인데, 이 때의 가정은 더 advance한 training status에 있을 때 덜 advance한 status에 있는 경우보다 점수가 높을 것이라는 것이다.

The typical study might enroll and compare scores between staff physicians and postgraduate trainees, or senior medical students and junior medical students, with the hypothesis that those with more advanced training status (the ‘‘experts’’) will have higher scores than those less advanced (the ‘‘novices’’).

이러한 known-groups comparisons 방식은 validity argument에 기여하는 바가 거의 없다. 평가에서 between group의 discrimination을 확실하게 해주지 못하는 것이 문제이긴 하나, 그러한 차이를 확인해주는 것 그 자체가 validity에 충분한 것은 아니다.

The problem is that such known-groups comparisons actually contribute little to the validity argument. While failure to confirm discrimination between groups suggests a serious potential problem for the assessment [as has been shown for checklists as measures of clinical reasoning (Neufeld et al. 1981; Hodges et al. 1999)], confirmation of such differences is by itself insufficient to establish score validity.

주된 문제: 상관관계가 인과관계는 아니다.

The main problem: association does not imply causality

expert-novice study 에서 가장 중요한 문제는 confounding에 대한 것이다. 차이가 발생했을 때 그것을 설명할 수 있는 방식은 다양하나 "상관관계가 인과관계는 아니다".

Arguably the most important flaw in the expert-novice study is the problem of con- founding: there are multiple plausible explanations for any observed differences. ‘‘association does not imply causation.’’ However, these analyses actually provide no evidence to confirm that score differences reflect the target characteristic or any other specific underlying characteristic.

물론, 우리가 의도적으로 '흰머리 개수'와 같이 '완전히 무관한 특성'을 가져오지는 않는다. 그러나 새로운 도구를 개발하는 연구자들은 그 도구의 숫자가 측정하는 (혹은 측정하지 않는) 것이 무엇인지 알려주지 않는다. Fig 1.에서 점수로만 봤을 때 이 도구가 측정하는 것이 셋 중에 어떤 것인지 알 수 없다 (cardiology능력 vs pulmonology 능력 vs 흰머리)

Of course, we would never intentionally use a completely irrele- vant characteristic such as grey hair to measure clinical proficiency. Yet researchers evaluating a new instrument don’t really know what the instrument’s scores do (or do not)measure; they only know the pattern of the numbers. In Fig. 1 there is no way to know (judging from the numbers alone, without the benefit of labels) whether the instrument is measuring proficiency in cardiology, proficiency in pulmonology, or simply grey hair.

외삽에는 주의가 필요하다.

Cautions in extrapolating results to educational practice

몇몇 다른 방법론적 문제도 있다.

several other methodological problems

첫째, expert-novice studies 에 참여하는 참가자들은 그 결과가 적용될 집단을 대표하지 않는 경우가 많다. 1학년 학생과 4학년 학생 모두에게 동시에 사용되는 instrument는 거의 없으며, 1년차 수련생과 experienced physician에게 동시에 사용하는 instrument도 거의 없다. 또한, 궁극적으로 그 평가를 사용할 할습자그룹은 일반적으로 expert-novice studies 에 참여한 사람들보다 더 homogenous하며, 이로 인해 변별력이 감소하고, training level외에도 다른 측면에서 유의하게 다른 특성이 있다. 이러한 spectrum bias는 임상에서 진단용 검사의 measurement properties에도 유의한 영향을 주며, 같은 문제가 educational assessment에서도 동일하게 발생한다. Lijmer 등은 "이미 질병을 가지고 있다고 알려진 환자집단, 그리고 이와 별개의 정상 환자집단을 대상으로 검증된 검사"란 사실상 case-control study와 같은 것이며, 이러한 연구가 accuracy를 세 배 이상 과대추정한다고 지적했다.

First, the participants enrolled in expert-novice studies are rarely representative of the population to whom the results will be applied. Few instruments are intended for use with both first- year and final-year medical students at the same time, or first-year postgraduate trainees and experienced physicians. Also, the learner groups that will ultimately use the assess- ment are typically more homogenous than those enrolled in the expert-novice study, which decreases discriminatory power, and may differ in important ways other than the level of training (e.g., degree of interest in the study topic). Such spectrum bias has been shown to significantly influence the measurement properties of diagnostic tests in clinical medicine (Lijmer et al. 1999; Whiting et al. 2011), and the same problem holds true for educational assessments. Lijmer et al. (1999, page 1,062) noted that studies in which ‘‘the test is evaluated in a group of patients already known to have the disease and a separate group of normal patients’’ (i.e., known-groups comparisons) are actually case–control studies, and found that such study designs overestimated accuracy by a factor of three.

둘째, known-group design은 도구의 전형적인 활용사례를 대표하지 않는다. 실제 발생하는 상황은 각자의 능력을 모르는 비슷한 training status의 학습자들을 대상으로 이뤄지게 되며, 도구를 사용해서 각 개인의 능력을 추정하고 분류하는 목적으로 사용한다. 반대로 expert-novice comparision은 서로 다른 training status에 있는 집단에서 시작해서, 평균적인 점수가 다르다는 것을 확인해준다. known-group analysis에서 평균점수가 다른 것이 개개인의 점수가 정확히 전향적prospectively으로 classify해줄 수 있음을 보장하진 않는다.

Second, the known-groups design does not mirror a typical application of the instru- ment. In real-life applications the educator starts with a group of learners of similar training status but with unknown abilities, and uses the assessment to estimate and classify the ability of each individual. By contrast, the expert-novice comparison starts with groups at different training statuses and presumably known ability, and confirms that the average assessment scores vary. Showing that the average group scores differ in the known-groups analysis does not guarantee that individual scores will accurately classify learners prospectively.

마지막으로, 많은 연구가 expert-novice differences 를 통해서 신뢰도계수를 추정하다. 여기에는 심각한 개념적 오류가 있는데, 왜냐하면 known-group comparison은 between group의 variability를 가정하나, 신뢰도 분석은 within group의 variability에 초점을 두기 때문이다. 이미 차이가 알려진 집단을 포함시키는 것은 신뢰도 계수를 부적절하게 inflate한다.

Finally, many studies that evaluate expert-novice differences also attempt to estimate the reliability of scores. This is a serious conceptual flaw, because known-groups com- parisons hypothesize variability between groups while reliability analyses focus on vari- ability within groups. Including groups with known differences in a reliability analysis will erroneously inflate the reliability coefficient, as shown in Fig. 2.

What should researchers do?

known-groups comparisons의 문제에 대해서, 어떻게 해야 할까? 첫째, 이러한 분석을 'relations with other variables' 유형의 validity evidence를 위해 사용하는것이 잘못된 것은 아니다.

Given the problems with known-groups comparisons, how should researchers proceed? First, it is not wrong to perform such analyses in search of validity evidence of relations with other variables (Cook and Beckman 2006),

이러한 장점이 있다.

advantages including simplicity, convenience, low cost, high power, and short duration.

이러한 비교가 training level에 따라 차이가 나지 않아야 하는 특성을 examine할 수도 있다. 또는 training이외의 것에 의해서 결정되는 특성을 조사할 수도 있다.

Such comparisons can also examine attributes that should not vary across training level (e.g., professionalism), or examine groups determined by characteristics other than training.

'필요하지만 충분하지 않음'의 관점에서, 이들 분석은 '차이가 있어야 하는데 차이가 없다고 나타나는' 경우에 가장 흥미로울 것이다. 또는 차이가 없어야 하는데 차이가 있는 경우도 흥미로울 것이다. 이미 가정된 difference를 재확인하는 것은 validity argument에 추가적인 가치가 별로 없다.

In light of the ‘‘necessary but not sufficient’’ guideline, these analyses will bemost interesting if they fail to discriminate groups that should be different, or find dif-ferences where none should exist. Confirmation of hypothesized differences or similarities adds little to the validity argument.

둘째, 연구자들은 다른 study design을 활용하여 'relations with other variables'에 대한 stronger evidence를 찾을 수도 있다. 예컨대 실제 상황하고 비슷하게 trainee를 구성하고, 동일하거나 유사한 특성을 독립적으로 측정하여 비교하는 것이다. 이러한 설계는 educator가 실제로 하는 것과 비슷하다.

Second, researchers might use other study designs to identify stronger evidence of relations with other variables (Cook et al. 2014). Such studies might assemble a group of trainees similar in composition to that expected in real-life applications, and then examine the correlation with an independent measure of the same or a similar characteristic mea- sured concurrently or at a later date. These designs closely mimic what educators do in real life,

마지막으로, validity evidence에서 single source에 의존하지 않는 것이 중요하다.

Finally, it is important not to rely on any single source of validity evidence (whether from a known-groups comparison, or from any other source).

2015 Aug;20(3):829-34. doi: 10.1007/s10459-014-9551-3. Epub 2014 Sep 27.

Much ado about differences: why expert-novice comparisons add little to the validity argument.

Cook DA1.

Author information

1Mayo Clinic Online Learning, Mayo Clinic College of Medicine, Rochester, MN, USA, cook.david33@mayo.edu.

Abstract

One approach to validating assessment scores involves evaluating the ability of scores to discriminate among groups who differ in a specific characteristic, such as training status (in education) or disease state (in clinical applications). Such known-groups comparison studies provide validity evidence of "relationships with other variables." The typical education research study might compare scores between staff physicians and postgraduate trainees with the hypothesis that those with more advanced training (the "experts") will have higher scores than those less advanced (the "novices"). However, such comparisons are too nonspecific to support clear conclusions, and expert-novice comparisons (and known-groups comparisons in general) thus contribute little to the validity argument. The major flaw is the problem of confounding: there are multiple plausible explanations for any observed between-group differences. The absence of hypothesized differences would suggest a serious flaw in the validity argument, but the confirmation of such differences adds little. As such, accurate known-groups discrimination may be necessary, but will never be sufficient, to support the validity of scores. This article elaborates on this and other problems with the known-groups comparison that limit its utility as a source of validity evidence.

PMID:: 25260974
DOI:: 10.1007/s10459-014-9551-3

[PubMed - in process]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 평가법 (Portfolio 등)' 카테고리의 다른 글

결과타당도근거(Consequences Validity Evidence): 교육평가의 임팩트 (Acad Med, 2016) (0)	2016.11.16
Blurprinting을 위한 12가지 팁(Med Teach, 2009) (0)	2016.11.14
MCQ에서 CIV와 IWF: 원칙이 차이를 만드는가?(Acad Med, 2002) (0)	2016.11.07
MSPE 랭킹의 학교별 차이: 매우 나쁜 학생이지만 "Good" (Acad Med, 2016) (0)	2016.11.07
평가자의 인지Rater Cognition: 리뷰 (Med Educ, 2016) (0)	2016.11.02

보건의료인교육에서 인지부하이론: 설계원칙과 전략(Med Educ, 2010)

Meded. 2016. 11. 7. 13:18

2016. 11. 7. 13:18

보건의료인교육에서 인지부하이론: 설계원칙과 전략(Med Educ, 2010)

Cognitive load theory in health professional education: design principles and strategies

Jeroen J G van Merrie¨nboer1,2 & John Sweller3

도입

INTRODUCTION

인지부하이론은 1980년대에 처음 개발되었다.

Cognitive load theory (CLT) was initially developed in the 1980s.1

처음부터 CLT는 많은 사람들에게 반-직관적인 설계원칙을 제안하였는데, 예컨대 novice학습자들에게 풀어야 할 문제들보다 다수의 worked example을 주라는 것은 '문제풀이가 문제를 해결하는 법을 배우는 최선의 방식이다'라는 당대의 다수 견해를 반박하는 것이었다.

Right from the start, CLT provided instructional design principles that were seen as counterintuitive by many practitioners in the field of education. For example, the recom- mendation to provide novice learners with many worked examples rather than problems to solve contradicted the prevailing opinion of the time that solving problems was the best way to learn to solve problems.

의학교육에서도 CLT가 적용되기 시작했다. real-life를 기반으로 한 authentic learning task는 답이 여러가지였고 ecologically valid 하였으며, 보통 한 세션 내에 완수하기 어려웠다. CLT가 단순한 task를 가르치는데는 별 관련이 없지만, 학습자의 인지시스템에 높은 부하를 거는 complex learning task에 대해서는 매우 중요하다.

Applications of CLT in medical education are beginning to appear.4,5 Authentic learning tasks designed on the basis of real-life tasks have many different solutions, are ecologically valid and usually cannot be mastered in a single session. Whereas CLT may not be relevant to teaching simple tasks, it is critical when complex learning tasks are used because they impose a high load on the learner’s cognitive system.7,8

인지구조

COGNITIVE ARCHITECTURE

기억시스템

Memory systems

CLT에서는 사람의 인지시스템이 제한된 작업기억만을 가지고 있어서 5개~9개 이상의 information element를 hold하지 못한다고 가정하며, 동시에 2개~4개 이상의 element를 actively process하지 못한다고 가정한다. 정보를 다루는deal with시간은 수 초 미만으로만 가능할 뿐이며, 거의 대부분의 정보는 (재반복으로 refresh 되지 않으면) 20초 이내에 사라진다.

Cognitive load theory assumes that the human cognitive system has a limited working memory that can hold no more than five to nine information elements (the famous ‘seven plus or minus two’)10 and actively process no more than two to four elements simultaneously. It is able to deal with information for no more than a few seconds and almost all information is lost after about 20 seconds unless it is refreshed by rehearsal.

작업기억은 장기기억에서 retrieve된 정보를 다루는데에는 한계가 없다. 실제로, 장기기억은 작업기억의 characteristics를 바꾼다.

Working memory has no known limitations when dealing with infor- mation retrieved from long-term memory. In effect, long-term memory alters the characteristics of work- ing memory.

전문성이란 schema로 조직화된 정보에서 오는 것이며, 장기기억에 조직화되지 않은 다수의 element를 가지고 추론하는 능력에서 오는 것이 아니다.

Human expertise comes from knowl- edge organised by these schemas, not from an ability to engage in reasoning with many elements that have not been organised in long-term memory.

학습자는 mindfully 단순한 아이디어를 더 복잡한 아이디어로 combine해가면서 전문가가 된다. 예컨대 illness script라는 것은 유사한 질병을 구분할 때 의사들이 사용하는 특정 유형의 schema를 말하는데, 이 schema는 지식을 조직화하는데 사용되어서 작업기억의 부하를 크게 줄여주는데, 가장 복잡한 형태의 schema조차 작업기억에서는 하나의 element로 다뤄질 수 있다.

Expertise develops as learners mindfully combine simple ideas into more complex ones. so-called ‘illness scripts’, a term that describes a particular type of schema which allows the user to distinguish between alike diseases. These schemas organise knowledge but also heavily reduce working memory load because even a highly complex schema can be dealt with as one element in working memory.

완전히 자동화된 schema는 extensive한 연습을 통해서 길러질 수 있고, central executive로서 역할을 함으로써 작업기억에서 처리되어야 할 필요가 있는 정보와 지식을 조직화한다. 이러한 상황에서는 작업기억에 한계가 없다. 반면, 새로운 정보, 즉 schema-base가 없는 경우에는 작업기억에 limitation이 생긴다.

Fully automated schemas are developed as a function of extensive practice and can act as a central executive, organising information or knowledge that needs to be processed in working memory. Under these circumstances there are no limits to working memory. By contrast, when dealing with novel information for which no schema-based central executive is available, working memory has limitations.

학습 프로세스

Learning processes

작업기억은 완전히 새로운, 비-조직화된 정보를 다룰 때는 그 capacity가 제한되는데, 왜냐하면 다뤄야 하는 element의 숫자가 선형적으로 증가하더라도, 문제해결과정에서 필요한 그 element들 사이의 조합은 기하급수적으로 증가하기 때문이다. 이러한 기하급수적 증가의 문제는 동시에 처리될 수 있는 정보의 숫자를 극심하게 제한함으로써 순응accomodate될 수 밖에 없다.

Working memory must inevitably be limited in capacity when dealing with completely novel, unor- ganised information because, as the number of elements that need to be organised increases linearly, the number of possible combinations of elements that must be tested for effectiveness during problem solving increases exponentially. This problem of exponential growth can only be accommodated by severely limiting the number of information units that are processed simultaneously.

Schema는 문제해결 프로세스동안에 구성될 수도 있다.

Schemas can be constructed during the problem-solving process

Chunking을 통해서 by bringing elements together (i.e. chunking),
이미 장기기억에 있는 schema에 통합시켜서 by incorporating new elements in schemas already available in long- term memory or, more commonly,
이미 schema화된 정보를 습득함으로써 by obtaining already schematised information from other people.

Schema는 작업기억에서 single element로 처리될 수 있기 때문에 인지부하를 크게 줄여준다.

Schemas can then be treated as a single element in working memory and thus heavily decrease cognitive load associated with the performance of later tasks.

Schema가 구성되어 반복적으로 적용되어 의도한 결과를 얻을 경우 자동화될 수 있다. schema 구성에 있어서 '자동화'는 작업기억의 capacity를 자유롭게 해준다.

Constructed schemas may become automated if they are repeatedly applied and yield desired results. As is the case for schema construction, automation can free working memory capacity for other activities

자동화는 많은 양의 연습을 필요로 하기 때문에, automated schema는 다양한 task situation에서 일정하게 나타나는 퍼포먼스에 대해서만 개발된다 따라서 instructional design의 관점에서, 잘 설계된 instruction은 단순히 schema construction을 유도할 뿐 아니라, (다양한 task에 걸쳐 일관된 측면에 있어서는) schema automation을 일으켜야 한다.

Because automation requires a great deal of practice, automated schemas only develop for those aspects of performance that are consistent across task situations, such as routines for operating medical equipment and standard pro- cedures for using software applications. Thus, from an instructional design perspective, well-designed instruction should not only encourage schema construction, but should also support schema automation for those aspects that are consistent across tasks.6,11

인지부하의 유형

Types of cognitive load

작업기억의 부하는 세 가지에 영향을 받는다.

Working memory load may be affected

내재적 부하: 학습과제 그 자체의 부하
by the intrinsic nature of the learning tasks (intrinsic load),
외재적 부하: 학습과제가 제시되는 방식에서 오는 부하
by the manner in which the tasks are presented (extraneous load), and
본유적 부하: 내재적 부하를 다룰 때 생기는 부하
by the learning that actually occurs (germane load) when dealing with intrinsic load.

내재적 부하는 instructional intervention을 통해서 달라지지 않으며, task자체를 바꾸거나 학습 그 자체를 통해서만 달라질 수 있다. 작업기억에서 동시에 몇 개의 element가 처리되어야 하느냐에 달려 있으며, 이는 즉 학습 자료나 학습과제에서 element들의 상호작용수준interactivity가 어느 정도이냐에 따라 달라진다. Element interativity란 학습해야 할 element들이 고립적in isolation으로 학습될 수 있는지 혹은 그렇지 않은지 그 정도에 대한 것이다.

Intrinsic load cannot be altered by instructional interventions without altering the task to be learned (e.g. simplification) or by the act of learning itself. It depends on the number of elements that must be processed simultaneously in working memory, a number which, in turn, depends on the extent of element interactivity of the materials or tasks that must be learned. Element interactivity is the degree to which the elements of something to be learned can, or cannot, be understood in isolation.

단어와 문법의 예

For example,

단어는 element-interactivity가 낮다. 대부분의 사람들은 다른 모든 단어와 무관하게 특정 단어를 익힐 수 있다.
vocabulary is an example of low element-interactive material in the field of language learning. Although there are thousands of words to be learned, most people can quickly learn some simple words because words may be learned in isolation from all other words.
문법은 element-interactivity가 높다. 문장 내의 모든 단어가 옳을 때조차 문법적으로 올바른 문장을 만드는게 어렵기도 하다. 이는 다양한 element를 동시에 고려해야 하기 때문이다.
Grammar, by contrast, is an example of high element-interactive material. Most people have diffi- culty in generating grammatically correct sentences, even when all the words to be used in the sentence are known. This is because many elements must be considered simultaneously; that is, to build sentences that are grammatically correct, one must attend to all the words within the sentence at once while also considering syntax, tense and verb endings.

element interactivity 가 높은 학습과제는 이해가 어렵고 인지부하가 높다.

Tasks with high element interactivity are difficult to understand and yield a high cognitive load

내재적 부하를 줄이는 방법은 interacting element를 포괄할 수 있는 schema를 개발하는 것이다.

The only way to foster understanding and to reduce intrinsic cognitive load is to develop schemas that incorporate the interacting elements.

따라서 element interactivity 는 한 사람이 특정 전문성의 수준에서 다룰 수 있는 interacting element의 숫자를 count해야만 추정될 수 있다.

Thus, ele- ment interactivity can be estimated only by counting the number of interacting elements dealt with by people at a particular level of expertise.

내재적 부하와 달리, 외재적 부하는 instructional procedure에 의해서 생긴다. 외재적 부하가 생기는 사례 중 하나는, 학습자가 전혀 적절한 가이드가 주어지지 않은 상태에서 임의적으로 무엇이든 시도해서 시행착오를 거쳐 문제해결을 해야하는 상황에서 생긴다.

By contrast with intrinsic load, extraneous load is imposed by instructional procedures. Extraneous load may be imposed, for example, when learners must use trial and error or other weak problem- solving methods that require them to arbitrarily try out things without being given proper guidance,12

작업기억을 구성하는 처리장치processor에 과부하를 일으킴으로서 외재적 부하를 늘릴 수도 있다. 시각&청각 작업기억은 서로 부분적으로 독립적이다. 이해에 필요한 다양한 출처의 정보가 모두 '시각적 형태'로만 들어올 경우, (대신 written material이 청각적 형태(spoken form)으로 제시될 경우보다) 시각처리 프로세서를 과부하할 가능성이 높으며, 일부의 인지부하가 auditory processor로 shift될 수 있게 해준다.

Overloading one of the processors that constitute working memory may also increase it. Visual and auditory working memory are partially independent. If multiple sources of information that are required for understanding are all presented in visual form (e.g. a written text and a diagram), they are more likely to overload the visual processor than if the written material is presented in spoken form, thus enabling some of the cognitive load to be shifted to the auditory processor.13

본유적 부하는 내재적 부하를 deal with할 때 사용되는 작업기억이다.

Germane load, finally, refers to the working memory resources used to deal with intrinsic cognitive load, which lead to learning.

내재적 부하를 처리하는 프로세스가 포함하는 것으로는 'previous task와 관련이 된 element' 또는 '이미 장기기억에서 available한 지식' 등이 있으며, 따라서 (어떤 과제를 하는데) 필요한 작업기억자원이 (학습에 직접적으로 관련된) 본유적 부하에 해당한다고 볼 수 있다.

These processes of dealing with intrinsic cognitive load include elements related to previous tasks or to knowledge already available in long-term memory and thus require working memory resources that correspond to a germane cognitive load that is directly relevant for learning.

CLT는 내재적 부하와 외재적 부하를 서로 additive하다고 본다. 만약 내재적 부하가 낮으면, 높은 외재적 부하가 걸리더라도 문제가 되지 않는다.

Cognitive load theory assumes that intrinsic and extraneous cognitive loads are additive. If intrinsic load is low, a high extraneous load resulting from an inadequate instructional design may not be harmful

실제로 여러 연구를 살펴보면, 단순한 과제에 있어서는 외재적 부하를 줄이는 것의 효과가 별로 없다.

Indeed, research has shown that instruction designed to decrease extraneous load has negligible effects on learning simple tasks (i.e. involving low element-interactive materials14).

그러나 복잡한 과제를 수행할 때, 내재적 부하+외재적 부하는 작업기억의 capacity를 초과하여 과부하를 일으킨다. 이 때 외재적 부하를 충분히 줄여주지 못한다면 내재적 부하를 낮춰줌으로써 학습에 필요한 프로세싱 자원을 만들어줘야 한다. 외재적 부하가 줄어들면, 더 많은 작업기억자원이 내재적 부하를 처리하는데 사용될 수 있고, 학습을 위한 본유적 부하를 유도하는데 사용되기도 쉽다.

However, for teaching complex tasks (i.e. involving high element-interactive materials), the sum of the intrinsic and extraneous loads may easily surpass working memory capacity and yield overload (Fig. 1a). Then, extraneous load and, if the reduction of extraneous load is still insufficient, intrinsic load must be lowered to free up processing resources necessary for learning (Fig. 1b). The more extrane- ous cognitive load is reduced, the more working memory resources can be devoted to intrinsic cogni- tive load and so the easier it becomes to induce a germane cognitive load for learning (Fig. 1c).

DESIGN GUIDELINES

외재적 부하를 줄이고, 내재적 부하를 관리하고, 본유적 부화를 최적화하는 주요 전략(Table 1). 또한 Expertise reveral effect (ERE)가 있는데, novice학습자에게는 잘 작동하는 원칙이 더 경험이 많은 학습자에게는 잘 통하지 않거나 심지어 역효과가 나는 것이다.

The main principles and strategies for decreasing extraneous load, managing intrinsic load and optimising germane load are summarised and illustrated in Table 1. Moreover, they are related to the expertise reversal effect, which indicates that principles that work well for novice learners may not work well or may even have negative effects for more experienced learners.

외재적 부하 줄이기

Decreasing extraneous load

goal-free principle. 전통적인 과제는 goal-free한 과제로 대체하는 것. 학습자에게 비-특이적 목표가 부여된다. 만약 학습자에게 구체적인 목표가 주어진다면, 학습자는 이 목표로부터 추론을 시작하여, 목표 상태와 주어진 상태goal state adn given state사이의 차이를 줄이는 접근법을 사용할 것이다. 이러한 backward 방식의 탐색과정은 높은 외재적 부하를 야기하므로, backward접근이 불가능하도록 specific goal을 제거하는 방식으로 회피할 수 있다.

Firstly, the goal-free principle suggests replacing conventional tasks with goal-free tasks, which provide learners with a non-specific goal

e.g. replace ‘find the most probable aetiological explanation for these symp- toms’ with ‘find as many aetiological explanations for these symptoms as you can’

If learners are given a specific goal, they start reasoning from this goal and try to find operators that reduce the difference between the goal state and the given state. This backward search process yields a high extraneous load that can be avoided by eliminating a specific goal that renders working backward from the goal impossible.

worked example principle. 전통적인 과제를 worked example로 대체하는 것. 학습자가 '해답을 생성'하기보다는 '공부'하기 때문에 weak problem-solving methods에서 오는 높은 외재적 부하를 줄일 수 있다.

Secondly, the worked example principle suggests replac- ing conventional tasks with worked examples that must be carefully studied by the learners. Because learners study rather than generate solutions, this reduces the high extraneous load caused by weak problem-solving methods.

completion principle. 전통적인 과제를 completion task로 바꾸는 것으로, 정답의 일부를 알려주고 학습자가 나머지를 완수하게 하는 것이다. worked examples와 유사하게 completion task는 외재적 부하를 줄여준다.

Thirdly, the completion principle suggests replacing conventional tasks with completion tasks, which provide a partial solution that must be completed by the learners. Like worked examples, completion tasks reduce extraneous load caused by weak problem-solving methods because giving part of the solution reduces the size of the problem space.

split attention principle. 다양한 시간과 공간에 나눠져서 제공되는 여러 출처의 정보를 하나의 통합된 정보로서 제공하는 것이다(그림 2). 통합된 정보는 다양한 source의 정보를 의식해서mentally 통합할 필요가 없으므로 외재적 부하를 줄여준다.

Fourthly, the split attention principle recommends replacing multiple sources of information that are distributed in space or time, such as pictures and accompanying text or a piece of equipment and instructions for operating it, with a single, integrated source of information (Fig. 2 ). The integrated information source reduces extraneous load because there is no need for the learners to mentally integrate the information from different sources.

modality principle. (문자로)기술된 설명문+시각적 정보(다이어그램)(unimodal)를 (말로 기술된) 설명문+시각적 정보로 대체하는 것이다(multimodal). multimodal한 정보는 작업기억의 시각적 처리와 청각적 처리를 모두 활용하기 때문에 가용작업기억용량을 증가시켜서 외재적 부하를 줄여준다.

Fifthly, the modality principle recommends replacing a written explanatory text and another source of visual information such as a diagram (unimodal) with a spoken explanatory text and the visual source of information (multimodal). Multimodal information presentation reduces extraneous load because it uses both the visual and the auditory processor of working memory and thus, in effect, increases available working memory capacity.

redundancy principle. self-contained한 다수의 정보출처를 하나의 정보출처로 대체하는 것이다. single source는 외재적 부하를 줄여준다.

Sixthly, the redundancy principle suggests replacing multiple sources of information that are self-con- tained (i.e. they can be understood on their own) with only one source of information. The single source reduces extraneous load that is caused by unnecessarily processing redundant information.

내재적 부하 관리하기

Managing intrinsic load

그러나 내재적 부하는 학습자료의 특성과 학습자의 전문성의 상호작용을 통해서 결정되기 때문에, 학습자의 이해수준을 변화시키지 않고서는 내재적 부하가 줄지 않는다. 학습자가 학습자료를 완전히 이해하기 위해서는 궁극적으로 학습자료는 full complexity로 제공되어야 한다. 학습자료를 낮은 element interactivity에서 점차 높은 element interactivity 로 제시하는 다단계전략이 필요하다.

However, because intrinsic load is determined by the interac- tion between the nature of the materials being learned and the expertise of the learner, it cannot be altered without reducing learners’ level of under- standing. For learners to fully understand the material, it must ultimately be presented in its full complexity. Multiple-step strategies rather than single-step principles are needed for sequencing materials from low to high element interactivity, so that tasks are presented in their full complexity only in a later learning phase.

Manipulating the fidelity of the learning environment. 학습환경의 fidelity 조절도 한 가지 방법이다. 왜냐하면 high-fidelity 환경은 일반적으로 interacting element의 숫자가 더 많기 때문이다. low-fidelity에서 시작해서 medium-, high-, 그리고 궁극적으로는 real environment로 가야 한다.

Manipulating the fidelity of the learning environment is another way to gradually increase the number of interacting elements because high-fidelity environ- ments will typically contain more interacting ele- ments than low-fidelity environments.6 It may be better to

start with low-fidelity simulations (e.g. textual problems or case descrip- tions of prospective patients), then
continue with medium-fidelity simulations (e.g. computer-simulated patients or simulated patients [SPs] played by peer students),
continue with high-fidelity simulations (e.g. SPs played by actors), and
end with the real environment (e.g. real patients during an internship in hospital; see example16).

내재적 부하를 늘려서 본유적 부하 최적화하기

Optimising germane load by increasing intrinsic load

Variability of task situations. 인지부하를 줄이는 것은 과부하를 예방하면서 처리리소스를 확보하여 진정한 학습에 투입될 수 있게 한다. Paas and van Merrie¨nb- oer는 처음으로 learning task의 variability를 germane load에 연결지었다. 학습과제의 variability는 비슷한 상황에 발생할 가능성을 높임으로서 학습자로 하여금 cognitive schemas 를 만들게 해준다.

The reduction of cognitive load prevents overload and frees up processing resources that can be devoted to genuine learning. Paas and van Merrie¨nb- oer17 were the first to relate variability of learning tasks to germane load. Variability of task situations encourages learners to construct cognitive schemas because it increases the probability that similar features can be identified

예를 들면 산-염기 균형을 학습할 때, 다양한 학습과제는 이 개념을 과호흡, 과소호흡, 아스피린 과용량 등등으로 연결짓게 한다. Variability가 높아지면 내재적 부하가 높아진다. 학생들은 어떤 문제가 같거나 다른 카테고리에 들어가는지를 배우게 되고, low variability에서는 무시될 수 있는 중요한 특성을 배우게 된다.

For example, when students learn about acid-base bal- ance, different learning tasks should relate this concept to hyper- and hypoventilation, aspirin over- dosing, loss of fixed acid through excessive vomiting, and so forth. Increasing variability increases intrinsic cognitive load. Students must learn which problems belong to the same or different categories, an important aspect of the task which is ignored under conditions of low variability.

Contextual interference. Contextual interference 도 variability와 관련이 있다. 인접한 학습과제가 정확히 동일한 skill을 요구한다면 variability가 낮은 것이다. Contextual interference 가 높은 경우 본유적 부하를 높임으로써 내재적 부하를 높이게 된다.

Contextual interference is related to variability. It is low if adjacent tasks in a practice schedule rely on exactly the same skills and it is high if adjacent tasks rely on different skills. As expected, high contextual interference increased intrinsic load by increasing germane load (i.e. including elements related to adjacent tasks) during practice and improved learning outcomes.

self-explanation effect. 내재적 부하(그리고 이에 따른 본유적 부하)는 자기자신에게 개념을 설명할 때 훨씬 더 높아지는데, 왜냐하면 장기기억으로부터 prior-knowledge를 불러와서 사용함으로써 고려해야 하는 interacting element가 훨씬 많아지기 때문이다.

A third design principle is related to the so-called self-explanation effect. The intrinsic load and hence the germane load associated with explaining a concept to oneself are far higher than when simply processing the information because the number of interacting elements considered is deliberately in- creased by including prior-knowledge elements from long-term memory.

전문가-역설 효과

Expertise reversal effect

ERE는 일종의 interaction effect로서, 장기간에 걸쳐 운영되는 프로그램의 설계에 CLT가 적용될 때 고려해야 한다. 이 효과는 전문성의 수준과 인지부하의 영향의 상호작용이다. 따라서 instructional method는 학습자의 전문성이 향상됨에 따라 이를 고려한 multi-step strategies가 필요하다.

An interaction effect that is particularly relevant when CLT is applied to the design of programmes with longer duration is the expertise reversal effect (see overview20). This effect is an interaction between several basic cognitive load effects and level of expertise. Thus, multiple-step strate- gies are needed to sequence instructional methods in such a way that they take the growing level of expertise of learners into account.

Kalyuga 는 전문성이 높아지면 worked example effect는 처음에는 사라지고, 나중에는 역효과가 난다. 지식이 많은 학습자에게 worked example은 redundant하며, 외재적 부하만 가할 뿐이다. 즉, 훈련프로그램은 처음에는 worked example로 시작해서 나중에는 conventional task로 끝나야 한다.

Kalyuga et al.21 demonstrated that, with increasing expertise, the worked example effect first disappears and then reverses. Worked examples become redun- dant for more knowledgeable learners and so impose an extraneous load. These findings suggest that a training programme should ideally start with worked examples and smoothly work up to conventional tasks.

completion strategy 를 비롯한 여러 fading guidance strategies가 스킬 습득의 여러 phase에 걸쳐서 효과적임을 보여주었으며, example-problem pairs를 사용한 전통적 방식보다 학습성과가 높았다.

Renkl and Atkinson24 and Atkinson et al.25 concluded that both the completion strategy and other fading guidance strategies are effective to manage cognitive load throughout the various phases of skill acquisition and yield higher learning outcomes than the traditional use of example-problem pairs.

Kalyuga 는 전문성 수준이 올라갈수록 integrated condition의 장점은 처음에는 사라지고 점차 역효과가 나서 나중에는 separate condision이 integrated condition보다 낫다.

Kalyuga et al.26 demonstrated As levels of expertise increased, the advantage of the integrated conditions first disappeared and eventually reversed with the separate condition being superior to the integrated condition.

경험이 많은 학습자에게 text는 불필요하다. novice에게는 dual mode가 시각정보만 제공된 것보다 낫지만, 경험이 많아지면 청각적 요소는 불필요해지고 없는 것이 낫다.

The text had become redun- dant for experienced learners. Kalyuga et al.27 found that among novices, dual mode, auditory and visual presentations were superior to visual-only presenta- tions, demonstrating the modality effect. With more experience, the auditory component became redundant and was best eliminated.

CONCLUSIONS

2010 Jan;44(1):85-93. doi: 10.1111/j.1365-2923.2009.03498.x.

Cognitive load theory in health professional education: design principles and strategies.

van Merriënboer JJ1, Sweller J.

Author information

1Department of Educational Development and Research, FHML, Maastricht University, Maastricht, The Netherlands. j.vanmerrienboer@educ.unimaas.nl

Abstract

CONTEXT:

Cognitive load theory aims to develop instructional design guidelines based on a model of human cognitive architecture. The architecture assumes a limited working memory and an unlimited long-term memory holding cognitive schemas; expertise exclusively comes from knowledge stored as schemas in long-term memory. Learning is described as the construction and automation of such schemas. Three types of cognitive load are distinguished: intrinsic load is a direct function of the complexity of the performed task and the expertise of the learner; extraneous load is a result of superfluous processes that do not directly contribute to learning, and germane load is caused by learning processes that deal with intrinsic cognitive load.

OBJECTIVES:

This paper discusses design guidelines that will decrease extraneous load, manage intrinsic load and optimise germane load.

DISCUSSION:

Fifteen design guidelines are discussed. Extraneous load can be reduced by the use of goal-free tasks, worked examples and completion tasks, by integrating different sources of information, using multiple modalities, and by reducing redundancy. Intrinsic load can be managed by simple-to-complex ordering of learning tasks and working from low- to high-fidelity environments. Germane load can be optimised by increasing variability over tasks, applying contextual interference, and evoking self-explanation. The guidelines are also related to the expertise reversal effect, indicating that design guidelines for novice learners are different from guidelines for more experienced learners. Thus, well-designed instruction for novice learners is different from instruction for more experienced learners. Applications in health professional education and current research lines are discussed.

Comment in

Medical education and other disciplines. [Med Educ. 2010]

PMID:: 20078759
DOI:: 10.1111/j.1365-2923.2009.03498.x

[PubMed - indexed for MEDLINE]

저작자표시 비영리 변경금지 (새창열림)

'Articles (Medical Education) > 교육이론' 카테고리의 다른 글

Deliberate Practice와 전문적 수행능력의 획득: 일반적 관점(Acad Emerg Med. 2008) (0)	2017.08.25
보건인력교육(HPE)에서 학습커브(Acad Med, 2015) (0)	2017.08.10
이론 프레임워크 리뷰하기: 이론 적용의 퀄리티 판단과 어려움(Med Teach, 2016) (0)	2016.10.24
Consequential validity의 부정적 결과 (Adv in Health Sci Educ, 2015) (0)	2016.09.30
의학의 교수-학습에 관한 논란을 바라보며(Med Teach, 2007) (0)	2016.05.03

PREV 이전 1 ···51 52 53 54 55 56 57 ···82 NEXT 다음