의학교육에서 학습의 개념을 확장시키기: 팀워크의 메시지(Med Educ, 2006)

Broadening conceptions of learning in medical education: the message from teamworking

Alan Bleakley

도입

Introduction

조지 밀러 (George Miller)는 1970 년에 다음과 같이 썼다 : "교육 시스템에서 중대한 역할을하는 의학 연구에 세기가 걸릴 수도있다. 교육 시스템은 Medicine 만큼 광대하고 Ponderous하다."최근 세기의 거의 3 분의 1이지나 갔다. 의학 교육 연구의 현재 상태를 조사한 Academic Medicine의 최근 이슈에서 강조된 것처럼, 밀러 비관론을 검토할 수 있게 되었다. 우리는 학습 이론이 의학 교육에 어떻게 가장 잘 적용될 수 있는지 이해하는 데 더 가까이 다가 가고 있습니까? 특히, 어떤 학습 이론이 헬스케어 팀의 안전한 실천을 가장 잘 나타낼 수 있습니까?

In 1970, George Miller1 wrote: ‘It may require … a century of educational research to produce any significant response in an educational system as vast and ponderous as that which serves medicine.’ Almost a third of that century has passed, marked by a recent themed issue of Academic Medicine (2004; 79) surveying the current state of medical education research, allowing for a considered review of Miller's pessimism. Are we any closer to understanding how learning theories may best be applied to medical education? Particularly, which learning theories best inform safe practice of health care teams?

의학 교육은 단순히 학습이론으로부터 차용하는데 그치지 않고, 문제 기반 학습, 전문성 개발 및 평가에 대한 심리 측정 접근법과 같은 분야에서 연구를 통해 개발에 기여했습니다. 그러나 주목할만한 예외를 제외하고 2-7의 이러한 학습 방법은 일반적으로 임상 실습의 주요 발전을 다루지 못했습니다. 팀에서 동적 인 시스템으로 학습합니다 (시간과 공간에서 작동). 예를 들어, 의학 교육 연구의 동향에 대한 Regehr's8의 비판적인 개관에서 역동적 인 사회 문화적 맥락의 중요성을 강조하는 학습 이론은 부재하는 것에 가깝다. 도제식 시스템을 사용하는 곳에서, 직업 기반의 견습 과정을 통해 특별히 개발 된 학습 모델이 주류 의학 교육에서 더 널리 채택되지 않은 것은 아이러니하다. 이러한 실수oversight에는 조사되지 않은 이데올로기 적 이유가있을 수 있습니다.

Medical education does not simply borrow from learning theories but has contributed to their development through research in areas such as problem-based learning, development of professional expertise and psychometric approaches to assessment. However, with notable exceptions,2–7 these approaches to learning have not generally addressed a major development in clinical practice: learning in teams as systems that are dynamic (operating through time as well as in space). For example, in Regehr's8 critical overview of trends in medical education research, references to theories of learning that stress the importance of dynamic socio-cultural context are notable by their absence. Further, where medicine is an apprenticeship system, it is ironic that models of learning specifically developed from studies of work-based apprenticeship9–12 have not been more widely employed in mainstream medical education. It may be that there are unexamined ideological reasons for this oversight.

의학 교육에서 가장 일반적으로 적용되는 학습 이론은 고립된 개인에 초점을 맞춘 학습 이론이며, 학습에 관한 사회 문화적 맥락을 강조하는 경우는 적다. 전자에 포함되는 것에는 다양한 종류의 성인 학습 이론, 경험 학습, 성찰적 연습 등이 있다. 이러한 접근법에서 학습자는 의학의 전통적 자율성에 공감하는 active agent로 간주된다. 이러한 personal agency의 개념은 학습자가 사회적, 역사적 담론의 대상으로 간주되는 학습의 사회 문화적 모델에 의해 도전을 받게 되었는데, 학습의 사회문화적 모델에서는 cognition이 사람에 위치하기보다in person, 연습 공동체를 구성하는 사람들과 인공물에 걸쳐 분산되어있는 것으로 기술된다.

The most commonly applied learning theories in medical education continue to be those that focus upon an isolated individual rather than the sociocultural context for learning. The former include varieties of adult learning theory,13–15 experiential learning16 and reflective practice.17 In these approaches, the learner is viewed as an active agent, resonating with medicine's tradition of autonomy. Such a notion of personal agency is challenged in sociocultural models of learning, where the learner is viewed as subject to social and historical discourse, and cognition is described as distributed across people and artefacts making up a community of practice, rather than situated ‘in’ persons.

개인주의 학습 모델은 또한 '이론'으로서의 지위와 같은 인식론적 주장에 대한 광범위한 교육 문헌에서 비판적으로 검토되었다. 18-21 "성인 학습 이론"이라는 descriptor는 약 20 년 전에 영향력있는 논문에서 도전을 받았다. Davenport는 'andragogy(성인 교육)'과 'pedagogy(어린이 학습)'의 구별에 대한 개념적 근거와 경험적 증거가 모두 결여되어 있다고 결론 지었다. Davenport는 연구 증거가 '이론이나 입증 된 방법으로서의 ... andragogy를지지하지 않는 것'으로 결론 지어서 일부 교육자들은 '단순히 그 말을 포기해야한다'고 결론 지었다 .18) Norman은 의학 교육에서 성인 학습 이론은 경험적 연구에 개방된 이론의 지위를 얻지 못하는 '교육 전략의 가벼운 연합'으로 묘사합니다.

Individualistic learning models have also been critically reviewed in the wider education literature for their epistemological claims, such as status as ‘theory’.18–21 The validity of the descriptor ‘adult learning theory’ was challenged nearly 20 years ago in an influential article by Davenport,18 who concluded that the distinction between ‘andragogy’ (adult learning) and ‘pedagogy’ (child learning) was unfounded, lacking both a conceptual basis and empirical evidence. Davenport concluded that where research evidence did ‘not appear to support … andragogy as a theory or proven method’, this had led some educationalists to ‘simply drop the word.’18 Within medical education, Norman22 describes adult learning theory as a flimsy association of educational strategies that fails to gain the status of a theory open to empirical investigation.

학습의 또 다른 'Mantra'(쉽게 부름 받았지만, 비판적으로 또는 경험적으로 거의 고려되지 않은)는 '성찰적 실천'이다. Schon은 성찰적 학습에 대해 설명에 불확실하고, 고유하고, 가치적 맥락에서의 학습을 구체적으로 다루지만, 시스템의 역동적인 관점에서가 아니라 개인의 관점에서만 다루고 있다. 이것은 팀의 일상적 사용에서 인공물에 의해 중재 된 팀원들 (환자의 마약 차트 등) 간의 정보 흐름을 포함하여 중요한 요소를 놓치게됩니다.

Another ‘mantra’23 of learning (readily invoked but rarely considered critically or empirically) is ‘reflective practice’. Although Schon's account of reflective learning specifically addresses learning in contexts of uncertainty, uniqueness and value context, it does so only from the individual's perspective and not from the perspective of systems dynamic.17 This misses critical elements, including the flow of information between members of a team mediated by artefacts in daily use by that team (such as patients' drug charts). 

'성찰적 실천'은 교육 내에서 더 정제될 수 있는 기술어 이며, 여기서 용어는 대조적인 인식론에 기반한 다양한 사례를 설명하기 위해 느슨하고 비판적으로 사용되었습니다. Schon의 원래 모델은 또한 가치에 대해 성찰적이지 못하다. 특히 의학 교육 문헌에서는 이러한 primary text에 대한 긴밀하고 비판적인 읽기가 부족하며, 최근이 되어서야 성찰적 연습의 구성 요소가 체계적으로 분석되었다 .26 성찰적 실천은, 역설적으로, 전혀 성찰적이지 않게 사용되어왔다.

It has been argued that ‘reflective practice’ is a descriptor that could be refined within education,20 where the term has been used loosely and uncritically to describe a variety of practices based on contrasting epistemologies.6,20,23–25 Schon's original model also fails to be reflexive about the values that inform it.20 In the medical education literature in particular there is a lack of close and critical reading of such primary texts, and it is only recently that reflective practice has, for example, been systematically analysed for its component parts.26 Reflective practice has, paradoxically, been employed unreflectively.

'경험적 학습'은 비판적 관심을 회피한 보이는 또 다른 개념이다. 콜브의 경험적 학습의 반성적 순환 모델은 검증 가능한 이론 이라기보다는 상식적인 descriptor로 비판 받아 왔으며, 팀이나 시스템이 아닌 개별 학습자에게만 집중함으로써 설명의 범위가 약화되었다. Rowland는 "성찰"과 "학습"이라는 용어가 사회적 관계의 권력에서 의미를 파생시키는 방식을 고려하지 못한다고 지적했다. Kolb의 경험학습 사이클은 역설적으로 경험이 발생하고 경험을 형성하는 사회적 맥락을 무시하는 '경험'의 모델입니다.

‘Experiential learning’ is another notion that appears to by-pass critical attention. Kolb's16 model of a reflective cycle of experiential learning has been criticised as a commonsense descriptor rather than a testable theory, and is again weakened in its range of explanatory power by its grounding only in the individual learner and not the team or system, where, as Rowland19 notes, it then fails ‘to consider the ways in which such terms as “reflection” and “learning” derive their meaning from social relations of power’. Kolb's experiential learning cycle is then a model of ‘experience’ that paradoxically neglects the social context in which that experience occurs and which also serves to shape the experience.

헬스케어에서 전문직간 팀웍, 시스템 기반 환자 안전, 조직 학습을 강조함에도 불구하고, 학습의 개인주의 모델은 의학 교육에서 계속 특권을 누리고있다.

Despite an emphasis in health care upon the benefits of interprofessional teamwork,27,28 systems-based patient safety2–4,7,29,30 and organisational learning,3,4,7,29,30 individualistic models of learning ...continue to be privileged within medical education.31–33 

예를 들어 Rolfe와 Sanson-Fisher는 '의학 교육 및 관련 행동 과학 문헌 검색'이 임상 기술을위한 구조화 된 학습 도구를 개발하는 '기초'를 제공하는 방법을 설명합니다. 문헌은 '학습에 대한 개별적인 초점은 적절하며 ... 성인 학습이라는 생각과 일치한다'고 지적했다. 그러나 이러한 검색은 '최고의 증거'를 투명하게 드러내는 것이 아니라, 인용을 통해 그 자체를 재현하는 문헌의 기존 편견을 강화하는 데에만 기여한다. 인공 호흡 팀 활동과 같이, 협력적 임상 기술에 대해 경우, 우리는 그러한 맥락에 대한 설명력과 예언력을 가진 학습 이론을 필요로합니다. 이것은 대부분의 의료 과오가 시스템을 기반으로 발생하며, 팀워크의 질이 환자 결과 향상과 관련되어있는 헬스케어에서 불가결한 것이다.

For example, Rolfe and Sanson-Fisher32 describe how ‘a search of the medical education and relevant behavioural science literature’ provided ‘the foundations’ to develop a structured learning tool for clinical skills. The literature indicated that ‘an individual focus to learning is appropriate … consistent with the idea of adult learning’. However, such a search is not a transparent revelation of ‘best evidence’ but may serve to reinforce existing bias in the literature that then reproduces itself through citation. Where clinical skills are collaborative, such as resuscitation team activity, we need learning theories with explanatory and predictive power for such contexts. This is a health care imperative, where the majority of medical errors are systems-based34 and quality of teamwork is linked with improving patient outcomes.35 

다시 말하면, 임상 팀 및 조직과 같은 complex adaptive systems에서의 학습에 대해서 다양한 성인 학습 이론은 완전한 정보를 줄 수 없다. 이것은 사회 문화적으로 더 잘 이해 될 수 있으며, 왜냐하면 이는 역사적으로 중재 된 업무 관행에 대해 legitimate entry이기 때문이다

Again, learning in complex adaptive systems such as clinical teams and organisations cannot be fully informed by varieties of adult learning theory, but may be better understood socio-culturally as legitimate entry into historically mediated work practices.

학습에 대한 두 가지 접근

Two approaches to learning

개인주의적 학습이론과 사회 문화적 학습 이론을 서로 대립되는 것으로 만드는 것은 도움이 되지 않는데, 어느 한 세트의 이론을 쉽게 특권으로 삼을 수 있기 때문이다. 오히려 우리는 이론을 설명력과 예언력으로 적절하게 고려할 수 있으며, (성찰, 모호함에 대한 내성, 암묵적 지식이 어떻게 개별적으로 그리고 집단적으로 조직되는지 등에 대해) 여러 이론의 전반에 걸쳐 공유 된 원칙을 도출 할 수 있다. 학습 이론에서 다양한 접근법들은 생산적인 긴장 상태에 있다고 볼 수있다.

Creating an opposition between individualistic and socio-cultural learning theories is unhelpful as we may readily come to privilege one set of theories over another. Rather, we can consider theories as fit-for-purpose by their explanatory and predictive power and we can also draw out shared principles across families of theory, such as the value of reflection and of tolerance of ambiguity, and of understanding how tacit knowledge is organised individually and collectively. Differing approaches in learning theory can, however, be seen to be in productive tension. 

Sfard36은 학습을위한 두 가지 유익한 설명 : '취득'과 '참여'.

• '취득 (Acquisition)'은 지식의 재생산을 광범위하게 묘사하며, 여기서 학습은 개인의 지식 탐색과 정보 침강으로 간주됩니다. 여기서 지식은 개인 자본으로 취급 될 수 있습니다.

• '참여'는 협력 공동체에서 합법적 인 참여의 적극적인 과정으로서 협업 지식 생산을 설명합니다. 여기서 학습은 축적 행위가 아니라 ('전문적'지위로의 이동과 같이) 정체성 구축 과정에서 (역할을 통한) 참여로 재구성된다.

Sfard36 outlines two helpful metaphors for learning: ‘acquisition’ and ‘participation’. 

• ‘Acquisition’ broadly describes knowledge reproduction, where learning is seen as information seeking and sedimentation of knowledge in individuals. Here, knowledge may be treated as private capital. 

• ‘Participation’ describes collaborative knowledge production as an active process of legitimate engagement in a community of practice. Here, learning is reconfigured not as an act of accumulation but of participation (through role) in a process of identity construction such as movement to ‘expert’ status.37

Sfard는 각 접근법마다 합목적성이 있으므로, 어느 접근법도 다른 접근법보다 특권을 가져서는 안된다고 경고한다. 그러나 모델의 특권은 합목적적 주장에서 나온 것이 아니라 이데올로기 적 편향으로부터 나온 것일 수있다. 학습 이론은 value-free하지 않다. Max Weber가 개신교 - 자본주의 복합체로 묘사한 학습 경제학에서 지식은 필수품 및 사유 재산으로 취급되며, 학습은 개신교 직업 윤리와 연결된 개별 기업이다. '자율성', '자기 주도적 학습', '자기 평가'는 그런 경제에서 합법적 인 통화입니다.

Sfard is careful to warn that neither approach should be privileged over the other as each approach will be fit-for-purpose. However, the privileging of models may not follow from a fit-for-purpose argument, but from ideological bias. Learning theories are not value-free. In a learning economy subject to what Max Weber described as a protestant-capitalist complex, knowledge is treated as commodity and private property, and learning is an individual enterprise linked to the protestant work ethic. ‘Autonomy’, ‘self-directed learning’ and ‘self-assessment’ are then legitimate currency in such an economy. 

사실, 이러한 접근법은 value preference가 evidence보다 우선시되는 곳에서 naturalized 되기도한다 (자명하게 'good'한 것이 'true'가 되곤 한다.). 예를 들어 전문성과 윤리적 실천에 대한 강조가 커지면서 자부심을 보이는 의학 교육에서는 '자기주도성'이 꾸준히 부각되지만, 부실한 의사조차 자기 주도적 태도를 취할 수 있습니다. 학습에서의 자율성은 사회적 양심을 동반해야하며, peer feedback이 자기평가의 완급을 조절해야 한다.

Indeed, these approaches become naturalised (taken to be self-evidently ‘good’ and therefore ‘true’), where value preference precedes evidence. For example, ‘self-direction’ is consistently applauded in a medical education culture that prides itself on a growing emphasis upon professionalism and ethical practice, yet poorly performing doctors can be patently self-directed. Autonomy in learning must be accompanied by a social conscience and peer feedback must temper self-assessment.

역설적이게도 팀워크 학습의 필요성이 인식되는 곳에서는, 분산 된인지보다는 개인적인 이론적 기준이 주요한 기후에서 일어날 수 있습니다. Medicine이 직장 기반 학습을 포함하는 견습 인 경우, Guile과 Young은 ''개인주의적 가정들'은 사회화, 정체성 구축과 팀 기반 활동의 사회적 맥락에서 발생하는 전문 지식 학습 간의 관계를 설명 할 수 없다라고 주장한다.

Where the need for teamwork learning is recognised, paradoxically this may still occur within a climate whose main tacit theoretical reference is individual, rather than distributed, cognition. Where medicine is an apprenticeship involving work-based learning, Guile and Young11 argue, ‘individualist assumptions’ cannot account for the relationships between socialisation, identity construction and learning of expertise that occur in the social contexts of team-based activity. 

'습득'은유를 이용한 학습 이론과는 달리, 집단주의적 학습 경제는 협동 학습이 특혜인 '참여'의 은유를 naturalize시켰다. 

• 놀랍지 않게도 자본주의 심리학 특권 피아제 (Piaget)와 콜 버그 (Kohlberg)와 같은 개인 구성 론적 모델에,

• 집단주의적 러시아 (소비에트) 심리학은 비고츠키 (Vygotsky)와 레오 티에프 (Leontiev)와 같은 사회적 구성 주의적 모델에 특권을 부여한다.

In contrast to learning theories drawing on an ‘acquisition’ metaphor, collectivist learning economies have naturalised the metaphor of ‘participation’, where collaborative learning is privileged. Unsurprisingly, 

• capitalist psychology privileges individual constructivist models such as those of Piaget and Kohlberg, 

• where collectivist Russian (Soviet) psychology privileges social constructivist models such as those of Vygotsky and Leontiev.38

이전에 언급했듯이, '마음은 어디에 있습니까?'라는 질문에 대답하면서, 사회 문화적 학습 모델은 '마음'은 사람 안에있는 것이 아니라 사람과 인공물에 분산되어 있다고 가정합니다. 예를 들어, 기억은 단순히 개인에 내재한 것이 아니라 컴퓨터에 있고 집단적으로 관행을 취하는 의식과 새로운 구성원이 사회화되는 의식에 있습니다.

As noted earlier, in answering the question: ‘Where is mind?’, socio-cultural models of learning assume that ‘mind’ is not just in the person, but distributed across persons and artefacts. For example, memory is not simply located in individuals but in computers and in collectively held practices and rituals into which new members of teams are socialised. 

병동에 대한 컨설턴트 및 사전 등록 하우스 임원의 상호 작용에 대한 연구에서 컨설턴트는 인터뷰에서 "작은 책"이 주니어 의사가 보관하고 한 회전에서 다음 회전으로 전달 된 팀을 알고 있다고보고했습니다. 이 책에는 팀을 이끌어 온 컨설턴트의 특이성에 대한 설명이 포함되어 있습니다. 인터뷰 대상자는이 책의 목적이 주니어 의사가 컨설턴트가 정한 특정 분위기particular climate에 적응하도록 돕는 것이라고 제안했습니다.

In a study of consultant and pre-registration house officer interactions on wards,39,40 a consultant reported in interview that he knew of teams where a ‘little book’ was kept by junior doctors and passed on from one rotation to the next. This book contained descriptions of the idiosyncrasies of consultants who had led the team. The interviewee suggested that the purpose of the book was to help the junior doctor to adjust to the particular climate set by the consultant. 

소아과 병동에서의 팀 토크에 관한 연구에서, 41'common knowledge '는 습관적 팀 관행을 채택하도록 신입 회원을 설득하는 수사학 전략을 통해 팀원들에 의해 영구적으로 협상됩니다. 여기에서 'common knowledge'은 개별 팀 구성원이 작업 상황에 가져올 수있는 recollection의 합계 이상입니다. 이것은 팀이 가진 대화식 'remembering'의 속성입니다. 기억은 '공동으로 실현 된 활동'이므로 개인의 인식보다는 분산 된 것으로 생각됩니다.

In a study of team talk on a paediatric ward,41‘common knowledge’ is permanently negotiated by members of the team through rhetorical strategies that persuade newcomers into adopting habitual team practices. Here, ‘common knowledge’ is more than the sum of any recollections individual team members might bring to the work situation. It is a property of the team's conversational ‘rememberings’. Remembering is ‘a jointly realised activity’, thus conceived as distributed rather than individual cognition. 

팀의 신규 구성원은 일화로 전해져 오는 팀 캐릭터의 역사적 측면에 관심을 기울이며, 신속하게 '유연한 전문 지식'을 습득해야합니다. 여기서 배우는 것은 단순히 수동적 인 기술 축적과 축적이 아니라 지식이 재 개념화 된 사회 참여 활동이다.

A novice in the team must quickly gain ‘flexible expertise’, including attention to the historical aspect of the team's character, which is transmitted as anecdote. Here, learning is not simply passive accumulation of skill and knowledge, but an activity of social participation in which knowledge is reconceptualised.

활동 이론

Activity theory

개인주의 학습 이론은 학습자를 선택 의지와 선택에 중점을 둔 활동의 중심에 위치시킵니다. 이 모델은 전통적인 성격 심리학에 기초를두고 있으며, 변하지 않는 학습 스타일의 모델과 일치합니다. 그러한 모델은 또한 학습을 ​​발달 적으로 바라 보는 경향이있어서 특정 학습 방법이 특정 발달 단계에 적절할 수 있다. 예를 들어, 초보자에서 전문가로 전환하는 과정에서 패턴 인식을 통해 종합적 또는 전체론적 학습에 종사하는 암묵적인 지식이 부족하기 때문에 분석 원리에 기반한 'building block'의 학습이 권장 될 수 있습니다.

Individualistic learning theory places the learner at the centre of the activity, putting emphasis upon agency and choice. This model is grounded in traditional psychologies of personality and then aligns itself with models of invariant learning styles.42 Such models also tend to view learning developmentally so that certain approaches to learning may be appropriate for a developmental stage. For example, in the transition from novice to expert, analytic principles-based ‘building block’ learning may be encouraged as there is a lack of tacit knowledge upon which to engage with synthetic or holistic learning through pattern recognition. 

사회 문화적 접근 방식은 학습자를 복잡한 활동 시스템의 한 측면으로 보고, 학습이 학습 과정을 상황에 민감한 것으로 재구성합니다. 여기서 팀 역학과 같이 활동 전반에 대한 접근성이 중요합니다. 여기서는, 문제 중심 학습과 마찬가지로 학습자의 발달 단계는 보다 넓은 원칙에 부수적 인 것으로 간주되는데, 이 원칙이란 '사람과 인공물에 걸쳐 분포 된 지식에 대한 합법적인 접근'을 말한다. 이것은 인지적 동화 작용이면서, 적응적인 사회적 과정이며 일반적인 의사 소통 능력을 끌어 낸다.

Socio-cultural approaches see the learner as one aspect of a more complex activity system and then reconfigure learning as sensitivity to context, where gaining access to an overall picture of activity, such as a team dynamic, is crucial. Here, as in problem-based learning, the developmental stage of the learner is considered secondary to a wider principle, that of gaining legitimate access to knowledge that is distributed across persons and artefacts. This is an adaptive social process as much as a cognitive assimilation event and draws on generic communication capabilities. 

'Knowing'은 환자 레코드를 업데이트하기 위해 병동의 병동 팀을 모으는 협조적인 데이터를 사용하는 것과 같은 합법적인 참여로 재구성됩니다. 더 나아가, 개인은 사회적 활동의 산물로 간주되고 고정 된 유형보다는 유체 및 다중 정체의 관점에서 설명됩니다.

‘Knowing’ is reconfigured as legitimate participation, such as engagement with the collaborative data gathering of a bedside ward team to update patient records. Further, the individual is seen as a product of social activity and accounted for in terms of fluid and multiple identities rather than fixed types.10

학습 이론을 '습득'에서 '참여'로 확대한 가장 중요한 발전은 역동적인 사회적 맥락에서 배우는 것을 의미하는 activity theory이다. Activity theory의 두드러진 버전은 cultural-historical activity theory (CHAT)으로 불리는 일군의 모델로서, 이산 작업 기반의 사회적 맥락 ( 'activity system')을 분석의 기본 단위로 취합니다. 활동 시스템의 구성 요소가 그림 1에 나와 있습니다.

The most significant development in expanding learning theory from ‘acquisition’ to ‘participation’, accounting for learning in dynamic social contexts, is activity theory.6,38,43–47 A prominent version of activity theory, a group of models often referred to as cultural-historical activity theory (CHAT),47 takes a discrete work-based social context (an ‘activity system’) as the basic unit of analysis. The components of an activity system are shown in Fig. 1. 

이 분야의 핵심적 이론가인 Yrjo Engestrom은 knowledge reproduction보다 knowledge production을 설명하는 'expansive learning'이라는 개념을 도입했다. 학습자는 단지 수동적인 방법으로 커뮤니티나 활동 시스템이 보유한 지식으로 단순히 사회화되지 않습니다. 오히려 참여는 필연적으로 시간이 흐르면서 변화를 통해 생산 가능성을 제공하는 이미 불안정한 시스템에 대한 교란으로 작용합니다. Practitioner가 그러한 역동적인 상황에서 창조적으로 작업하기 위해서는 높은 tolerance of ambiguity가 요구되며, 이러한 tolerance는 개인적, 집단적으로 유지됩니다.

Yrjo Engestrom,38,43–46 the central theorist in the field, has introduced the notion of ‘expansive learning’38 to account for knowledge production rather than reproduction. The learner is not simply socialised into the knowledge held by a community or activity system in a passive manner. Rather, participation necessarily acts as a disturbance to an already unstable system that offers productive possibilities through change over time. High tolerance of ambiguity is demanded for practitioners to work creatively within such dynamic contexts and such tolerance is held both individually and collectively. 

Middleton은 임상 팀에서 표면적으로 '논쟁적인 (argumentative)'대화로 보이는 것은 '집단 지성 (collective intelligence)'의 협상으로 재구성 될 수 있다고 지적했다. 이러한 의미에서 '딜레마' 대화는 해결해야 할 문제가 아니라 자원이며, '불확실성은 혁신의 적이 아니기 때문'이다.

Middleton notes that what on the surface appears to be ‘argumentative’ talk in a clinical team can be reformulated as negotiation of a ‘collective intelligence’. In this sense, such ‘dilemmatic’ talk becomes a resource rather than a problem to be solved, where ‘uncertainty is far from being the enemy of innovation’.41

Engestrom은 환자를 공유하는 다른 건강 및 사회 케어 팀과 같은 특정 활동 시스템 내에서 work-based learning에 중점을 둡니다. 모든 활동 시스템에는 '대상'(관심 대상 - 임상 팀에서 환자 임)과 목표 (환자의 요구 사항 충족)가 있습니다. 그들은 이 목표를 다른 팀과 공유 할 수 있습니다. 활동 이론은 특히 'boundary object'(공통 관심사)을 공유하고 'boundary crossing'(여러 팀이 환자 치료와 같은 공통 관심사를 공유하더라도, 과연 서로의 활동을 이해할 수 있는지)를 공유하는 팀간에 학습이 이루어지는 방식에 특히 관심이 있습니다.

Engestrom focuses upon work-based learning within specific activity systems such as differing health and social care teams sharing a patient.43–46 Every activity system has an ‘object’ (the focus of interest – in clinical teams this is the patient) and objectives (meeting the needs of the patient). They may share this object with other teams; activity theory is particularly interested in how learning occurs across teams sharing a ‘boundary object’ (common interest) and involving ‘boundary crossing’ (can teams understand each other's activities, although they may share a common concern such as patient care?).44 

그러한 학습 모델은 interprofessional care 분야에서 쉽게 적용되고 시험 될 수있다. 예를 들어, 헬스케어에서 여러 팀이 공동 관심사 (대상)가 있음에도 불구하고 서로의 활동을 완전히 인식하지 못하는 상황이 쉽게 관찰 될 수있다. 예를 들어, 와드 및 운영 극장 팀 또는 건강 및 사회 복지와 같은 다른 기관의 팀은 공유 된 환자에 대해 완전하게 의사 소통하지 못할 수 있으며 정보를 복제하고 격리 할 수 ​​있습니다. Engestrom의 활동 이론은 협동 적 탐구의 한 종으로서, 행동과 반성의 순환을 통해 시험되고 세련되며, 헬싱키 헬스 서비스에서 만성 다발성 질환 환자에 대한 기관 간 협력 팀 관리를 알리기위한 목적에 맞는 모델로 채택되었습니다.

Such models of learning can be readily applied and tested in the field of interprofessional care.48 Teams may not, for example, be fully aware of each other's activities despite their common concerns (objects) and this is readily observed in health care. For example, a ward and operating theatre team, or teams from different agencies such as health and social services, may fail to communicate fully about their shared patients, and both duplicate and sequester information. Engestrom's version of activity theory is a species of collaborative inquiry, tested and refined through cycles of action and reflection, that has been adopted by the health service in Helsinki as a fit-for-purpose model for informing inter-agency collaborative team care of chronic, multiple illness patients.45

학습은 명백한 사용 가치 (기술)와 교환 가치 (전문 지식)를 지니고 있지만, 상징적 가치 (지위)를 지니고 있으며, 직업적 정체성 구축을 통해 문화적 자본을 제공합니다. 활동 이론은 work-based practices 과 정체성 관리가 역사적으로 결정된 역할 및 규칙과 어떻게 관련되어 있는지를 통해 어떻게 정체성이 구성되는지를 고려합니다. 정체성 형성은 단순히 "일을 하는 것"이나 일을 '생각하는'것 뿐만 아니라, '자세히 말하기'또는 이야기이기도 하다. 여기서 직업은 연습 커뮤니티 내에서 이미 순환하는 일련의 이야기 내에서 자신과 다른 사람들에게 이야기됩니다.

Learning has obvious use value (skills) and exchange value (expertise), but also has symbolic value (status), offering cultural capital through professional identity constructions. Activity theory considers how identities are constructed through work-based practices and how management of identity relates to historically determined roles and rules. Identity formation is not an aspect of simply ‘doing’ the job, or even ‘thinking’ the job, but also of ‘recounting’ or story, where the job is narrated to oneself and to others within a set of stories already circulating within the practice community.49 

다원적 인 팀에서는 practitioners는 수사 전략을 사용하여 자신과 상대방의 역할과 정체성을 확인합니다. 이것은 그들 자신을 위한 것일 뿐만 아니라, '타자'의 역할에 대한 고정 관념이 되기도 한다. 이 학습은 전문적이고 윤리적인 실천의 정체성 형성에까지 이릅니다. 그러한 윤리적 '자기 형성'의 모델은 '성찰적 실천'의 관례에 대한 보완 적 접근을 제공한다.

In multiprofessional teams, practitioners use rhetorical strategies to confirm role and identity, not only for each of themselves but also for others, often serving to stereotype the role of the ‘other’ in the team.50 This learning extends to a ‘shaping’ of identity as professional and ethical practice.51 Such models of ethical ‘self-forming’ offer supplementary approaches to conventions of ‘reflective practice’.

활동 이론은 학습이 공간 (식별 가능한 사회적 맥락)에서뿐만 아니라 시간 (동적 시스템)을 통해 어떻게 발생하는지에 대한 검증 가능한 모델을 제공합니다. 이 모델의 특별한 힘은 환자라는 같은 목표를 공유하는 다른 활동 시스템이 어떻게 상호 작용하는지 예측할 수있는 능력에 달려 있습니다. 활동 이론은 practice의 결과를 잘 다루지만 practitioner가 처음으로 활동 시스템에 합법적으로 진입하는 방법 (사회화)을 적절하게 설명하지는 않습니다.

Activity theory offers a testable model of how learning occurs not only in space (identifiable social contexts), but also through time (dynamic systems). The particular power of the model rests with its ability to predict how differing activity systems may interact where they share an object, such as a patient. While activity theory deals well with the outcomes of practice, it does not, however, adequately explain how practitioners first gain legitimate entry into activity systems (socialisation).

인지적 도제 및 분산된 인지

Cognitive apprenticeship and distributed cognition

Lave와 Wenger9는 도제 과정에서 초심자가 어떻게 연습 공동체에 legitimate entry를 얻게 되는지 설명합니다. 견습 과정에 대한 폭 넓은 이해는 최근에 혁명을 겪었습니다. 

• 오래된 도제 모델은 단순히 노출을 통한 경험에 의한 '몰입 형'학습을 강조했습니다. 

• 새로운 도제 모델, '인지 도제' 모델은 초심자가 전문 지식을 습득하는 과정에서 단순히 '일하는 법'을 배우는 것이 아니라 어떻게 직업을 think하고 recount하는지를 배운다고 강조한다. 

이전에 언급했듯이, 일하고 생각하고 자세히 말하면 여러 신원 형성을위한 매트릭스로 밀접하게 연결되어 있습니다.

Lave and Wenger9 describe how, in apprenticeships, novices gain legitimate entry to a community of practice. Our wider understanding of apprenticeship has recently undergone a revolution.11,12 

• Old apprenticeship models stressed ‘immersion’– learning by experience simply through exposure. 

• New apprenticeship, or ‘cognitive apprenticeship’,9 models stress that novices do not simply learn how to ‘do’ the job as they gain expertise – they also learn how to ‘think’ and ‘recount’ the job. 

As noted earlier, doing, thinking and recounting are intimately linked as matrices for multiple identity formation.

의학의 도제 과정에서 모든 초기 업무 중심 학습은 반드시 임상 팀 멤버쉽면에서 short-lived합니다. 처음에는, 의대생과 의사는 전문 팀의 역동성에 거의 영향을 미치지 않는 것처럼 보입니다. 그러나 활동 이론에 따르면 임시적인 팀 구성원이 습관적 관습에 새로운 시각을 불러 일으켜 활동 시스템의 확장을 시작할 수 있으며, 이것은 병동 회진의 비디오 테이프 분석을 통해 경험적으로 확인되었습니다.

In a medicine apprenticeship, all early work-based learning is necessarily short-lived in terms of membership of a clinical team. At first sight, the medical student and junior doctor would seem to have little impact upon the dynamic of an expert team. However, activity theory predicts that temporary members of teams can bring a fresh eye to habitual practices, initiating expansion of the activity system, and this has been empirically confirmed through videotape analysis of ward rounds.39,40 

Ward-based learning은 '지식, 기술 및 이해의 점진적 획득'으로 요약되었으며, '일정한 지식, 기술 및 이해 수준이 달성되었을 때' 연수생은 유능한 실무자로 간주됩니다. 이는 학습의 전통적 송수신('습득') 관점에서 전형적이다. 이러한 견해는 사회 문화적 요소를 포함하도록 확대 될 수 있으며, 학습은 전문가의 성과에 참여하는 역할에 대한 접근성 향상과 관련된 활동으로 구성됩니다.

Ward-based learning has been summarised as ‘the progressive acquisition of knowledge, skill and understanding’, where ‘the trainee is regarded as a competent practitioner when a given level of knowledge, skill and understanding has been achieved’.52 This is typical of conventional transmission-reception (‘acquisition’) views of learning. Such a view can be expanded to include socio-cultural elements, where learning is framed as an activity involving increased access to participating roles in expert performance.

복잡하고 적응적 시스템에서 역동적 학습

Dynamicist learning in complex, adaptive systems

complexity theory에 의한 학습에 대한 이해에 대한 공헌과 관련하여이 장에서 전개 할 추가 장이 있습니다. 이것은 별도의 논문을 보증하며, 현대 교육 이론이 의학 교육에 기여할 수있는 가능성의 지평으로 요약 될 수 있습니다. 이 기여를 이해하려면 정보 이론과 같은 분야에서 메타포를 동화시켜야합니다.

There is a further chapter to unfold in this account, which concerns the contribution to understanding of learning made by complexity theory. This warrants a separate paper and here can only be summarised as a horizon of possibility in the contribution of contemporary learning theory to medical education. Understanding this contribution requires assimilation of a set of metaphors from disciplines such as information theory. 

요약서는 표 1에 나와 있습니다. '습득'과 '참여'의 은유가 이 토론 자료에서 목적을 달성했지만 참여 학습의 종류를 구별하기 위해서는 더 세밀한 은유가 필요합니다. 이러한 은유는 의학 교육을 알려주고 복잡성 이론을 보건 의료 시스템의 관리에 적용하는 것에 대한 현재의 관심을 보충하는 총체적인 '역동성 모델dynamicist’ model'을 제시한다

A summary is offered in Table 1. While the metaphors of ‘acquisition’ and ‘participation’ have served a purpose in this discussion paper, a finer set of metaphors is needed to differentiate between kinds of participative learning. Such metaphors describe a holistic ‘dynamicist’ model53 to inform medical education, supplementing current interest in the application of complexity theory to management of health care systems4

Dynamicist models 은 학습이 자연스러운 시스템 기반 활동으로 시간이 흐르며 발생한다고 설명합니다. 학습은 상황에 따라 'situated'한 것으로 간주되므로 실험실이 아닌 실제 발생 장소에서 학습됩니다. 분석의 기본 단위는 시간을 통해 작동하는 functional team으로 간주됩니다. 역동적 사고는 연결주의적 사고connectionist thinking와 대조 될 수 있는데 (표 1), 후자는 역설적으로 팀 활동의 의미를 만드는 것에 대해서 지배적인 경향이 있다.

Dynamicist models describe learning as a naturalistic, systems-based activity occurring in time. Learning is assumed to be ‘situated’ or specific to context and is therefore studied where it actually occurs and not in the laboratory. The basic unit of analysis is taken to be a functional team operating through time. Dynamicist thinking can be contrasted with connectionist thinking (Table 1), where the latter, paradoxically, tends to be the current dominant mode for making meaning of team activity. 

• 연결주의는 부분에서 전체로 작동하며, 시간으로부터 추출된다. 이것은 개별 모듈이 코스를 구성하고, 학습이 미세하고 정밀한 결과로 원자화되는 방식의 커리큘럼에 반영됩니다. 이러한 결과는 그러한 목표 (생산)를 재정의 할 수있는 학습을 장려하기보다는 합법적으로 학습 (재생산) 할 수있는 것을 정의합니다. 

• 대조적으로, Dynamicism은 시스템 전체를 파악하려고 시도하는데, 특히 시스템의 창 발적인 속성이나 상황이주는 잠재력 (잠재력)에 집중합니다. 성과는 쉽게 처방prescribed되지 않으며, 내용에 대한 학습 뿐만 아니라 프로세스 학습을 구현해야합니다.

• Connectionism works from the parts to the whole and abstracts from time. This is mirrored in curriculum thinking, where discrete modules make up courses and learning is atomised in terms of finer and finer outcomes. These outcomes define what can be legitimately learned (reproduction) rather than encouraging learning that may redefine such goals (production). 

• In contrast, dynamicism attempts to grasp the system as a whole, concentrating particularly upon the emergent properties of the system, or what the occasion ‘affords’ (its potential). Outcomes are then less easily prescribed and must embody process learning as well as content.54

결론

Conclusions

어떤 하나의 학습 이론도 의학에서 발견 된 모든 임상 사례에 대해 충분한 설명력과 예측력을 가지고 있지는 않습니다. 그러나 개인이 어떻게 학습하는지에 기반한 학습 이론 계열은 팀워크와 같이 역동적이고 종종 위험이 높은 상황에서 안전 관행을 알리기 위해 보완되어야합니다. 우리는 확립 된 지식이 어떻게 구성되고 재현되는지뿐만 아니라, 본질적으로 불안정하고 복잡한 시스템에서 새로운 지식이 어떻게 생산되고 협력되는지를 알아야합니다. 그러한 시스템에서 학습이 어떻게 발생 하는지를 설명 할 때, 개인의 인식에 중점을 둔 학습 이론보다 사회 문화적 학습 이론이 훨씬 강력합니다. 그러나 그러한 모델은 아직 개인주의 학습 이론이있는 방식으로 의학 교육에 완전히 포함되어 있지 않다. 이것은 의학 내에서의 강력한 자율성 전통에 의해 설명 될 수 있습니다.

No single learning theory has enough explanatory and predictive power to inform the range of practices found in medicine. However, the family of learning theories based on how an individual learns needs to be supplemented to inform safe practice in dynamic and often high-risk contexts such as teamwork. We need to know not only how established knowledge is constructed and reproduced, but how new knowledge is produced and held collaboratively in inherently unstable, complex systems. Socio-cultural learning theories are more powerful than those oriented to individual cognition when it comes to explaining how learning occurs in such systems. However, such models are not yet fully embedded in medical education in the way that individualistic learning theories are. This can be explained by the strong tradition of autonomy within medicine.    

Med Educ. 2006 Feb;40(2):150-7.

Broadening conceptions of learning in medical education: the message from teamworking.

"직업": 의학교육자를 위한 Working definition (Teach Learn Med, 2004)

“Profession”: A Working Definition for Medical Educators

Sylvia R. Cruess

Centre for Medical Education McGill University Montreal, Quebec, Canada

Sharon Johnston

Department of Medical Education McGill University Montreal, Quebec, Canada

Richard L. Cruess

Centre for Medical Education McGill University Montreal, Quebec, Canada

최근까지 의학 문헌에 Profession은 자주 언급되었지만 Profession이라는 단어에 대한 포괄적 인 정의를 제공하지 못했습니다. 의학계와 교육 기관이 전문성과 전문적 행동에 대한 가르침과 평가를 향상 시키려고 노력할 때 Profession의 어원을 나타내는 간결하고 포괄적 인 직업 정의가 필요합니다.1 의학은 전통적으로 Profession과 관련된 가치를 보존하려고 시도하기 때문에 2-4 Profession에 대한 정의는 유용한 출발점입니다.

Until recently, the medical literature, although referring frequently to professions, has not provided an inclusive definition of the word profession. As the medical profession and its educational institutions seek to improve the teaching and evaluation of professionalism and professional behavior, there is a need for a concise and comprehensive working definition of profession, which serves as the etymological root of the related and frequently used words professional and professionalism.1 As medicine attempts to preserve the values traditionally associated with professions,2–4 a definition of profession is a useful starting point. 

지난 25 년 동안 medicine과 사회 사이에 사회적 계약이 존재하고, 이 계약은 Profession의 개념에 기반을두고 있다는 것에 많은 합의를 보았습니다 .2-5 계약 조건에 따라 Profession에는 지위와 특권이 부여됩니다 , 봉사에 전념하고, 능력을 보증하며, 노력을 도덕적으로 수행하고, 사회의 관심사를 해결할 것이라는 이해에 대한 재정적 보상이 주어진다. 전통적으로 크게 쓰여지지 않았던 이 계약은 최근 수십 년 동안 상당한 변화를 겪었으며 medicine이나 사회도 현재의 상태에 만족하지 못하고 있습니다.

The last quarter century has seen wide agreement that a social contract exists between medicine and the society that it serves and that this contract is based on the concept of the profession.2–5 Under the terms of the contract, professions are granted status, privileges, and financial rewards on the understanding that they will be devoted to service, will guarantee competence, be moral in their endeavours, and address society’s concerns. The contract, which has traditionally been largely unwritten, has undergone substantial changes during the most recent decades, and neither medicine nor society seem satisfied with its present state.4 

그 중요성에 비추어, 사회 과학에서 주로 발견되는이 주제에 대한 광범위한 문헌에 직업에 대한 정의에 대한 합의가 없다는 것은 놀라운 일이다. Profession을 어떻게 묘사할 것인가에 대해 다양한 해석이 있다.

• 일부 저자는 Professional-client 관계를 분석하거나 일련의 "특성"을 전문직의 특징으로 분류하였다.7,8

• 일부 전문가는 기관으로서의 전문직에 관심이 있거나 직업적 통제와 지배의 수단으로서의 Profession을 보았다 

In view of the importance of the subject, it is surprising that there is no agreed on definition of profession in the extensive literature on the subject, found largely in the social sciences. There have been widely differing interpretations as how best to describe professions, with 

• some authors analyzing the professional– client relationship6 or classifying a series of “traits” as being characteristic of professions.7,8 

• Still others have been concerned with professions as institutions9 or viewed professions as a means of occupational control10,11 and dominance.12,13 

정확한 정의보다는 거의 모든 것이 공통된 요소를 포함하는 직업에 대한 2 ~ 3 개의 문장으로 시작된다. 복잡한 지식 체계, 자율 (때로는 자기 규제와 관련이 있음) 및 서비스를 기반으로 업무를 수행합니다. 그 중 어떤 설명에도 Profession이라는 단어가 내포 한 주요 요소가 모두 포함되어 있지 않습니다.

Rather than a precise definition, nearly all begin with a two or three sentence description of profession containing common elements; work based on command of a complex body of knowledge, autonomy (sometimes linked to self-regulation), and service. None of these descriptions include all of the major elements implied by the word profession. 

많은 조직과 개인이 Profession 및 Professionalism 문제를 심각하고 건설적인 방식으로 해결해 왔습니다. 또한 새로운 "의사 헌장"을 포함하여 의사들이 쉽게 이용할 수있는 의학 문헌이 늘어나고있다. "의사 헌장"에 관한 최근 연구는 사회학자와 비슷한 접근법을 사용하고 있는데, 간략한 소개 일반 용어로 직업 개념을 개략적으로 설명하고 전문직과 전문가의 특징과 특징을 설명합니다.

Many organizations and individuals have been addressing the issue of the professions and professionalism in a serious and constructive fashion. In addition, there is now a growing body of medical literature easily available to physicians, including a new “Physician’s Charter.”14 Recent works in this literature4,15–18 have used an approach similar to that of the sociologists, giving a brief introductory section outlining the concept of the profession in general terms, followed by an explication of the traits and characteristic of professions and professionals. 

우리 간행물에서 우리는 다른 접근 방식을 택했습니다. 19-23 우리는 정의가 정확해야하며, 속성/특성/행동 패턴의 목록은 너무 광범위하여 하나로 뭉뚱그려지기는 불가능하다고 생각합니다. 또한 우리는 이러한 Professionalism이 Profession이라는 단어에서 파생되었으므로, 정의에 올바르게 포함되어야한다고 생각합니다. 최근까지 우리는 옥스포드 영어 사전에 있는 정의를 사용했지만 사회 과학에서 끌어 낸 요소를 추가하여 개념을 토론하는 과정에서 그것을 확장하는 것이 필요하다는 것을 알았습니다.

In our publications, we have taken a different approach. 19–23We believe that a definition should be precise and that a list of attributes, characteristics, or behavioral patterns is too broad to serve as one. Furthermore, we believe that these qualities should properly be included in a definition of professionalism as they are derived from the word profession. Until recently, in our teaching we used the definition found in the Oxford English Dictionary,1 but found it necessary to expand on it during discussion of the concept, adding elements drawn from the social sciences. 

옥스포드의 정의에 포함된 요소들은 탁월하지만, 필수적으로 매우 광범위하기 때문에 완전히 만족스러운 것은 아니며, 자율성 및 자체 규제와 같이 필수적인 것으로 간주되는 여러 측면을 포함하지 않습니다. 3,6,12,23 사회 계약의 변화를 반영하기 위해 개념의 진화를 인식하지 못한다. 1-3. 24,25 우리는 사전적 정의가 문헌과 결합 될 때 사회 이해의 합리적으로 건전한 증거를 제공한다고 믿는다 그 용어를 정의해야하는 직업과 함께 사회라는 사실을 알게됩니다. 마지막으로, 우리는 Profession의 사회적 역할을 가르치고 Professional behavior을 평가하기위한 교육 활동은 그 단어의 의미에 대한 확고한 이해로 시작해야한다고 믿습니다.

The Oxford definition, although outstanding in the elements included, is not totally satisfactory as it, of necessity, attempts to be very broad and thus does not include several aspects that the literature outlines as essential, such as autonomy and self-regulation.1–3,6,12,23 It also fails to recognize the evolution of the concept to reflect changes in the social contract.1–3,24,25 We believe that the dictionary definition, when combined with the literature, provide reasonably sound evidence of society’s understanding of the word and that it is society along with the professions that must define the term. Finally, we believe that educational activities aimed at teaching the role of the professions in society and evaluating professional behavior should start with a firm understanding of the meaning of the word. 

중요한 점을 강조해야합니다. Profession은 많은 직업을 묘사하는 데 사용되는 용어이므로 일반적입니다. 정의는 지위 직업이라고 불리는 법률, 성직자, 회계, 건축 및 엔지니어링과 같은 다른 지식 기반 직종에 적용 할만큼 충분히 넓어야합니다. 8 다른 Profession에서의 전통과 관련된 법률은, 그들의 위치에 대한 대중의 인식이 그러하듯 의학에서의 Profession과 유사하다 .3) 그러나 공통점이 많지만 개별 직업에 의해 제공되는 서비스는 다르다. 그러므로 Professionalism이라는 rubric 아래에 주어진 속성과 행동은 다양하다.

An important point must be emphasized. Profession is a term used to describe many occupations and is therefore generic. A definition must be broad enough to apply to the other knowledge-based occupations such as law, the clergy, accounting, architecture and engineering, which have been termed status professions. 8 Both the traditions and the laws relating to them are similar to those in medicine3,6,9 as is the public perception of their place in society.3 Although they have much in common, the services provided by individual professions differ; therefore, the attributes and behaviors ascribed to them under the rubric of professionalism may vary. 

우리는 전문성 교육의 기초로서 다음의 정의를 제안합니다. 이 정의는 옥스포드 영어 사전 1을 핵심으로 사용하고 직업과 사회의 변화하는 관계로 출현 한 사회 과학 문헌에 포함 된 요소를 추가합니다. 또한 웹스터의 영어 사전 (International Dictionary of English Language)에 포함 된 훨씬 덜 완전한 자료와도 호환됩니다.

We suggest the following definition as a base for teaching professionalism. This definition uses as its core that of the Oxford English Dictionary1 and adds those elements included in the social sciences literature that have emerged with the changing relation between the professions and society. It is also compatible with the much less complete material included in Webster’s International Dictionary of the English Language26: 

Profession: 

복잡한 핵심 지식과 기술을 숙달 한 핵심 요소가 직업입니다.

그것은 과학이나 학습의 일부학과에 대한 지식 또는 그것에 기초한 예술의 실천이 다른 사람들을 위해 사용되는 직업입니다.

그 회원은 윤리 강령에 의해 규율되며, 윤리 강령을 고백합니다.

• 능력,

• 무결성과 도덕성,

• 이타주의와

• 그들의 영역 내에서 공공재의 홍보.

이러한 약속은 직업과 사회 간의 사회적 계약의 기초를 형성하며,

• 그 대가로 직업에 독점권 부여

• 지식 기반의 사용,

• 실제로 상당한 자치권을 가질 권리와

• 자기 통제의 특권.

전문직과 그 구성원은 봉사하는 사람들과 사회에 책임이 있습니다.

Profession: 

An occupation whose core element is work based upon the mastery of a complex body of knowledge and skills. 

It is a vocation in which knowledge of some department of science or learning or the practice of an art founded upon it is used in the service of others. 

Its members are governed by codes of ethics and profess a commitment to 

competence, 

integrity and morality, 

altruism, and 

the promotion of the public good within their domain. 

These commitments form the basis of a social contract between a profession and society, 

which in return grants the profession a monopoly over 

the use of its knowledge base, 

the right to considerable autonomy in practice and 

the privilege of self-regulation. 

Professions and their members are accountable to those served and to society. 

Profession이 occupation과 vocation을 구성하고 그 구성원이 복잡한 지식을 다룬다는 주장에 대해서는 거의 이견이 없다. 확실한 능력은 항상 직업적이고 이타적인 서비스를 신뢰하는 데 중요했습니다. 또한 도덕성과 성실성도 직업의 적절한 수행에 필요한 것으로 인식되었습니다. Profess라는 단어는 히포크라테스 선서 또는 그와 동등한 것을 실천할 때 이뤄지는 가치와 활동을 대중을 상대로 공약함을 의미합니다.

There is little argument that a profession does constitute both an occupation and a vocation and that its members deal with complex knowledge. An assurance of competence has always been critical to trust in a professional and altruistic service has been recognized as necessary to the proper practice of a profession, as have the personal characteristics of morality and integrity. The word profess refers to the public commitment to values and activities that is made during the recital of the Hippocratic Oath or its modern equivalent.27

특정한 지식과 기술을 사용하는 것에 대한 독점권은 허가 법률에 따라 성문화되었으며, 자율성은 비록 중요하지만 입법과 관습에 의해 항상 제한되어왔다. 이 정의는 권리와 특권이 내재적이지 않으며, 특정 행동과 기술에 대한 대가로 사회가 부여한다는 사실을 명백하게합니다. 이것은 사회 계약의 개념과 내용을 반영한다. 마지막으로, 우리가 우리의 행동과 서비스에 대해 환자와 사회 모두에게 책임이 있음을 인식하는데, 이러한 책무성이 과거에는 암묵적인 것이었다면, 지금은 의무입니다.

 The monopoly over the use of a specific body of knowledge and skills has been codified by licensing laws,3,4 and the autonomy, although significant, has always been limited by legislation and by custom.2,5,28 This definition also makes explicit the fact that rights and privileges are not inherent, but are granted by society1–3,13 in return for certain behaviors and skills. This reflects the concept and the substance of the social contract. Finally, it recognizes that we are accountable to both our patients and to society for our actions and our services, 28 something that was implicit in the past but is now an obligation. 

국가 나 기업 부문이 건강 관리에서 더 지배적이 되면서, 의학의 지위와 영향력이 감소하였고, 그 결과 의학의 힘과 지위는 현대 사회에서 많은 변화를 겪어 왔습니다. 이런 일이 발생하면 의학의 전문적인 약속과 가치를 유지하는 것이 더 중요하고 어려워집니다.

Medicine’s power and status have undergone a well-documented change in contemporary society1–3,13,24,25 as the state or the corporate sector have become more dominant in health care, diminishing medicine’s status and influence. As this occurs, it becomes both more important and more difficult to maintain medicine’s professional commitments and values. 

그럼에도 불구하고 Professional commitment and value는 지켜져야 하며, 모든 근거는 사회가 의사들로 하여금 전통적인 전문직 역할을 완수하고 그 가치를 반영하기를 계속해서 바란다는 것을 보여주고 있다. 제안 된 정의는 이전의 문헌과 변화하는 권력 관계를 기록한 최근의 연구 모두와 일치한다. 추상적 개념을 가르치기위한 교육 활동은 개념을 정의함으로써 시작되어야한다는 것은 자명 한 것처럼 보인다. 이러한 이유로, 제안 된 정의가 전문성 교육에 도움이되고 전문적인 행동을 평가하기위한 기반이되는 것이 우리의 희망입니다.

Nevertheless, it is something that should be done as all evidence indicates that society itself continues to wish its physicians to fulfill the traditional professional role and to reflect its values.4,24,29–31 The proposed definition is consistent with both the earlier literature and more recent works that have recorded the changing power relations. It seems axiomatic that an educational activity aimed at teaching an abstract concept should begin by defining the concept. For that reason, it is our hope that the proposed definition will assist in the teaching of professionalism and as a base for evaluating professional behavior.

"Profession": a working definition for medical educators.

성취감정이 의학교육에서 동기부여, 학습, 수행능력을 이해하는데 사용할 수 있을까? (Med Teach, 2012)

Can achievement emotions be used to better understand motivation, learning, and performance in medical education?1

ANTHONY R. ARTINO JR1, ERIC S. HOLMBOE2 & STEVEN J. DURNING1

1Uniformed Services University of the Health Sciences, USA, 2American Board of Internal Medicine, USA

도입: 감정과 학습

Introduction: Emotions and learning

감정은 학문적 및 임상 적 환경에서 유비쿼터스입니다. 면허 시험을 준비하는 2 학년 의과 대학생을 고려하십시오. 학생은 성공을 기대하고 실패를 걱정할 수 있으며 시험이 끝나면 안심할 수 있습니다. 희망, 걱정, 안도 등의 감정이 의심 할 여지없이 자신의 동기 부여, 노력, 그리고 그녀가 자료를 이해하는 데 도움이되는 학습 전략에 영향을줍니다. 마찬가지로, 새로운 외과 수술을 수행 할 준비가 된 젊은 외과 레지던트 / 레지스트라를 생각해보십시오. 그의 목표, 활동의 성격, 그가 클리닉에서받는 사회적지지에 따라, 그는 그 일을 준비하는 것을 즐겁게 할 수도 있고, 지루함을 느낄 수도 있고, 새로운 일이 단순히 끝없는 책임 목록에 더해지는 또 하나의 할 일이기 때문에 좌절감을 경험할 수도 있습니다. 다시 한번, 즐거움, 지루함, 좌절감과 같은 이러한 감정들이 그의 준비, 도전에 직면 해있는 그의 동기 및 작업에 집중하기 위해 그가 고용하는 동기 전략에 거의 확실하게 영향을 미칩니다.

Emotions are ubiquitous in academic and clinical settings. Consider a second-year medical student preparing for a licensing exam. The student probably hopes for success, may worry about failure, and likely feels relieved once the exam is over. These emotions – hope, worry, and relief – undoubtedly influence her motivation, the effort she puts forth, and even the study strategies she uses to help her understand the material. Similarly, think of a young surgical resident/registrar preparing to perform a new surgical task. Depending on his goals, the nature of the activity, and the social support he receives in the clinic, he may enjoy preparing for the task, feel bored because it is not really interesting to him, or experience frustration because the new task simply represents one more thing to do in his unending list of responsibilities. Once again, these emotions – enjoyment, boredom, and frustration – almost certainly affect his preparation, his motivation to persist in the face of challenges, and the motivational strategies he employs to stay focused on the task.

전통적으로 이러한 유형의 성취 관련 감정은 의학 교육 연구자 및 교사로부터 거의 고려되지 않았습니다. 사실, 전통적인 정보 처리 이론과 같은 인식의 가장 고전적인 모델은 정서와 같은 비인지 적 구성을 이론적으로 흥미롭거나 중요하게 생각하지 않습니다 (Dai & Sternberg 2004). 사실 많은 심리학자들은 이전에 인간의 사고를 주로 감정으로부터 자유로운인지 활동으로 개념화했다 (Brown et al, 1983).

Traditionally, these types of achievement-related emotions have received little consideration from medical education researchers and teachers. In fact, most classic models of cognition, such as traditional information-processing theories, do not consider “non-cognitive” constructs like emotion to be theoretically interesting or even important (Dai &Sternberg 2004Dai DY, Sternberg RJ, editors. Motivation, emotion, and cognition: Integrative perspectives on intellectual functioning and development. Lawrence Erlbaum Associates, Mahwah, NJ 2004 [Google Scholar]). Indeed, many psychologists previously conceptualized human thinking as primarily a cognitive activity, relatively free from emotion (Brown et al. 1983Brown AL, Bransford JD, Ferrara R, Campione J. Learning, remembering, and understanding. Mussen PH, series editors, Flavell JH, Markman EM, volume editors. 1983, Handbook of child psychology: Vol. 3. Cognitive development. 4th ed. New York: Wiley. pp 77–166 [Google Scholar]).

그러나 최근 교육 학자들은 인간 사고와 학습에보다 통합 된 접근법을 요구했다 (Dai & Sternberg 2004Dai, Sternberg RJ). 그러한 접근법은 인간의 영향을 강조하고 감정과 동기 부여 같은 것들을 주의력과 기억과 같은인지 구조와 유사한 발판에 놓습니다. 이러한 통합적인 관점은 실제 상황에서 whole person을 강조하고 인간이 환경에 적응하고 상호 작용하는 맥락에서 사고와 학습을 되돌려 놓습니다.

Recently, however, education scholars have called for more integrative approaches to human thinking and learning (Dai &Sternberg 2004Dai DY, Sternberg RJ, editors. Motivation, emotion, and cognition: Integrative perspectives on intellectual functioning and development. Lawrence Erlbaum Associates, Mahwah, NJ 2004 [Google Scholar]). Such approaches emphasize human affect and put things like emotion and motivation on similar footing with cognitive constructs like attention and memory. These integrative perspectives highlight the whole person in real situations and put thinking and learning back in the context of humans adapting to and interacting with their environments.

이 기사에서 우리는 감정에 관하여 대두되고 있는 이론을 설명하고 이 작업이 의학 교육의 이론, 연구 및 실천에 어떻게 영향을 미치는지 고려합니다. 그러한 탐구는 의학 교육을 전통적 시간 및 프로세스 기반 모델에서 개인 학습자의 궤도, 자기 주도적 학습, 평가 및 피드백에 더 중점을 두는 결과 기반 모델로 변환하려는 전세계적인 노력이 적시에 이루어 졌다고 믿습니다. (Holmboe 등, 2010). 이러한 맥락을 배경으로 학습에서의 감정의 역할에 대한 이해가 점차 중요해질 것이라고 믿습니다.

In this article, we describe an emergent theory of emotion and consider how this work might inform the theory, research, and practice of medical education. We believe that such an exploration is timely given efforts worldwide to transform medical education from traditional time-and-process-based models to increasingly outcomes-based models, which place greater emphasis on individual learner trajectories, self-directed learning, assessment and feedback, and reflective practice (Holmboe et al. 2010Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach 2010; 32: 676–682[Taylor &Francis Online], [Web of Science ®], [Google Scholar]). With this context as a backdrop, we believe an understanding of emotion's role in learning will become increasingly important.

이론적 기반

Theoretical foundations

감정이란 무엇인가?

What is emotion?

조직과 다른 구성 요소와의 연관성에서, 감정은 일반적으로보다 일반적인 용어 affect의 하위 집합으로 간주됩니다. Affect은 두 가지 범주로 더 세분화되었습니다 : affective traits과 affective states. 이 일반적인 분류학 내에서 moods과 emotion은 일반적으로 두 가지 유형의 정서적 인 상태로 간주됩니다 (Artino 2010). moods과 emotions은 주로 강도와 기간에 따라 다릅니다. 

• 즉, emotions은 짧고, 강렬하며, 특정 사건이나 활동에 반응하는 경향이있는 반면 (예 : 다가오는 시험에 대한 불안감 Forgas 2000 참조) 

• moods 특정한 지시 대상이 없고, 더 길고. 확산되는 경향이 있습니다 (예 : 우울한 느낌). 

이 기본 틀을 사용하여 emotion은 "개인의 환경에서 의미있는 상황에 대한 반응으로 생기는 급격하고 강렬하며 일반적으로 짧은 정신 - 생리적 변화"로 정의 할 수 있습니다 (Artino 2010).

In terms of organization and association with other constructs, emotion is usually considered a subset of the more general term affect. Affect has been further subdivided into two categories: affective traits and affective states. Within this general taxonomy, moods and emotions are usually considered two distinct types of affective states (Artino 2010Artino AR. Emotion regulation. Encyclopedia of child behavior and development, S Goldstein, J Naglieri. Springer, Heidelberg, Germany 2010; 1236–1238 [Google Scholar]), with the distinction between moods and emotions based primarily on their intensity and duration. That is, moods tend to be longer, more diffuse, and without a particular referent (e.g. feeling depressed), whereas emotions tend to be shorter, more intense, and in response to a particular event or activity (e.g. being anxious about an upcoming exam; see Forgas 2000Forgas J. The role of affect in social cognition. Feeling and thinking: The role of affect in social cognition, JForgas. Cambridge University Press, New York 2000; 1–28 [Google Scholar]). Using this basic framework, emotion can be defined as “an acute, intense, and typically brief psycho-physiological change that results from a response to a meaningful situation in an individual's environment” (Artino 2010Artino AR. Emotion regulation. Encyclopedia of child behavior and development, S Goldstein, J Naglieri. Springer, Heidelberg, Germany 2010; 1236–1238 [Google Scholar]).

성취 감정이란?

What are achievement emotions?

Pekrun (2006Pekrun R.)은 성취 감정을 "성취 활동 또는 성취 결과에 직접적으로 관련된 감정"으로 정의했습니다. 

성취 활동에는 환자의 문제를 이해하고 강의를 듣거나 병동에 참여하는 등의 자율적 활동이 포함됩니다. 활동 관련 성취감에는 이러한 활동 중에 경험 한 감정이 포함됩니다. 예를 들어,

• 재미있는 환자 문제에 대한 즐거움,

• 지루한 강의에서 경험하는 지루함

• 감독관이 불합리한 와드 및 팀 프리젠 테이션 요구 사항을 부과 할 때 경험 한 분노.

반면 성취 결과에는 임상 스킬 평가 후에 강사로부터 시험 성적이 좋지 않거나 별다른 평가를받지 못하는 등 활동 성공 또는 실패가 포함됩니다. 따라서 결과 관련 성취 감정에는 이러한 결과에 대한 감정이 포함됩니다. 예를 들어,

• 좋은 시험 성적을받는 즐거움 또는

• 또 다른 불만족스러운 임상 로테이션 등급을 얻은 후의 절망감.

Pekrun (2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315–341[Crossref], [Web of Science ®], [Google Scholar]) has defined achievement emotions as “emotions tied directly to achievement activities or achievement outcomes.” 

Achievement activities include, for example, working autonomously to understand a patient's problem, listening to a lecture, or participating in bedside rounds. Activity-related achievement emotions, then, would include those emotions experienced during these activities; for example, 

• the enjoyment of engaging in an interesting patient problem, 

• boredom experienced during a dull lecture, or 

• anger experienced when a preceptor imposes unreasonable ward and team presentation requirements. 

On the other hand, achievement outcomes include activity successes or failures, such as performing well on an exam or receiving a less-than-stellar evaluation from an instructor following a clinical skills assessment. Therefore, outcome-related achievement emotions would include those emotions experienced in response to these outcomes; for example, 

• the enjoyment of receiving a good exam grade or 

• the feeling of hopelessness after getting yet another unsatisfactory clinical rotation rating.

통제-가치 이론: 정의와 차원

Control-value theory: Definition and dimensions

Pekrun (2006)은 일반적으로 사회인지 적 틀로 간주되는 것을 사용하여 학업 또는 성취 맥락에서 감정을 이해하기위한 포괄적이고 통합적인 접근 방식 인 통제 가치 이론을 개발했다. 통제 가치 이론은 성숙한 감정을 긍정적 인 것과 부정적인 것 또는 즐거운 것 또는 불쾌한 것 등으로 나눈다. 

• 발렌스 (긍정적 또는 부정적 또는 불쾌감);

• 활성화 정도 (활성화 대 비활성화, 심리적 흥분의 정도라고 생각할 수 있음); 과

• 객체 초점 (활동 대 결과)

Using what is generally considered a social-cognitive framework, Pekrun (2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315–341[Crossref], [Web of Science ®], [Google Scholar]) has developed control-value theory, a comprehensive, integrative approach to understanding emotions in academic or achievement contexts. Control-value theory groups achievement emotions by their 

• valence (positive vs. negative or pleasant vs. unpleasant); 

• degree of activation (activating vs. deactivating, which can be thought of as the level of psychological arousal); and 

• object focus (activity vs. outcome, as described above; Pekrun et al. 2007Pekrun R, Frenzel AC, Goetz T, Perry RP. The control-value theory of achievement emotions: An integrative approach to emotions in education. Emotion in education, PA Schutz, R Pekrun. Academic Press, Burlington, MA 2007; 13–36[Crossref], [Google Scholar]). 

세 가지 차원을 사용하여 통제 가치 이론은 성취 감정의 3 차원 분류법을 제안합니다. 예를 들어 흥미롭지 않은 강의에서 경험 한 지루함은 부정적이며 비활성화 된 활동 관련 성취 감정으로 간주 될 수 있지만 도전적인 환자 프리젠 테이션으로 정확한 진단에 도달하는 것과 관련된 자부심은 긍정적이고 활성화 된 결과 관련 것으로 간주됩니다 성취감. 이러한 다양한 감정의 성능 결과는이 기사 뒷부분에서 설명합니다.

Using these three dimensions – valence, activation, and object focus – control-value theory proposes a three-dimensional taxonomy of achievement emotions. For instance, 

• the boredom experienced during an uninteresting lecture would be considered a negative, deactivating, activity-related achievement emotion, whereas 

• the pride associated with arriving at a correct diagnosis with a challenging patient presentation would be considered a positive, activating, outcome-related achievement emotion. The performance consequences of these diverse emotions are discussed later in this article.

통제-가치 이론: 구조와 가정

Control-value theory: Structure and assumptions

인지적 평가

Cognitive appraisals

Pekrun (2006)의 통제 가치 이론은 성취 감정이 통제와 가치에 대한 개인의인지 적 평가에 의해 근위적으로 결정된다고 가정한다. 

• 통제 평가control appraisal은 성취 활동과 그 결과의 통제가능함에 대한 인식과 관련이있다. 이러한 평가는 종종 자기 효능감 (즉, 작업 고유의 자신감) 및 능력의 자기 개념과 같은 기대 및 능력 인식에 의해 표시됩니다. 

• 가치 평가value appraisal는 이러한 활동과 결과의 주관적인 가치 또는 중요성과 관련되며, 내재적 (예 : 수학에 타고난 관심) 또는 외재적 (예 : 외부 보상을 가져올 가능성이 있으므로 활동 평가)이 될 수 있습니다.

Pekrun's (2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315–341[Crossref], [Web of Science ®], [Google Scholar]) control-value theory assumes that achievement emotions are proximally determined by an individual's cognitive appraisal of control and value. 

• Control appraisals relate to the perceived controllability of achievement activities and their outcomes. These appraisals are often indicated by expectations and competence perceptions, such as self-efficacy (i.e. task-specific self-confidence) and self-concepts of ability, respectively. 

• Value appraisals pertain to the subjective value or importance of these activities and outcomes, and can be intrinsic (e.g. an innate interest in math) or extrinsic (e.g. valuing an activity because it is likely to bring some external reward).

환경적 선조

Environmental antecedents

인지 평가는 다양한 성취 감정을 결정하는 것으로 생각되지만, 다른 요인들도 주로 통제 및 가치 평가에 대한 영향을 통해 성취 감정에 영향을 미치는 것으로 가정됩니다.

•  학업 환경에서 이러한 요소의 예로는 완료되는 과제의 특성, 과제의인지 요구 사항, 강사가 제공하는인지 적 및 감정적 지원의 양 및 전반적인 학습 분위기가 포함될 수 있습니다. 

• 또한 학교, 클리닉 또는 콘텐츠 영역 내에서보다 광범위한 사회적 및 문화적 상황과 같은 원위 요소distal factors가 인지 평가에 영향을 미쳐 후속 성취 감정을 수정할 수 있습니다.

Whereas cognitive appraisals are thought to determine various achievement emotions, other factors are assumed to influence achievement emotions primarily through their affect on control and value appraisals. 

• In academic settings, examples of such factors could include the characteristics of the task being completed, the cognitive demands of the task, the amount of cognitive and emotional support provided by the instructor, and the overall learning climate. 

• Further, more distal factors, such as the broader social and cultural context within the school, clinic, or content area, may also influence cognitive appraisals which, in turn, can modify subsequent achievement emotions.

수행의 결과

Performance consequences

통제 가치 이론은 성취 감정이 동기 부여, 학습 및 성과 결과에 어떻게 영향을 미치는지에 대한 예측을 용이하게합니다. 구체적으로 이 이론은 

• 구체적으로이 이론은 성취감이 "인지 자원, 동기 부여, 전략의 사용, 자기 규제와 학습의 외부 규제에 영향을 미친다"고 예측한다

• 또한, 감정이 성취에 미치는 영향은 이러한인지 적, 동기 적, 행동 적 과정에 의해 매개되는 것으로 생각됩니다.

• 마지막으로, 학습 및 성과 결과는 학생들의 감정을 자극하고 학습 환경의 다양한 측면과 그 환경에 대한인지 적 평가에 영향을 미침으로써 시스템으로 다시 피드백되는 것으로 가정됩니다. 

Control-value theory facilitates predictions about how achievement emotions affect motivation, learning, and performance outcomes. 

• Specifically, the theory predicts that achievement emotions “influence cognitive resources, motivation, use of strategies, and self-regulation vs. external regulation of learning” (Pekrun et al. 2007Pekrun R, Frenzel AC, Goetz T, Perry RP. The control-value theory of achievement emotions: An integrative approach to emotions in education. Emotion in education, PA Schutz, R Pekrun. Academic Press, Burlington, MA 2007; 13–36[Crossref], [Google Scholar]). 

• Further, the effects that emotions have on achievement are thought to be mediated by these cognitive, motivational, and behavioral processes. 

• Finally, learning and performance outcomes are assumed to feed back into the system, acting on students’ emotions, as well as influencing various facets of their learning environment and their cognitive appraisals of that environment.

교육적 맥락에서 성취 감정을 학습과 수행에 연결시키기

Linking achievement emotions to learning and performance in educational contexts

감정, 학습 및 성과 사이의 연결 고리는 복잡합니다. 그러나 심리학자들은 일반적으로 영향 (감정과 기분)이 학습과 수행에 영향을 미칠 수있는 네 가지 주요 경로가 있음에 동의한다 (Schunk 외. 2008). "이 경로 중 세 경로는 cognitiva mediator를 통해 이루어지며 네 번째 경로는 motivational pathway."라고 본다.

The links between emotion, learning, and performance are complex. However, psychologists generally agree that there are likely four primary routes through which affect (emotions and mood) might influence learning and performance (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). As Schunk et al. (2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]) describe, “three of these routes are through cognitive mediators and the fourth is through a motivational pathway.”

감정과 분위기가 학습과 수행에 영향을 미치는 첫 번째 경로는 저장 및 검색 프로세스로서, 소위 mood-dependent memory (Schunk et al. 2008)이다. Mood-dependent memory의 기본 개념은 affective states가 다른 학습 된 정보와 동시에 장기 기억으로 인코딩된다는 것입니다. 따라서 이러한 affective states는 새로 습득 한 정보와 밀접하게 연결되어 정보 검색시 개인의 기분에 따라 장기 기억에서 정보 검색이 향상됩니다 (Forgas 2000). 예를 들어 의대 학생이 중심선을 삽입하는 방법을 배울 때 극도로 긍정적 인 분위기에 있다면, 나중에 비슷한 기분 상태에서 그 절차를 recall할 때 더 잘 할 가능성이 더 큽니다.

The first route by which emotions and mood are thought to impact learning and performance is through storage and retrieval processes, or the so-called mood-dependent memory (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). The basic idea of mood-dependent memory is that affective states are encoded into long-term memory at the same time as other learned information. As such, these affective states become closely linked to the newly learned information such that retrieval of this information from long-term memory is enhanced if the individual's mood at retrieval matches his mood when the information was encoded (Forgas 2000Forgas J. The role of affect in social cognition. Feeling and thinking: The role of affect in social cognition, JForgas. Cambridge University Press, New York 2000; 1–28 [Google Scholar]). So, for instance, if a medical student is in an extremely positive mood at the time he learns how to insert a central line, he is more likely to recall that procedure if his mood at the time of retrieval is similarly positive.

감정과 학습 및 수행을 연결하는 두 번째인지 경로는, 서로 다른 인지 및 메타인식 전략을 사용하는 것이 결과적으로 다른 유형의 성과 결과를 낳는다는 것이다(Pekrun 2006). 최근 고등 교육 환경에서의 작업은 

• "부정적 영향을 겪은 학생들은 학업에 훨씬 더 많은 참여와 긍정적 인 접근이 필요하기 때문에 더 깊은 처리 전략을 사용할 가능성이 적습니다"라고 제안합니다 (Schunk 외. 2008). 

• 대조적으로, 긍정적 인 감정은 일반적으로 더 큰 참여와 더 깊은 처리 전략의 사용을 유도한다고 생각된다 (Pekrun 외. 2002).

The second cognitive pathway linking emotions with learning and performance is through the use of different cognitive and metacognitive thinking strategies, which then result in different types of performance outcomes (Pekrun 2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315–341[Crossref], [Web of Science ®], [Google Scholar]). Recent work in higher education settings suggests that “students who experience negative affect are less likely to use deeper processing strategies, as these require much more engagement and a positive approach to the academic task” (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). In contrast, positive emotions are generally thought to result in greater engagement and the use of deeper processing strategies (Pekrun et al. 2002Pekrun R, Goetz T, Titz W, Perry RP. Academic emotions in students’ self-regulated learning and achievement: A program of qualitative and quantitative research. Educ Psychol 2002; 37: 99–105[Taylor &Francis Online], [Web of Science ®], [Google Scholar]).

감정이 학습과 수행에 영향을 미치는 세 번째인지 경로는 인지 자원에 미치는 영향을 통해서입니다. 구체적으로, 긍정적이고 부정적인 감정 모두 감정의 대상에 주의를 기울일 때 기억 자원을 소비하는 것으로 나타났습니다 (Pekrun & Stephens 2010). 즉, 감정은 작업 메모리 공간을 차지하며 개인의 인지 부하에 부정적인 영향을 미칠 수 있습니다. 이는 작업 메모리에서 동시에 정보를 처리하는 데 따른 제한을 의미합니다. 따라서 작업 메모리 공간을 차지함으로써 감정은 작업 완료에 필수적인 작업을 처리하는 데 필요한인지 리소스를 줄입니다. 사실, 이 인지 부하 설명은 시험 불안과 학습 및 수행에 대한 부정적인 영향에 대한 경험적 연구의 특징입니다.

The third cognitive route by which emotions influence learning and performance is through their impact on cognitive resources. Specifically, both positive and negative emotions have been shown to consume working memory resources by focusing attention on the object of the emotion (Pekrun &Stephens 2010Pekrun R, Stephens EJ. Achievement emotions: A control-value approach. Soc Personal Psychol Compass 2010; 4: 238–255[Crossref], [Google Scholar]). That is, emotions take up working memory space and can negatively impact an individual's cognitive load, which refers to the limitations in processing simultaneous information in working memory. Thus, by taking up working memory space, emotions leave fewer cognitive resources for processing activities essential for task completion. In fact, this cognitive load explanation is a hallmark of the empirical work on test anxiety and its negative impact on learning and performance.

감정과 학습 및 수행을 연결하는 네 번째이자 마지막 경로는 내재적 및 외재적 동기 부여 과정에 미치는 영향을 통해서입니다. 이러한 관점에서 볼 때, 작업 관련 즐거움과 같은 긍정적 인 감정은 작업에 더 큰 흥미와 내재적 동기를 부여합니다. 즉, 자신의 목적을 위해 과제에 참여하려는 더 큰 동기 부여 (Ryan & Deci 2000; Ten Cate 외. 2011). 반면, 업무 관련 권태, 불안 또는 분노와 같은 부정적인 감정은 업무에서 자신의 흥미와 내재적 동기를 감소시킵니다. 동시에, 부정적인 감정이 또한 외재적 동기 부여를 증가시키는 방향으로 작용한다는 것이 중요합니다. 즉, 끝을 향한 수단으로서의 과제에 참여하려는 동기가 형성된다 (Schunk et al., 2008). 

The fourth and final pathway linking emotions with learning and performance is through their effects on intrinsic and extrinsic motivational processes. From this perspective, a positive emotion, such as task-related enjoyment, leads to greater interest and intrinsic motivation for the task; that is, greater motivation to engage in the task for its own sake (Ryan &Deci 2000Ryan RM, Deci EL. Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemp Educ Psychol 2000; 25: 54–67[Crossref], [PubMed], [Web of Science ®], [Google Scholar]; Ten Cate et al. 2011Ten Cate O, Kusurkar RA, Williams GC. 2011. How can Self-Determination Theory assist our understanding of the teaching and learning processes in medical education? AMEE Guide No. 59. (Theories in Medical Education). Dundee: AMEE. 33:961–973 [Google Scholar]). On the other hand, negative emotions such as task-related boredom, anxiety, or anger, decrease one's interest and intrinsic motivation in the task. At the same time, it is important to consider that some negative emotions can also act to increase one's extrinsic motivation; that is, motivation to engage in the task as a means to an end (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). 

예를 들어, 필요한 활동을 완료하지 못한 강사의 보복에 대한 두려움은 더 큰 외부 동기를 유발할 수 있으며, 따라서 개인을 강사의 요청 순응하게끔 "이동"시킵니다. 외부 동기 부여는 대부분의 심리학자들에 의해 장기적인면에서 적응력이보다 뛰어난 내재 동기 (Ryan & Deci 2000)보다 덜 유익하다고 간주되지만 그럼에도 불구하고 개인의 행동 동기를 부여 할 수 있습니다. 따라서 부정적인 감정, 특히 부정적인 활성화 감정과 그 결과로 나타나는 외재적 동기는 어떤 상황에서 학습과 수행 능력을 향상시킬 수있다 (Pekrun 2006).

For example, fear of reprisal from an instructor for not completing a required activity may result in greater extrinsic motivation, thereby “moving” an individual to comply with the instructor's request. Although extrinsic motivation is considered by most psychologists to be less beneficial in the long term than its more adaptive counterpart, intrinsic motivation (Ryan &Deci 2000Ryan RM, Deci EL. Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemp Educ Psychol 2000; 25: 54–67[Crossref], [PubMed], [Web of Science ®], [Google Scholar]), it may nonetheless motivate individuals to act. As such, some negative emotions, particularly negative activating emotions, and their resulting extrinsic motivation may improve learning and performance in certain situations (Pekrun 2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315–341[Crossref], [Web of Science ®], [Google Scholar]).

교육에 대한 함의

Implications for educational practice

성취 감정의 교육적 함의를 고려할 때 학생들의 성취 감정, 후속 동기 부여, 학습 및 수행이 성취 활동 및 결과에 대한 통제 및 가치 평가를 변경함으로써 영향을받을 수 있다고 가정 할 수있다 (Pekrun 외. 2007 ). 교육자는 학습 및 성과의 정서적 요소에 민감한 방식으로 연수생의 학습 환경을 형성함으로써 이러한 통제 및 가치 신념에 영향을 줄 수 있습니다 (Pekrun & Stephens 2010). 이렇게하기위한 3 가지 광범위한 방법이 아래에 설명되어 있으며, 추가 전략은 AMEE Guide no. 64. (Artino 외. 2012).

When considering the educational implications of achievement emotions, an assumption can be made that students’ achievement emotions, and subsequent motivation, learning, and performance can be influenced by altering their control and value appraisals relative to achievement activities and outcomes (Pekrun et al. 2007Pekrun R, Frenzel AC, Goetz T, Perry RP. The control-value theory of achievement emotions: An integrative approach to emotions in education. Emotion in education, PA Schutz, R Pekrun. Academic Press, Burlington, MA 2007; 13–36[Crossref], [Google Scholar]). Educators can influence these control and value beliefs by shaping trainees’ learning environments in ways that are sensitive to the emotional components of learning and performance (Pekrun &Stephens 2010Pekrun R, Stephens EJ. Achievement emotions: A control-value approach. Soc Personal Psychol Compass 2010; 4: 238–255[Crossref], [Google Scholar]). Three broad methods for doing so are described below, and additional strategies are provided in more detail in AMEE Guide no. 64. (Artino et al. 2012Artino AR, Holmboe ES, Durning SJ. Control-value theory: Using achievement emotions to improve understanding of motivation, learning, and performance in medical education: AMEE Guide no 64. (Theories in Medical Education). AMEE, Dundee2012 [Google Scholar]).

인지적 퀄리티와 인지 부하 

Cognitive quality and cognitive load

Pekrun and Stephens (2010)는 교육 활동의 인지적 퀄리티를 "구조, 명확성 및 인지 자극 잠재력"이라고 기술합니다. 학생들의 능력에 맞는 작업 요구와 함께 명확하게 구조화되고 인지 적으로 매력적인 자료는 통제 및 평가의 평가appraisals of control and value를 높일 가능성이 있습니다. 가치, 따라서 긍적 적으로 감정과 동기 부여, 학습 및 성능에 영향을 미칩니다. 

• 업무 요구가 너무 높으면 불안과 분노와 같은 부정적인 감정이 생길 수 있습니다. 

• 마찬가지로 업무 요구가 너무 낮 으면 지루함과 좌절과 같은 부정적인 감정이 생길 수 있습니다. 

따라서 내재적 동기 부여와 흐름의 이론에 따라 (Ryan & Deci 2000) 칭찬 할만한 목표는 학업 활동에서의 도전의 양과 학생들의 능력 사이의 균형을 이루는 것입니다. 의학 교육에서 이것은 의학의 "일반적인 조건에 대한 종이 케이스에 1 학년의 의대 학생들을 소개하는 것" vs "높은 인지적, 정서적 인 요구에 압도 당할 수있는 클리닉에서 일하는 것"이 포함될 수 있습니다.

Pekrun and Stephens (2010Pekrun R, Stephens EJ. Achievement emotions: A control-value approach. Soc Personal Psychol Compass 2010; 4: 238–255[Crossref], [Google Scholar]) describe the cognitive quality of instructional activities as “their structure, clarity, and potential for cognitive stimulation.” Clearly structured, cognitively engaging material with task demands that match students’ capabilities have the potential to increase appraisals of control and value, and thus positively influence emotions and subsequent motivation, learning, and performance. If task demands are too high, negative emotions such as anxiety and anger may result. Similarly, if task demands are too low, negative emotions such as boredom and frustration may result. Thus, consistent with theories of intrinsic motivation and flow (Ryan &Deci 2000Ryan RM, Deci EL. Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemp Educ Psychol 2000; 25: 54–67[Crossref], [PubMed], [Web of Science ®], [Google Scholar]), a laudable instructional goal is to attain equilibrium between the amount of challenge in academic activities and students’ capabilities. In medical education, this might include introducing first-year medical students to paper cases on common conditions in medicine versus having them work in a clinic where they may be overwhelmed with the high cognitive and affective demands.

가치

Value

현대 교육 심리학 연구는 교육 활동의 가치가 교사들에 의해 명시 적으로 다루어 질 수 있고 또한 그렇게되어야한다고 제안한다. 예를 들어, 특정 학습 활동과 내용의 중요성을 명확히함으로써 교사는 학생들이 개인 목표, 관심사 및 가치 실현에 대한 교과 과정의 기여도를 이해하도록 도와줍니다 (Schunk 외. 2008). 이 아이디어는 학생들이 기초 과학에 집중해야하는 학부 의학 교육의 초기 단계에서 특히 중요 할 수 있습니다. 기본적인 과학 내용과 임상 적 관련성을보다 잘 통합하려는 시도는 학생들의 정서적 경험을 향상시키는 데 많은 도움이 될 것입니다.

Contemporary educational psychology research suggests that the value of educational activities can (and should) be explicitly addressed by teachers. For example, by clarifying the importance of specific learning activities and content, teachers help students understand the contribution of coursework to the realization of their personal goals, interests, and values (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). This idea may be particularly relevant in the early years of undergraduate medical education where students are often required to focus on the basic sciences. Attempts to better integrate basic science content with its clinical relevance likely go a long way toward improving students’ emotional experiences.

통제와 자신감

Control and confidence

교육적 가치를 명시 적으로 언급하는 것 외에도 현대 교육 연구는 학생들의 개인적 통제에 대한 인식이 교육자에 의해 명시 적으로 타켓팅 될 수 있음을 시사한다. 예를 들어, 연구 결과에 따르면 학생들이 control이나 personal agency에 대한 감각을 구축하고 유지하는 것을 교사가 도와줄 수 있음을 나타냅니다. Bandura (1986)가 자기 효능감을 나타 냈습니다. 자기 효능감의 신념은 "지정된 유형의 공연을 달성하는 데 필요한 행동 과정을 조직하고 실행하는 능력에 대한 사람들의 판단"으로 정의되었다 (Bandura 1986). 학습을위한 학생들의 자기 효능감을 높이기 위해 많은 전략이 제시되었지만 (따라서 성취 감정과 그에 따른 동기 부여, 학습 및 성과에 도움이 됨) 하나의 구체적인 접근 방식, 즉 목표 설정이 여기에 제시됩니다. 

In addition to explicitly addressing instructional value, contemporary educational research also suggests that students’ perceptions of personal control can (and should) be explicitly targeted by educators. For example, research indicates that teachers can help students build and maintain their sense of control or personal agency – what Bandura (1986Bandura A. Social foundations of thought and action: A social cognitive theory. Prentice-Hall, Englewood Cliffs, NJ 1986 [Google Scholar]) has called their self-efficacy beliefs. Self-efficacy beliefs have been defined as “people's judgments of their capabilities to organize and execute courses of action required to attain designated types of performances” (Bandura 1986Bandura A. Social foundations of thought and action: A social cognitive theory. Prentice-Hall, Englewood Cliffs, NJ 1986 [Google Scholar]). Although many strategies have been shown to enhance students’ self-efficacy for learning (and thereby benefit their achievement emotions and subsequent motivation, learning, and performance) one specific approach – goal setting – is suggested here. 

특히 교육자는 학생들이 까다로운 근위 목표를 파악하고 설정하도록 도울 수 있습니다. 학생들이 현실적인 목표를 세울 때, 목표를 부여받지 못하거나 단순하게 최선을 다할 것을 말한 학생들보다 수행에 더 많은 동기 부여가되는 경향이 있습니다 (Locke & Latham 2002). 의학 교육에서 학생들은 단기간의 목표를 세 심하게 구성하고 임상실습이나 레지던트 로테이션에 대한 기대를 높이도록 도와 줄 수 있습니다. 이러한 목표 설정은 매주 단위로 반복되며, 이렇게 하는 것이 학생들이 교사로부터 도움이나 외부 교정을받지 않고 자신의 목표를 설정하도록하는 것보다 낫다.

Specifically, educators can help students identify and set challenging, proximal goals. When students set realistic goals, they tend to be more motivated to perform than students who are given no goals or who are simply told to try their best (Locke &Latham 2002Locke EA, Latham GP. Building a practically useful theory of goal setting and task motivation: A 35-year odyssey. Am Psychol 2002; 57: 705–717[Crossref], [PubMed], [Web of Science ®], [Google Scholar]). In medical education, this could involve helping students carefully construct short-term goals and expectations for a clerkship or a residency/registrar rotation, which are returned to on a weekly basis, versus having the students attempt to set their own goals with no input or external calibration from teachers.

의학교육에서의 감정: 필요한 행동

Emotions in medical education: A call to action

지난 20 년 동안 고등 교육에서의 성취 감정의 구조와 기능 및 학생들의 동기 부여, 학습 및 성과에 미치는 영향을 더 잘 이해하기위한 노력이 이루어졌습니다. 경험적 연구의 이러한 증가하는 기반에도 불구하고 우리는 교실과 임상 환경 모두에서 감정이 의료 연수생에게 어떻게 영향을 미치는지에 대해 거의 알지 못합니다 (의료 교육에서의 신흥 연구는 성취 감정이 학업 성과에 중요한 연관성이 있음을 시사합니다, Artino 외 2010 및 AMEE Guide no.44 (Artino 외. 2012).

In the last 20 years, strides have been made to better understand the structure and function of achievement emotions in higher education and their impact on students’ motivation, learning, and performance. Despite this growing base of empirical research, we still know very little about how emotions influence medical trainees in both classroom and clinical settings (although emerging work in medical education suggests that achievement emotions have important links to academic outcomes; see, e.g., Artino et al. 2010Artino AR, La Rochelle JS, Durning SJ. Second-year medical students’ motivational beliefs, emotions, and achievement. Med Educ 2010; 44: 1203–1212[Crossref], [PubMed], [Web of Science ®], [Google Scholar] and AMEE Guide no. 64 (Artino et al. 2012Artino AR, Holmboe ES, Durning SJ. Control-value theory: Using achievement emotions to improve understanding of motivation, learning, and performance in medical education: AMEE Guide no 64. (Theories in Medical Education). AMEE, Dundee2012 [Google Scholar])).

의학 훈련에서 성취 감정을 고려해야 할 필요성에 대한 예비 연구와 최근의 대화 외에도 의학에서의 감정에 대한 체계적인 연구가 부족합니다. 따라서 우리는 성과 (성과)가 개인 및 프로그램 효과 성의 주요 측정 기준 인 역량 기반 의학 교육으로의 이동을 고려할 때 의료 교육에서 신중한 학습 성취 감정이 필요하다고 생각합니다. 답을 필요로하는 관련 질문이 많고 그러한 질문에 답하기에 적합한 방법론이 다양하지만 다른 곳에서는 몇 가지 제안 된 연구 및 관련 방법론을 제안했습니다 (AMEE 가이드 no. 64 (Artino 외. 2012) 참조).

Aside from some preliminary work and recent conversations about the need to consider achievement emotions in medical training (Kanter 2011Kanter SL. Editorial: Think with your head and with your heart. Acad Med 2011; 86: 273 [Google Scholar]), there remains a dearth of systematic research on emotions in medicine. Accordingly, we believe the time has come to careful study achievement emotions in medical education, especially given the movement to competency-based medical education in which achievement (outcomes) is the primary metric of individual and program effectiveness. Although the relevant questions that need answering are many, and the methodologies appropriate for answering such questions are varied, elsewhere we have offered several suggested lines of research and associated methodologies (see AMEE Guide no. 64 (Artino et al. 2012Artino AR, Holmboe ES, Durning SJ. Control-value theory: Using achievement emotions to improve understanding of motivation, learning, and performance in medical education: AMEE Guide no 64. (Theories in Medical Education). AMEE, Dundee2012 [Google Scholar])).

요약

Summary

이 기사의 목적은 의학 교육 연구원을 현대 감정 성취 이론에 소개하고이 연구가 어떻게 의학 교육의 이론, 연구 및 실제를 알릴 수 있는지에 대한 간략한 개요를 제공하는 것입니다. 이 목표를 달성하기 위해, 우리는 성취 감정, 통제 가치 이론 (Pekrun 2006)의 주요한 현대 이론 중 하나를 상세히 설명하고 성취 감정의 종류, 근위 원인, 동기 부여, 학습 및 성과에 대한 결과를 구별했습니다. 우리는 또한 강사가 학생들에게 높은 수준의 통제와 가치를 조성 할 수있는 학습 환경을 조성 할 수 있어야한다는 점을 포함하여 몇 가지 중요한 교육적 함의를 제안했습니다. 마지막으로 우리는 정서가 중요한 교육 결과에 어떻게 영향을 미치는지에 대한 이해를 돕기 위해 의학 교육에서의 성취 감정에 대한 더 많은 연구를 요청했습니다.

Our purpose in this article was to introduce medical education researchers to a contemporary theory of achievement emotions and provide a brief overview of how this work might inform the theory, research, and practice of medical education. To achieve this objective, we detailed one of the leading contemporary theories of achievement emotions, control-value theory (Pekrun 2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315–341[Crossref], [Web of Science ®], [Google Scholar]), and distinguished between different types of achievement emotions, their proximal causes, and their consequences for motivation, learning, and performance. We also suggested several important educational implications, including the notion that instructors can and should create learning environments that foster a high degree of control and value for students. Finally, we ended with a call for more research on achievement emotions in medical education to facilitate our understanding of how emotions impact important educational outcomes.

이 분야를 발전시키기 위해 우리는 정서와 같은 "인지력이없는"구조에 대한 진지한 고려가 포함 된 이론적 기반의 엄격한 연구 의제가 필요할 때가되었다고 생각합니다.

To move the field forward, we believe that the time has come for rigorous, theory-based research agendas that include serious consideration of “non-cognitive” constructs like emotion.

Can achievement emotions be used to better understand motivation, learning, and performancein medical education?

[Indexed for MEDLINE]

CPD와 KT: 시너지를 위한 기회(J Contin Educ Health Prof. 2011)

CPD and KT: Models Used and Opportunities for Synergy

JOAN SARGEANT, PHD; FRANCINE BORDUAS, MD; ANNE SALES, PHD, RN; DOUG KLEIN, MD MSC; BRENNA LYNN, PHD;

HEATHER STENERSON, MED

스테이지 소개, 정의 및 설정

Introduction, Definitions, and Setting the Stage 

지속적인 전문 개발 (CPD)과 지식 번역 (KT)은 공통 목표 (즉, 의료 및 보건 전문 실무의 향상, 따라서 환자 치료 및 인구 건강 결과)를 공유하는 의료 분야 내의 분야입니다. 여러면에서 유사하고 대표적인 CPD 문헌에 링크되어 있지만, 1 개의 두 필드는 서로 다르고 분리되어 발전해왔다. 이 article에서는 이러한 유사점과 차이점에 대한 이유와 향상된 시너지 효과에 대한 기회를 살펴 봅니다.

Continuing professional development (CPD) and knowledge translation (KT) are fields within health care that share common goals (ie, the improvement of medical and health professional practice and hence patient care and population health outcomes). While similar in many ways and linked in seminal CPD publications,1 the two fields also differ and have developed somewhat separately. This article explores reasons for these similarities and differences, as well as opportunities for enhanced synergy. 

CPD 란 건강 전문가가 환자, 일반 대중 및 전문직을 돌보는 데 사용하는 지식, 기술, 전문적 성과 및 관계를 유지, 개발 및 향상시키기 위해 수행하는 일련의 교육 활동을 가리 킵니다. 1-3 CPD는 더 좁은 초점을 맞춘 전통적인 교훈적인 의학 교육 (CME)의 개념에서 유래하지만; 

• 임상 도메인뿐 아니라 추가 전문 실무 역량 (예 : 의사 소통, 협업, 전문직)을 다룹니다. 과

• 자기 주도적 평생 학습과 실습을 강조한다.

그러나 CPD는 CME와 마찬가지로 개인에 초점을 맞추기를 계속하지만, 환자의 보육을 향상시키고 건강 결과를 향상시키는 것이 궁극적인 목표입니다.

CPD refers to an array of educational activities that health professionals undertake to maintain, develop, and enhance the knowledge, skills, professional performance, and relationships they use to provide care for patients, the public, and the profession.1−3 CPD evolves from the more narrowly focused and traditional concept of didactic continuing medical education (CME); 

• addresses not only the clinical domain, but also additional professional practice competencies (eg, communication, collaboration, professional); and 

• emphasizes self-directed lifelong learning and learning from practice.4 

CPD continues, however, like CME, to generally focus on the individual, yet the overarching goal is to enhance patient care and improve health outcomes. 

많은 부분에서 implementation science과 유사한 지식 번역 (knowledge translation, KT)은 지식이 실제 적용되는 방식을 광범위하게 지칭하는 상대적으로 새로운 분야이며,보다 구체적으로는 환자 결과를 개선하고, 더 효과적인 의료서비스를 제공하고, 헬스케어 시스템을 강화하기 위하여 근거기반의료를 적용한다 .5,6 캐나다 보건 연구원 (CIHR)은 KT 이니셔티브에 많은 관심과 기금을 지원하고 지식 번역을 "합성, 보급, 교환 및 지식의 윤리적 응용을 통해 캐나다인의 건강을 향상시키는 역동적이고 반복적 인 프로세스"로 정의합니다. 또한 KT가 보다 효과적인 건강 서비스 및 제품을 제공하고 보건 의료 시스템을 강화할 것 "이라고 강조했다.

Knowledge translation (KT), similar in many aspects to implementation science, is a relatively new field that refers broadly to the ways that knowledge is applied in practice, and more specifically to application of evidence-based practice to 

• improve patient outcomes, 

• provide more effective health services, and 

• strengthen health care systems.5,6 

The Canadian Institute for Health Research (CIHR) devotes extensive attention and funding to KT initiatives, and defines knowledge translation as “a dynamic and iterative process that includes synthesis, dissemination, exchange, and ethically sound application of knowledge to improve the health of Canadians; provide more effective health services and products; and strengthen the health care system.”6 

그러나 KT 활동의 초점은 개인 건강 전문가가 최선의 근거를 적용하여 실천을 바꾸고 환자 결과를 개선 할 수있게하는 데있다. 의료 시스템과 정책이 목표 일지라도 CPD와 마찬가지로 일반적으로 개인에 초점을 맞추고 있습니다 .7

However, much of the focus of KT activities is also upon enabling individual health professionals to change their practice and improve patient outcomes by applying best evidence. Although health systems and policies may also be the target, the focus has generally been on the individual, similar to CPD.7 

KT와 CPD의 궁극적 인 목표는 환자 치료와 결과를 향상시키는 것이지만, 이러한 목표를 향한 길은 다릅니다. 

• CPD의 경우, 전통적으로 교육 및 학습을 활용한다 

• KT는 행동 변화를보다 직접적으로 유도하는 개입을 통한다. 

이러한 상이한 방향은 일반적으로 2 개의 필드와 관련 연구를 제한된 교차로가 있는 평행 스트림으로 작동하게했습니다.

While the ultimate goals of both KT and CPD are to improve patient care and outcomes, the paths towards these goals differ. 

• For CPD, the path has been traditionally through education and learning; 

• for KT, through interventions which more directly promote behavior change. 

These different orientations have generally led to the two fields and their related research operating as parallel streams with limited intersection. 

CPD와 KT의 두 분야를 더 자세히 살펴 보는 것이 시급한 이유는 무엇입니까? 

• 한 가지 대답은 광범위하며 환자 치료와 건강 결과를 향상시키는 공통 목표에 관한 것입니다. 현재 30 ~ 40 %의 환자가 최선의 근거로 정보를 제공받지 못했으며, 20 %에서 50 % 이상이 부적절한 치료를받는 것으로 추정됩니다 .8-10 교육을 통한 증거의 적용을 강화하기위한 전략 (CPD) 또는 다른 중재 (KT)는 새로운 임상 증거가 개선으로 이끄는 데 필수적입니다. 

• 두 번째 이유는 CPD 분야에 주로 관련된 것인데, 최근 의학 전문가 또는 인정 기관의 요구조건이 학습 또는 지식 변화뿐만 아니라, CPD의 결과로 개선 된 의사 성과 및 건강 결과를 보여줄 것을 요구하기 때문이다. 의사가 이러한 결과를 얻을 수 있도록 최선을 다하는 데 집중하십시오. 우리는 CPD와 KT 접근법을 더 잘 이해하고 조정함으로써 이러한 목표를 달성 할 수 있다고 제안합니다.

Why is it now timely to take a closer look at the two fields of CPD and KT? 

• One answer is broad and concerns the shared goal of improving patient care and health outcomes. It is now estimated that 30% to 40% of patients do not receive care informed by best evidence and that 20% to over 50% receive care that is inappropriate.8−10 Strategies to enhance application of evidence in practice, whether through education (CPD) or other interventions (KT) is essential if new clinical evidence is to lead to improvement. 

• The second reason, more specific to the field of CPD, is reflected by the recent requirements of medical professional and accrediting bodies to demonstrate improved physician performance and health outcomes as a result of CPD, not just learning or knowledge change,11 forcing CPD professionals to focus on how best to help physicians achieve these outcomes. We propose that closer understanding and alignment of CPD and KT approaches will lead to this end. 

따라서 이 논문의 목적은 두 분야의 유사점과 차이점에 대한 이해와 인식을 높이고 현재와 잠재적 인 교차점을 파악하기 위해 연구의 각 분야에 대한 지배적 인 개념 모델을 기술하고 비교하는 것이다 . 다음 섹션에서는 CPD와 KT의 실행을 알려주는 개념 모델을 제시합니다. 둘째, 각각의 목표 결과와 세 번째는 복잡한 시스템 내에서 두 필드 사이에 중첩됩니다. 토론에서 전달 된 우리의 믿음은 CPD와 KT가 중복되어 교차해야만 실제, 전문 성과 및 건강 결과에서 증거의 개선 된 적용을 촉진하는 데 효과적이라는 것입니다. 결합 된 분야는 사용 된 특정 전략과 보건 전문가의 영향뿐만 아니라 보건 전문가와 개입에 대한 문맥과 문화의 영향을 고려할 필요가있다.

The purpose of this paper, therefore, is to describe and compare the dominant conceptual models informing each field of research, with the view of increasing understanding and appreciation of the similarities and differences of the two fields and to identify the current and potential points of intersection. In the following sections, we present the conceptual models informing, first, the practice of CPD and KT; second, the target outcomes of each, and third, overlap between the two fields within complex systems. Our belief, forwarded in the discussion, is that CPD and KT do and must overlap and intersect in order to become more effective in promoting improved application of evidence in practice, professional performance, and health outcomes. The combined fields need not only to consider the impact of the specific strategy used and the health professionals targeted, but also the influence of the context and culture upon both the health professionals and the intervention. 

개념적 모델

Conceptual Models 

CPD와 KT의 실천

The Practice of CPD and KT 

CPD와 KT 둘 다에 대한 개념 모델은 활동을 묘사하기 위해 유사한 순환 반복 표현을 사용합니다 (그림 1a 및 1b). 아래 표 1과 표 1에서 유사점과 차이점을 설명합니다.

Conceptual models for both CPD and KT draw on similar circular, iterative representations to depict activities (FIGURES 1a and 1b).12,13 We describe these below and map similarities and differences in TABLE 1. 

CPD 모델은 일반 교육 이론 및 실습에서 파생 된 Kern's13 커리큘럼 디자인 모델을 기반으로합니다. 이 모델에는 다음과 같은 6 단계가 있습니다.

• 문제를 확인한다.

• 대상 청중에 대한 문제의 구체적인 특징을 결정하기 위해 요구 사항 평가를 수행

• 확인 된 요구 사항에 따라 목표와 목표를 설정

• 목표를 달성하기위한 교육 전략을 선택

• 도입(시행);

• 평가; 

• 피드백을 통해 프로그램에 반영

The CPD model is based on Kern’s13 curriculum design model, derived from general education theory and practice. This model has 6 steps, which include: 

• identify a problem; 

• conduct a needs assessment to determine the specific features of the problem for the target audience; 

• set goals and objectives based on identified needs; 

• select educational strategies to meet the goals; 

• implement; 

• evaluate; and 

• feedback to inform the program. 

마찬가지로 Moore는 개인이 어떻게 배우는 지에 대한 이론과 증거를 요약하고 5 단계를 확인했습니다.

• 학습의 기회를 인식

• 자원 검색;

• 학습

• 배운 것을 시험

• 배운 것을 실천에 통합

Similarly, Moore14 summarized theories and evidence on how individuals learn, and identified 5 steps: 

• recognize an opportunity for learning; 

• search for resources; 

• engage in learning; 

• try out what was learned; and 

• incorporate what was learned into practice. 

Graham 등은 개별 행동에 대한 계획된 행동 이론을 검토하고 이러한 이론 전반의 공통 요소를 파악하여 지식을 행동으로 전환시키는 7 단계 KT주기를 확인했습니다. 계획된 행동 이론은 개인이 특정한 변화를 줄 가능성에 영향을 미치는 변수를 탐구합니다. 지식 - 행동 (KTA)주기의 단계는 다음과 같습니다.

• 문제를 확인

• 지식을 지역 맥락에 적응

• 지식 사용에 대한 장벽을 평가

• 개입을 선택, 조정 및 구현

• 지식 사용을 감시

• 결과를 평가

• 지식 사용을 유지

Graham et al12 identified a 7-step KT cycle for translating knowledge into action, derived from a review of planned action theories for individual behavior and identifying common elements across these theories. Planned-action theories explore variables that influence the likelihood of an individual’s making a specific change. The steps in the knowledge to action (KTA) cycle are: 

• identify a problem; 

• adapt knowledge to local context; 

• assess barriers to knowledge use; 

• select, tailor, and implement interventions; 

• monitor knowledge use; 

• evaluate outcomes; and 

• sustain knowledge use. 

흥미롭게도이 세 모델은 PDSA (Plan-Do-Study-Act) 품질 개선 (QI) 사이클과 유사합니다 .15 모두 공통점이 무엇입니까?

• 문제 식별,

• 문제를 탐구하고 집중

• 적절한 개입 계획,

• 개입을 실시

• 변경 프로세스의 결과를 평가

Interestingly, these three models are also similar to the Plan-Do-Study-Act (PDSA) cycle of quality improvement (QI).15 What they all have in common are 

• problem identification, 

• exploring and focusing the problem, 

• planning for appropriate intervention, 

• implementing the intervention, and 

• evaluating the outcomes of the change process. 

그러나 CPD와 KT, QI의 중요한 차이점은 QI가 활동이 발생하는 팀, 컨텍스트 및 시스템을 명시 적으로 연구하고 고려하는 반면 CPD와 KT는 개별 실무자에게 집중하는 경향이 있다는 것입니다.

However, an important difference between CPD and KT, and QI, is that QI explicitly studies and considers the team, context, and system within which activities occur, while CPD and KT tend to focus on the individual practitioner. 

중요한 것은, 20 년 이상 제안 된 KT 중재 (예 : 리마인더, 감사)의 추가 채택은 덜 체계적인 방식으로 CPD에서 사용되지만, 프로세스 차이는 CPD 학습 활동에 대한 기존의 초점을 포함한다는 점입니다 .16 KT 중재는 학습 이외에 변화를 발생시키는 다른 방식을 통해 작용합니다. 이러한 다른 모드는 다음과 같습니다.

• (1) 강제 기능 (즉, 전문가들이 약물 형식을 제한하는 것과 같이 다른 관행을 강요하기 위해 노력하는 환경 변화);

• (2) 사회적 영향력을 이용하는 방법 (예 : 의견 교환 중재, 사회 구성 요소를 통한 변화에 영향을 미치는 방법) 과

• (3) 전문가가 이미 가지고있는 지식의 더 큰 인식과 적절한 적용을 촉진시키는 방법 (예: 리마인더).

Importantly, process differences include a traditional focus on learning activities in CPD, although the additional adoption of KT interventions (eg, reminders, audit) while proposed for over 20 years4 are used in a less systematic manner in CPD.16 KT interventions work through other modes of generating change in addition to learning. These other modes include: 

• (1) force functions (ie, changing the environment in which professionals work to force different practices, such as restricting drug formularies); 

• (2) methods using social influence (eg, such as opinion leader interventions, where the primary component is to effect change through social relations); and 

• (3) methods that promote greater awareness and appropriate application of knowledge the professional already has (eg, reminders).17 

우리의 견해로 볼 때, CPD와 KT 결과의 차이점은 프로세스 접근 방식의 차이에 크게 달려있다. 

• CPD는 근본적으로 실천에 영향을 주기 위한 지식 습득과 관련되어 있다. 

• KT에서는 지식 습득을 포함한 여러 접근법이 사용되며, 전문가가 필요한 지식을 가지고 있음에도 그 지식을 적절히 사용하지 못하게 하는 장애요인이 있다고 가정하는 접근법도 있다.

KT 활동의 초점은 종종 장벽의 식별과 완화이며, 지식의 부족은 단지 그 중 하나일 수 있습니다.

In our view, the differences between CPD and KT outcomes lie largely in the differences in process approaches. 

• CPD is fundamentally concerned with knowledge acquisition in order to influence practice change. 

• In KT, multiple approaches, including knowledge acquisition, are used, some of which assume that professionals have the knowledge they need, but are constrained by barriers from using that knowledge appropriately. 

The focus of KT activities, then, is often the identification and mitigation of barriers, only one of which may be lack of knowledge. 

KT와 CPD의 성과

Outcomes of KT and CPD 

CPD 및 KT의 예상 결과에는 큰 차이가 있습니다. 

• KTA주기의 명백한 목표는 새로운 지식의 채택의 결과로서 행동 및 / 또는 시스템 변화입니다. 계획된 행동 이론에 근거하여 KTA주기의 단계는 변화를 가능케하는 것으로 알려진 명확한 활동에 더 중점을 둡니다. 

• 교육 관점에서 볼 때 CPD 중재의 목표는 반드시 변화가 아닐 수도 있으며, 그보다는 다양한 수준에서의 학습이다. 교육 결과의 수준은 일반적으로 Kirkpatrick의 교육 결과 평가를위한 프레임 워크 (1967.18,19)에서 처음으로 제시됩니다.이 프레임 워크는 교육 개입 (즉, 반응, 학습, 행동 및 사회에 미치는 영향)에 대한 네 가지 수준의 결과를 제시합니다 (그림 2 참조).

There is a major difference in anticipated outcomes of CPD and KT. 

• The explicit goal of the KTA cycle is behavior and/or systems change, as the result of adoption of new knowledge. Based on planned action theories, the steps of the KTA cycle are hence more focused on explicit activities known to enable change. 

• The goal of CPD interventions, coming from an education perspective, may not necessarily be change, but learning at various levels. Levels of educational outcomes are commonly demonstrated by Kirkpatrick’s framework for evaluating educational outcomes, originally presented in 1967.18,19 The framework proposes four levels of outcome for educational interventions—reaction, learning, behavior, and impact on society (see FIGURE 2). 

이 모델은 보건 전문 교육의 성과 평가를 이끌 기 위해 광범위하게 사용되어 왔으며 이론적 인 관점에서 교육이 효과적 일 수있는 방법에 대해보다 종합적으로 통찰력을 갖기 때문에 수정되었습니다. 주목할만한 추가 사항은 전문 직업 교육의 결과를 종합 한 연구 팀이 만들었습니다 .21 그들은 2단계 학습에 하위 수준을 추가했습니다 : "태도와 인식의 수정". 또한 4단계 결과를 두 하위 수준으로 나누었습니다 : "조직 실천의 변화"및 "환자 / 고객에게 이익"(표 2 참조).

The model has been used extensively to guide outcomes assessment in health professional education20 and has also been modified as theoretical perspectives have more comprehensively informed thinking regarding the ways in which education can be effective. Notable additions were made by a research team synthesizing outcomes of interprofessional education.21 They added a sublevel to Level 2, Learning: “Modification of attitudes and perceptions” and divided level 4, Results, into two sublevels: “Change in organizational practice” and “Benefits to patients/clients” (see TABLE 2). 

마찬가지로 Moore는 CPD 활동의 교육 성과를 계획하고 평가하기위한 6 단계 모델을 만들기 위해 4 단계 Kirkpatrick 프레임 워크를 확장했습니다. 그는 새로운 레벨 1, 참여를 추가했으며, 가장 중요한 것은 역량의 발달에 대한 Miller의 피라미드를 포함시켜 Learning 레벨을 확장했습니다. 이 수준은 지식 습득의 결과에 대한 우리의 생각을 집중하는 데 도움이 되는 차별을 아는 것, 즉 “knows,” “knows how,” and “shows how,” 의 방식을 차별화합니다. Moore는 또한 "행동"을 "성과" 또는 Miller의 “does” 수준으로 대체하고 Miller의 프레임 워크를 확장하여 환자 및 지역 사회 결과를 모두 포함합니다 .14,22 원래 Kirkpatrick 모델과 이러한 수정 사항은 표 2에 나와 있습니다.

Similarly, Moore14,22 expanded upon the 4-level Kirkpatrick framework to create a 6-level model for planning and assessing educational outcomes of CPD activities. He added a new Level 1, Participation, and most significantly, expanded upon the Learning level by including Miller’s pyramid23 of progressive levels of competence. These levels differentiate the ways of knowing, that is, “knows,” “knows how,” and “shows how,” discriminations that are helpful in focusing our thinking about the outcomes of acquiring knowledge. Moore also replaces “Behavior” with “Performance,” or Miller’s “does” level, and expands Miller’s framework to include both patient and community outcomes.14,22 The original Kirkpatrick model and these revisions are noted in TABLE 2. 

이러한 각 CPD 결과 모델의 계층 구조에서 각각의 오름차순 수준에 따라 결과의 복잡성이 증가합니다. 학습 관점에서 CPD로부터 행동 및 시스템 변화에 대한 KT의 관점으로 변하는 것이다. 결과에 영향을 미치는 내부 및 환경 요인, 결과를 실현하는 데 걸리는 시간 및 데이터 수집 및 분석의 과제도 증가합니다. 다시 말하지만 유사성은 여러 모델에 걸쳐 존재합니다. Barr et al이 "태도와 인식"을 추가한 것은 우리가 "행동 변화"를 볼 때 인식과 태도의 영향을 고려해야 함을 상기시킵니다. 마찬가지로 무어는 다양한 지식에 대한 고려를 용이하게합니다. 두 접근법 모두 교육 성과의 다양한 뉘앙스를보다 명확하게 제시하고보다 정교하고 따라서 유용한 개요를 제공합니다.

With each ascending level in the hierarchy of each of these CPD outcomes models, the complexity of the outcome increases—removing CPD from a learning perspective to the KT perspective of behavior and/or systems change. The internal and environmental factors influencing the outcome, the length of time for the outcome to be realized, and challenges of data collection and analysis also increase. Again, similarities exist across models. The addition of “attitudes and perceptions” by Barr et al21 reminds us to consider the influences of one’s perceptions and attitudes on “behavior change.” Similarly, Moore’s incorporation of Miller’s work facilitates consideration of the different kinds of knowledge. Both approaches make more explicit the multiple nuances of educational outcomes and provide a more sophisticated and hence useful overview. 

그러나 교육 성과의 그러한 모델은 본질적으로 단순하고 직선적으로 나타나는 경향이 있으며 그러한 결과가 달성되는지 여부에 영향을 미치는 요소의 다양성을 반영하지 않습니다. 각 레벨은 그 아래의 레벨에 기반을 두었다고 개념적으로 느끼게 만든다 (예 : 행동 변화에 대한 지식과 기술의 향상, 개인의 행동 변화가 더 큰 사회 또는 조직 영향에 기여 함). 그러나 이러한 선형적인 conceptual sense는 각 수준에서 결과에 영향을 미치는 개인적 및 맥락 적 요인의 다양성에 대해 설명해주지 못한다. 24) 이는 저자의 반대에도 불구하고 발생한다.

However, such models of educational outcomes tend to appear simplistic and linear in nature, and do not reflect the multiplicity of factors that influence whether those outcomes are achieved. There is a conceptual sense that each level builds on the one below it (eg, increased knowledge and skill are required for behavior change, individual behavior change contributes to a larger societal or organizational impact), yet the conceptual sense remains linear, without an appreciation of the multiplicity of personal and contextual factors that influence outcomes at each level.24 This occurs in spite of explanations of the authors to the contrary. 

CPD와 KT의 중첩부: 성과 평가의 복잡성 잡아내기

Overlap Between CPD and KT: Attempts to Capture the Complexity of Assessing Outcomes 

지난 몇 년 동안 CPD와 KT를 연결하려는 공식적인 노력이 제기되었으며 두 분야가 행동 변화를 다루고 있음을 인식하고 있습니다 .16 이러한 노력은 또한 행동 변화에 영향을 줄 수있는 외부 요소에 대한 이해를 통합하려고 시도합니다. 이 사업의 리더 인 Davis는 CPD와 KT를 비교하여 KT가 목표 변경 활동과 증거의 변경 및 채택을 가능하게하는 이론 기반 접근 방식을 통해 변화하는 관행에서, 전통적인 교육 이니셔티브보다 훨씬 큰 영향을 미칠 수 있다고 제안했습니다. KT는 변화 기반 모델을 사용하여 개인뿐만 아니라 의료 시스템을 가능하게합니다. Davis 등은 단일 프레임 워크에서 두 개의 모델을 사용하도록 제안한다.

Formal efforts to link CPD and KT have been put forward over the past years and recognize that the two fields are addressing behavior change.16 Such efforts also attempt to incorporate understanding of external factors which may influence behavior change, a move we support. Davis,25 a leader in this initiative, compared CPD and KT and proposed that KT, through its targeted change activities and theory-based approach to enabling change and uptake of evidence, could have far greater impact than traditional education initiatives alone in changing practice. KT enables the health care system as well as the individual, using change-based models. Davis et al25 propose using two such models in a single framework. 

• Pathman26 모델은 표적으로 한 개인 또는 인구에 초점을 맞추고 동의, 채택, 마침내 순응을 통해 인식의 변화 진행을 제안합니다.

• Green's27 건강 증진 모델은 변화를 일으키거나, 가능하게하거나, 강화함으로써 시스템 개입이 세 가지 방식으로 변화를 지원하는 방법을 보여줍니다.

• 2003 년 이래로 여러 모델이 시스템과 행동을 변화시키는 구체적인 접근법을 제시하고 중재 및 구현 노력의 발전을 이끌 기 위해 사용됩니다.

• The Pathman26 model focuses on the targeted individual or population and suggests progress of change from awareness, through agreement, adoption, and finally adherence. 

• Green’s27 health promotion model demonstrates how system interventions can work in three ways to support change, by predisposing, enabling, or reinforcing the change. 

• Since 2003, a number of models have proposed specific approaches to changing both systems and behavior and are used to guide development of interventions and implementation efforts. 

CPD 모델로 돌아가보면, Moore12는 변화에 초점을 둔 CPD에 대한 복잡한 개념적 프레임 워크를 제안합니다. 이것은 4 가지 섹터 또는 이론 기반 접근 방식으로 구성됩니다. 그들은:

• 의사 학습 단계 (5 단계);

• 앞서 설명한 Green의 model27을 사용한 교수 설계 전략 (3 전략);

• 앞에서 설명한 Moore의 교육 성과의 확장된 프레임 워크(결과 7 단계). 과

• 진도를 측정하고 프로세스에 정보를 주는 평가 (3 가지 평가 방법).

To return to a CPD model, Moore12 proposes a complex conceptual framework for CPD that is focused on changing It is comprised of four sectors or theory-based approaches. They are: 

• stages of physician learning (5 stages); 

• instructional design strategies using Green’s model27 described earlier (3 strategies); 

• Moore’s expanded framework of educational outcomes as described earlier (7 levels of outcome); and 

• assessment to measure progress and inform the process (3 assessment approaches). 

부문과 그 구성 요소는 상호 작용, 반복 및 주기적으로 이루어지기 때문에 관계의 복잡성과 교육 성과, 특히 진료 변경, 환자 상태 및 인구 건강에 미치는 영향을 보여줍니다.

The sectors and their components are interactive, iterative, and cyclical, demonstrating the complexity of the relationships and the influences on educational outcomes, especially practice change, patient status, and population health. 

변화의 복잡성을 더욱 강조하기 위해, 해리슨 (Harrison)은 환자의 안전과 비용 상승에 대한 우려에 이끌려, CPD와 새로운 증거를 의사의 practice로 번역하는 시스템 기반의 프레임 워크를 제안했다. 시스템 이론은 시스템과 그 구성 요소가 어떻게

• 환경으로부터 정보를 수신하고,

• 처리하고,

• 환경으로 산출물을 생산하는지에 초점을 둔다

To further emphasize the complexity of change, Harrison28 proposed a systems-based framework for enhancing CPD and translation of new evidence into physician practice, activities driven by concerns for patient safety and rising costs. Systems theory focuses on how a system and its components 

• receive information from the environment, 

• process it, and 

• produce outputs into the environment. 

관계가 중요합니다 (즉, 개인간 및 개인과 조직 간의 관계). 그는 새로운 정보를 의사 관행으로 번역 할 때 6 가지 유형의 시스템의 상호 작용을 제안하고 연습을 변경하는 것이 얼마나 어려운 작업인지 강조합니다. 마찬가지로 KT 분야에서 새로운 증거 및 행동 변화의 채택에 따른 시스템 및 문맥 적 영향을 체계적으로 탐구하는 것은 개인, 맥락, CPD 또는 KT 중재 간의 상호 작용을 이해하는 새로운 모델로 이어지고 있습니다. .29,30 시스템과 맥락을 다루는 그러한 연구는 결합 된 KT-CPD 영역을 풍부하게 할 것이다.

Relationships are important (ie, relationships among individuals and between individuals and the organization). He proposes the interaction of six types of systems in translating new information into physician practice, emphasizing just how difficult a task it is to change practice. Similarly, in the KT field, methodical exploration of system and contextual influences upon adoption of new evidence and behavior change are leading to new models for understanding the interactions between the individual, context, and the CPD or KT intervention.29,30 We believe that such studies addressing systems and context will enrich the combined KT-CPD field. 

고찰

Discussion 

그럼 우리 모두 어디있는거야?  의학 교육 분야와 마찬가지로 KT와 CPD 중재가 왜 효과가 있고 왜 실패 하는지를 결정하는 연구는 거의 없습니다. 개념 모델에 대한 우리의 검토는이 조사 흐름이 필요함을 나타냅니다. 다양한 요인 또는 조건이 결과에 영향을 미치고; CPD 및 KT는 진공 상태에서 발생하지 않습니다. 메타 분석은 교육이나 변화를 유도하는 다른 방법에 중점을 두어 중재의 결과를 결정하고 비교하는 데 도움이되지만, 실제로 어떤 것이 왜 효과적인지 또는 그렇지 않은지를 이해하는 데 도움이되지 않으며 상황의 영향을 고려하지도 않습니다.

So where are we with all this? Similar to the field of medical education,31 there are few studies to determine why KT and CPD interventions work and why they fail. Our review of conceptual models indicates that this stream of inquiry is needed; various factors or conditions influence outcomes12,14,25,28; CPD and KT don’t take place in a vacuum. While metaanalyses are helpful in determining and comparing outcomes of interventions, whether focused on education or other methods of inducing change, they don’t really help us understand why something works or doesn’t, and don’t consider the influence of the context. 

예를 들어, 메타분석에서 모든 대규모 강의 세션 32 또는 모든 감사 및 피드백 개입 33은 무작위 통제 연구에서 연구 된 교육 "알약"과 같은 unimodal 개입으로 간주됩니다. 메타 분석은 환자 치료의 과정과 결과와 관련하여 그 영향을 종합하는 데 필요하지만 일반적으로 결과가 실현 된 이유에 대한 내용과 설명이 없습니다. 앞에서 언급했듯이, 우리는 "과연" 개입이 작동하는지와 더불어 "왜"특정한 개입이 작동하는지에 대한 이해를 가능하게하는 접근법을 시도 할 것을 제안한다.

For example, all large group didactic sessions32 or all audit and feedback interventions33 in meta analyses appear to be considered as unimodal interventions, like an educational “pill” studied in randomized-control studies. While necessary for synthesizing their impact as related to processes and outcomes of patient care, meta-analyses are generally bereft of context and explanation of why the outcomes were realized. As previously noted, we propose that approaches enabling understanding of “why” specific interventions work, as well as “if” they work, be undertaken. 

독립적으로 또는 혼합 방법 연구의 구성 요소로서 수행 된 질적 연구는 이러한 목적을위한 하나의 접근법이다. 그들은 개입과 그 결과에 영향을 미치는 요인을 개별적 또는 맥락적으로 탐구하기 시작할 수 있습니다. 예를 들어, Kennedy 등 34)은 새로운 지식이 실천으로 번역되는 것을 탐색하기위한 CPD 개입에 대한 우아한 연구를 설명합니다. 그들은 표준화 된 환자 조우를 통해 객관식 질문과 행동을 통해 지식을 테스트 한 후 인터뷰를 통해 지식의 불일치를 탐구했습니다. 그들은 지식을 실천함에 있어서 차이를 설명하는 두 가지 요소(확실성과 긴박감)가 있음을 알게되었고, CPD 중재에서 이들에 초점을 맞추면 실제로 새로운 지식의 적용을 향상시킬 수 있음을 제안했다.

Qualitative studies conducted either alone or as components of mixed-method studies are one approach to this end. They can begin to explore the factors, both individual and contextual, that influence an intervention and its outcomes. For example, Kennedy et al34 describe an elegant study following a CPD intervention to explore translation of the new knowledge into practice. They tested knowledge through multiple-choice questions and behavior through standardized patient encounters, followed by exploration of knowledgebehavior discrepancies through interviews. They learned that two factors explained the gap in applying knowledge to practice—level of certainty and sense of urgency—and suggest that focusing on these inCPD interventions may enhance application of new knowledge in practice. 

BEME35가 실시한 체계적인 검토와 같은 다른 접근법은 상황에 맞는 정보를 제공 할 수 있습니다. 예를 들어, Hammick36은 환자 치료에 영향을 미치는 것들 뿐만 아니라 Kirkpatrick의 교육 결과에 대한 Barr'21 adapted 모델을 사용하여 모든 수준에서 교육 성과를 결정했습니다.

• 반응;

• 기술, 지식, 인식 및 태도의 변화;

• 학습자 행동의 변화.

이렇게 교육 성과를 배열함으로써 중재가 어떻게 작동하는지, 그리고 그것이 달성 할 수있는 결과에 대한 포괄적 인 관점을 보여준다.

Other approaches such as systematic reviews conducted by BEME35 can provide contextual information. For example, Hammick36 determined educational outcomes at all levels using Barr’s21 adapted model of Kirkpatrick’s19 educational outcomes, not just those impacting patient care: 

• reactions; 

• changes in skills, knowledge, perceptions and attitudes; 

• changes in learners’ behavior. 

An array of educational outcomes like this allows for a comprehensive view of how an intervention works, and the outcomes it can achieve. 

Kirkpatrick의 결과 피라미드, 인식 및 태도의 변화, 지식과 기술의 향상은 종종 행동 변화의 선구자입니다. Hammick 등은 교육 개입의 결과에 대한 개인적 및 환경 적 요인의 영향을 이해하기 위해 교육 결과 및 기타 행동 변화 개입에 영향을 미치는 세 가지 그룹화 요인에 근거한 "3-p"체제를 도출했다.

• 전조 요인 (문맥 적, 사회적, 정치적 요소와 교육 기획자, 교사, 학습자의 개인적 특성);

• 프로세스 요인 (교수 및 학습 접근법);

• 제품 요인 또는 결과.

As implied by Kirkpatrick’s pyramid of outcomes, changing perceptions and attitudes, and enhancing knowledge and skills, are often precursors of behavior change. To understand the influence of personal and environmental factors upon the outcomes of education interventions, Hammick et al36 also drew on the “3-p”framework  predicated on three groupings of factors that influence the outcomes of education and other behavior change interventions: 

• presage factors (contextual, social, and political factors and individual characteristics of education planners, teachers, learners); 

• process factors (approaches to teaching and learning); and 

• product factors or outcomes. 

특정 주제 또는 결과를 다루는 질적 연구를 검토하고 종합하는 접근 방식 인 메타 합성은 양적 접근 방식을 독점적으로 사용하는 메타 분석처럼 명확하게 정의되지는 않지만 또 다른 유망한 접근법입니다. 메타 합성에 대한 몇몇 접근법은 정량적 연구의보다 질적 측면에 대한 검토를 포함하고 있으며, 최근 논문은 두 가지 접근의 강점을 바탕으로 메타 분석과 메타 합성을 모두 포함하고있다.

이러한 접근 방식은 CPD 및 KT를보다 포괄적으로 볼 수있는 창을 제공합니다 39.

• 그들이 가질 수있는 영향; 과

• 그 영향에 영향을 미치는 활동, 인구 및 맥락 간의 상호 작용.

These approaches present a window into more holistic ways39 of viewing CPD and KT; 

• the impact they may have; and 

• the interactions among the activity, the population, and the context that influence that impact. 

Realist evaluation은 복잡한 사회 환경 (예 : 바쁜 의료 환경)에서 복잡한 사회 개입 (예 : 교육 또는 행동 변화)을 연구하는 포괄적 인 접근 방식입니다. 현실주의적 평가는 "프로그램이 왜, 누구를 위해, 그리고 어떤 상황에서 작동합니까?"결과에 덧붙여, 특히 중재가 효과적인지 아닌지에 대한 설명 구성 요소에 참여합니다. 구성 요소는 일반적으로 비교 결과 연구에서 간과됩니다. 보다 구체적으로 현실주의적 평가는 "메커니즘 (개입) + 맥락 = 결과"라는 공식이 보여주는 인과 관계에 근거한다.

Another, realist evaluation40 is a comprehensive approach to studying complex social interventions (eg, education or behavior change), in complex social environments (eg, busy health care settings). Realist evaluation asks the questions, “Why does a program work, for whom, and under what circumstance?” In addition to outcomes, it attends particularly to the explanatory components of whether an intervention works or not, components generally overlooked in comparative outcome studies. More specifically, realist evaluation is based upon a view of causation as captured in the formula: “mechanism (intervention) + context = outcome”; 

즉, 개입 자체와 그 결과에 이르게하는 것은 개입과 상황 사이의 상호 작용이다. 우리는 이것이 CPD와 KT 연구자와 평가자에게 유용한 관점이라고 생각한다. 현실주의적 평가는 또한 이론에 근거한다. 즉, 개입, 맥락 및 결과 간의 관계를 명확하게하기 위해 노력한다. 그러나 조심해야 할 것은 이러한 평가를 적절하게 수행하는 것은 복잡하며, 많은 자원과 시간을 필요로합니다. 그러나 실제 평가의 목표는 CPD 및 KT 조사의 목표와 일치하는 것으로 나타났습니다. 또한 CPD 연구가 이론적, 과학적으로 이루어질 것, 맥락에 대한 연구와 영향을 주는 조건들을 연구해야 한다는 최근의 요청과도 일치합니다.

that is, it is the interaction between the intervention and the context that leads to the outcome, not just the intervention itself. We believe this is a helpful perspective for CPD and KT researchers and evaluators.41 Realist evaluation is also theory-based; that is, it strives to make explicit the relationships among the intervention, context, and outcomes. Yet, as a caution, it is complex to undertake appropriately, and requires extensive commitment of resources and time. Yet the goals of realist evaluation appear consistent with those of CPD and KT research, to understand not just what works but under what conditions it works. They are also consistent with recent calls for CPD research to be more theoretically and scientifically based, and to include study of context and influencing conditions.3 

고찰

Conclusions 

CPD와 KT 모델 및 접근법 간의 공통점과 차이점에 대한 탐구는 공통점, 특히 환자 및 시스템 관리를위한 결과 향상에 중점을 두는 점이 주목할 만하다는 것을 인식하게합니다. 이러한 모델을 통해 권장되는 프로세스는 평가, 계획, 조치 및 취해진 조치의 결과 평가 등을 강조한다는 점에서 매우 유사합니다. 모델과 접근법은 아마도 실제 성능의 차이에 대한 근본적인 이론에서 다를 수 있습니다. CPD 모델은 성능 격차의 주요 원인으로 지식 부족을 고려하며, KT 모델은보다 광범위한 장벽과 전략을 강조합니다.

Our exploration of the commonalities and differences between CPD and KT models and approaches leads us to recognize that the commonalities, particularly the focus on improving outcomes for patients and systems of care, are notable. Processes encouraged through these models are also very similar, with an emphasis on the need for assessment, planning, taking action, and evaluating the results of actions taken. The models and approaches differ, perhaps, in their underlying theories of the reasons for gaps in practice performance. The CPD model has focused on lack of knowledge as the principal reason for performance gaps. KTmodels emphasize a wider range of possible barriers and strategies. 

또한 중요한 것은 행동 변화의 근본적인 메커니즘을 강조하는 것이나, 의료인이 가지고 있는 지식을 적용하는 맥락과 문화에 대한 이해를 강조하는 것이 점점 수렴한다는 사실입니다. 특정 집단에 대한 지식 사용 및 실천 변화에 대한 맥락의 영향을 이해하려면 메타 합성 및 현실주의적 평가를 포함한 새로운 방법을 사용해야 할 수도 있습니다. 마지막으로, 맥락의 영향과 전문 직업적 상호 작용 및 팀 관리의 역할에 관한 QI 분야에서 얻은 교훈은 CPD 및 KT 세계에서 인정 받기 시작했습니다.

Importantly, we also find convergence of these parallel streams in the growing emphasis on understanding underlying mechanisms of behavior change, as well as on understanding the context and culture in which providers practice and in which they apply the knowledge they have and acquire. Understanding of the influence of context on knowledge use and practice change for a particular population is complex, and may require use of newer methods of synthesizing evidence, including meta-synthesis and realist evaluation. Finally, the lessons being learned from the QI field regarding both the influence of context and the role of interprofessional interaction and team care are only beginning to be appreciated in the CPD and KT worlds. 

요약하면, 우리는 CPD와 KT의 병행 흐름의 차이점보다 더 많은 유사점이 있으며 더 큰 협력이 가능하고 필요하다는 것이 분명해진다. 개선 된 환자 및 건강 결과와 관련된 목표를 달성하기 위해 KT 및 CPD 연구자와 의사 결정권자는 이러한 복잡한 문제를 해결하기 위해 연구 및 KT의 개선에 노력을 기울이고 전문 지식을 공유하고 공동 작업하고 공동 작업 할 수있는 기회를 가져야 한다.

In summary, we propose that there are more similarities than differences in the parallel streams of CPD and KT, and it becomes apparent that greater collaboration is possible and needed. In the attempt to achieve goals relating to improved patient and health outcomes, KT and CPD researchers and decision makers have the opportunity to join their efforts, share expertise, synergize, and collaborate in improving research and knowledge translation to address these complex issues.

J Contin Educ Health Prof. 2011 Summer;31(3):167-73. doi: 10.1002/chp.20123.

CPD and KT: models used and opportunities for synergy.

의학교육에서 e-learning의 현재와 미래(MEd Teach, 2014)

Contemporary and future eLearning trends in medical education

IAIN DOHERTY1, NEEL SHARMA2 & DARREN HARBUTT1

1The University of Hong Kong, Hong Kong, 2National University Hospital, Singapore

도입

Introduction 

다음은 MOOC (Massive Open Online Courses), 태블릿 컴퓨팅 및 학습 분석의 세 가지 온라인 학습 동향에 대한 고려 사항이며, 이러한 추세가 Ellaway가 의료 온라인 학습의 통합 기간으로 보는 것을 방해할지 여부에 대한 논의입니다 (Ellaway 2011 ). 우리가 고려하는 e 러닝 혁신은 NMC Horizon Report : 기술이 단기, 중기 및 장기간의 교육에 미치는 영향을 보여주는 잘 알려진 일련의 간행물 인 2013 Higher Education Edition에서 가져온 것입니다. 2013 년 보고서는 MOOC, 태블릿 컴퓨팅 및 학습 분석이 잠재적으로 교육에 중요한 영향을 미치고 있음을 나타냅니다 (Johnson et al., 2013). 우리의 견해로 볼 때, 각 추세는 의학 교육에 변화를 가져올 잠재력을 가지고 있습니다. 그러나 세 가지 추세가 함께 나타나면 의학 교육에서 중요한 변화를 위한 하나의 힘이 될 수 있습니다. 우리는이 아이디어를 탐색하고이 논문의 마지막 부분에서 이슈를 비판적으로 논의 할 것입니다.

What follows is a consideration of three current eLearning trends – Massive Open Online Courses (MOOCs), tablet computing, and learning analytics – and a discussion as to whether these trends might disrupt what Ellaway sees as a period of consolidation in medical eLearning (Ellaway 2011). The eLearning innovations that we consider are taken from the NMC Horizon Report: 2013 Higher Education Edition, a wellknown series of publications which looks at how technologies might impact on education in the short, medium, and long term. The 2013 report identifies MOOCs, tablet computing, and learning analytics as potentially having a significant impact on education (Johnson et al. 2013). In our view, each trend has the potential to bring about changes in medical education. However, if the three trends come together, then there may be a single force for change that could be significant for medical education. We will explore this idea and critically discuss the issues in the final section of the paper. 

무크

MOOCs 

MOOC는 누구나 인터넷 연결이 되어있다면, 얼굴을 마주 보거나 blended한 상태가 아니라도, 모듈을 통해 진행한다는 의미에서 코스에 액세스 할 수있는 수천 명의 학생 등록면에서 엄청납니다. 가장 잘 알려진 MOOC는 American Ivy League Universities를 통해 제공되는 xMOOC (Knox 외. 2012, Rodriguez 2012)이며, Coursera와 edX는 xMOOC 플랫폼의 가장 잘 알려진 두 가지 예입니다. 'xMOOCs'의 'x'는 탁월함, 외부 구제 활동, 탐사, 실험 및 확장을 의미하는 것으로 이해합니다 (Rodrick & Sun 2012). Coursera는 의료 분야 MOOC의 사례로서 현재 'Clinical Problem Solving'(캘리포니아 대학 2013)과 함께 'Introductory Human Physiology'(Duke University 2013)를 제공하고 edX는 'Clinical Trials Fundamentals of Clinical Trials'(2013 년 Harvard University 2013)를 제공하고 있습니다. ).

A MOOC is massive in terms of student enrolments which number in the thousands, open in terms of access to anyone with an Internet connection, online as opposed to face-to-face or blended, and a course in the sense that students progress through modules in order to complete a body of learning. The best-known MOOCs are the xMOOCs (Knox et al. 2012; Rodriguez 2012) offered through the American Ivy League Universities, with Coursera and edX being the two most wellknown examples of xMOOC platforms. The ‘‘x’’ in ‘‘xMOOCs’’ is understood to refer to excellence, external outreach, exploration, experimentation, and expansion (Rodrick & Sun 2012). As examples of MOOCs in the medical field Coursera is currently offering ‘Introductory Human Physiology’ (Duke University 2013) along with ‘Clinical Problem Solving’ (University of California 2013), while edX is offering ‘Fundamentals of Clinical Trials’ (Harvard University 2013). 

주류 의과 대학은 MOOC를 그들의 교육의 일환으로 사용할 수 있습니다. 각 학교는 자체적으로 의학 교과 과정 전반에 걸쳐 공통적인 내용에 대해 학습 자료를 제작하는 대신, 캠퍼스에서는 active learning을 촉진하면서, 기존의 "모범적인" MOOC의 학습 자료를 활용할 수 있습니다. MOOC 콘텐츠에 대한 액세스에는 다른 의미가 있습니다. 예를 들어, 학생들은 병리학과 같은 학부 교육에서 일반적으로 다루지 않는 영역의 콘텐츠에 액세스 할 수 있습니다. 학생들은 전 세계 주요 의사의 지식과 전문 지식을 활용하여 특정 분야에 대한 관점을 확보 할 수 있습니다. 예를 들어, 홍콩 대학 (University of Hong Kong)은 SARS와 같은 전염병의 진원지에있는 전문가들과 함께 곧 전염병에 관한 코스를 제공 할 것입니다. MOOC는 잠재적으로 선택 과목에서 원하는 로케일을 방문 할 수없는 학생에게도 도움이 될 수 있습니다. 그러한 기관에서 제공하는 MOOC를 착수함으로써 교육 혜택을 얻을 수 있기 때문입니다.

Mainstream medical schools may make use of MOOCs as part of their teaching. Rather than each school producing learning materials that are common across medical curriculums, schools could draw on ‘‘exemplar’’ learning materials from MOOCs whilst facilitating active learning on campus. Access to the MOOC content has other implications. For example, students might access content in areas that are not commonly covered in undergraduate education such as pathology. Students could access knowledge and expertise from leading doctors across the globe gaining their perspective on their particular discipline areas. For example, The University of Hong Kong will soon be offering a course on Epidemics with leading experts who have been at the epicentre of epidemics such as SARS. MOOCs can also potentially benefit those students unable to visit desired locales on electives as they may gain educational benefit from undertaking MOOCs delivered by those institutions. 

MOOC가 의학 교육을보다 근본적으로 변화시킬 수있는 잠재력이 있습니다. 예를 들어, MOOCs는 의학 교육으로 인정 될 수 있으며, 어떤 연구자들은 MOOC (Harder 2013)를 통해 필수 자격을 얻는 premed 학생을 이미 예상합니다. 의과 대학은 현재 MOOC에 대한 학점을 제공하지 않지만 미국 교육 협의회에서는 4 개의 Coursera 과정 (Harder 2013)을 인증하여 학생들이 고등 교육 기관에서 인정하는 학점을 얻을 수 있도록합니다. 동시에, Coursera는 MOOCs가 CME (Continuing Medical Education) (Harder 2013)를 고려할 수 있다고 발표했으며 이로 인해 CME에 유연하게 액세스하려는 바쁜 의사를위한 가능성을 열어줍니다. 이것은 특정 지역의 의사들이 잠재적으로 전 세계의 의사들과 함께 공부할 것이라는 점에서 전통적인 CME와는 다를 것입니다.

There is the potential for MOOCs to more radically transform medical education. For example, MOOCs might be credited for medical education and one commentator already envisages pre-med students gaining the required qualifications through MOOCs (Harder 2013). Whilst medical schools are not currently offering academic credits for MOOCs, the American Council on Education certified four Coursera courses (Harder 2013), so that students can gain credits recognized by institutes of higher education. At the same time, Coursera has announced that MOOCs can count for Continuing Medical Education (CME) (Harder 2013) and this opens up learning possibilities for busy doctors who want flexible access to CME. This would differ from traditional CME in that doctors in any particular location would potentially be studying with doctors from around the world. 

태블릿 컴퓨팅

Tablet computing 

태블릿의 출현으로 Android 기기와 함께 iPad가 탄생했습니다. 이제는 한 저자가 'agile device'라고 부르는 새로운 모바일 온라인 학습 공간 (Wilson 2012)이 등장합니다. 배터리 수명이 길고 비교적 큰 화면, 대용량 저장 장치 및 빠른 프로세서 속도를 갖춘 새로운 민첩한 장치의 출현으로 의료 교육에 새로운 가능성이 생겨났습니다. 예를 들어, 콘텐츠 및 공동 작업 가능성이 풍부한 전자식/상호작용형 텍스트 북의 진화를 보았습니다 (Educause Learning Initiative 2012). Harrison 's Principles (Inkling 2013)과 같은 Inkling의 의료 서적은 iPad 용으로 특별히 제작 된 전자 서적의 좋은 예입니다.

With the advent of tablets – the iPad along with Android devices – we now see a new mobile eLearning space characterized by what one author has called ‘‘agile devices’’ (Wilson 2012). The advent of these new agile devices with their long battery life, relatively large screens, large storage capacity and fast processor speeds brings new possibilities to medical education. For example, we have seen the evolution of the electronic/interactive text book that is rich with content and collaboration possibilities (Educause Learning Initiative 2012). Inkling’s medical books such as Harrison’s Principles (Inkling 2013) provide a good example of electronic books created specifically for the iPad. 

학생들은 이제 iTunes Store 및 Android 마켓 플레이스에서 3D 대화 형 해부학 모델을 사용하여 해부학을 배울 수 있습니다. 학생들은 ICD 10의 모바일 버전을 사용하고 모바일 응용 프로그램을 사용하여 치료 시점에서 모바일 장치에 환자 기록을 입력하고 유지할 수 있습니다. 모바일 장치는 언제 어디서나 협업 및 통신 가능성을 제공합니다. 메모를하고 오디오를 녹음하는 태블릿 응용 프로그램 인 Evernote와 같은 간단한 응용 프로그램은 학생들이 메시징 응용 프로그램에서 Skype에 이르는 통신 도구가 비디오 및 음성 상호 작용을 허용하면서 정보를 공유 할 수있게합니다.

학습 분석

Learning analytics 

Learning Management System Logs와 같은 학습 분석은 학생 학습에 대한 풍부한 정보를 분석하는 과정입니다. - 이는 기관이 ​​학생의 학습 경험에 대한 정보에 입각 한 조정을 할 수있게합니다. 이것은 단순히 개별 학생의 성과에 대해서 뿐만 아니라, 교육자가 교수, 학습 및 평가의 과정을 인식하는 방법에 대한 함축적 의미를 가지고 있습니다. 예를 들어, 개인화 된 학습 관리 시스템 인터페이스를 통해 실시간으로 정보를 제공함으로써 학습 분석은 교육에 대한 즉각적인 조정을 지원할 수 있으며,보다 유동적이며 변화하기 쉬운 커리큘럼 모델을 제안합니다.

Learning analytics is a process of analysing the wealth of information about student learning – e.g. Learning Management System logs – in a way that would allow institutions to make informed adjustments to a student’s learning experience. This has implications not simply for individual student performance, but for how educators perceive the processes of teaching, learning, and assessment. For example, by offering information in real time through a personalised learning management system interface (Mckay et al. 2012; University of Michigan 2013), learning analytics can support immediate adjustments to teaching, suggesting a model of curriculum that is more fluid and open to change. 

학습 분석은 의과 대학을 여행하는 동안 의대생을 더 잘 지원할 수있는 가능성을 제시합니다.

• 교사는 학습 분석을 사용하여 학생의 진도를 모니터링하고 

• 학생들은 대화 형 대시보드를 사용하여 자신의 진도를 모니터링 할 수 있습니다. 

• 동시에 교육 기관은 학습 분석을 사용하여 커리큘럼 디자인 및 교육 관행을 알리기 위해 데이터를 수집 할 수 있습니다. 예를 들어 데이터 분석을 통해 실적이 우수한 학생과 실적이 저조한 학생의 특정 패턴을 알 수 있습니다. 

• 중요한 "순간"이 발견되면 데이터가 해석 될 수 있으며 자동 경고 및 권장 사항과 같은 솔루션을 적용하여 상황을 해결할 수 있습니다.

Learning analytics point to the potential for better supporting medical students during their journey through medical school. Teachers can make use of learning analytics to monitor student progress and students can use interactive dashboards to monitor their own progress. At the same time, institutions can use learning analytics to gather data to inform curriculum design and teaching practices. For example, analysis of data may reveal particular patterns on the part of students who perform well and on the part of those who perform poorly. If critical ‘‘moments’’ are discovered then the data can be interpreted and solutions such as automated alerts and recommendations can be put in place to remedy the situation. 

변화의 힘

A force for change 

MOOCs, 민첩한 장치 및 학습 분석은 교육 및 학습 분야에 진입하고 있습니다. 각 추세가 의학 교육에 독립적으로 영향을 미칠 수 있지만 MOOC, 민첩한 장치 및 학습 분석의 결합은 의학 교육의 큰 변화로 이어질 조건을 만들 수 있습니다. 다음은 칸 아카데미의 설립자 인 찰스 프로버 (Prober & Heath 2012)의 샐먼 칸 (Salman Khan)이 발표 한 논문을 바탕으로, 세 가지 힘을 모두 포함하는 의학 교육이 어떻게 생겼는지를 보여줍니다. 한 과목의 컨텐츠는 매주 제공되는 비디오 강연 및 독서를 제공하는 MOOC에서 유래 할 수 있습니다. 이 콘텐츠는 어디서나 언제든지 콘텐츠에 액세스 할 수있는 모바일 친화적 인 플랫폼을 통해 제공 될 수 있습니다. 학생들은 미디어가 풍부한 디지털 교과서 및 대화 형 모델을 제공받을 수 있습니다. 이것은 언론 및 학생의 언제 어디서나 서로 협력 할 수있는 능력면에서 학습 경험을 향상시킬 것입니다.

MOOCs, agile devices, and learning analytics are entering the teaching and learning arena. While each trend may impact independently on medical education, the combination of MOOCs, agile devices, and learning analytics may create conditions that lead to greater changes in medical education. The following scenario – based partly on a paper by Salman Khan, founder of the Khan Academy and Dr. Charles Prober (Prober & Heath 2012) – illustrates what medical education that embraces all three forces for change might look like. The content for a subject area could be sourced from MOOCs which invariably provide weekly video lectures and readings. This content could be delivered through a mobile friendly platform which would provide students with anywhere, anytime access to the content. Students could be provided with media rich digital textbooks and interactive models. This would enhance the learning experience both in terms of the media and in terms of students’ ability to collaborate with one another anywhere, anytime. 

콘텐츠, 독서 및 활동은 학생 진도에 대한 데이터를 수집하는 학습 관리 시스템과 같은 온라인 포털에서 순서가 매겨 질 수 있습니다. 학습 관리 시스템은 학생들이 뒤쳐져 있는 경우 경고 신호를 포함하여 학생들의 진도에 대한 '조언'을 생성 할 수 있으며 학생의 학습을 장려하는 동기 부여 메시지를 전달할 수 있습니다. 이 시나리오에서 선생님은 예전에 콘텐츠 전달에 전념했던 시간에 학생들과의 사례를 통해 학습을 통해 학생들을 참여시키는 데 시간을 할애하기 위해 콘텐츠 전달에서 벗어났습니다. 또한 학생들은 자신의 후기 직업에 대한 전문성을 고려하여 특정 주제 영역을보다 깊이있게 추구 할 수있는 개별 학습 경로를 제공받을 수 있습니다 (Prober & Heath 2012).

Content, readings, and activities could be sequenced in an online portal such as a learning management system that would capture data about student progress. The learning management system could generate ‘‘advice’’ for students on their progress including warning signals should students fall behind and motivational messages to encourage students in their studies. In this scenario, teachers would be freed from content delivery to spend time engaging students in deeper learning through, for example, working through cases with students in the time that was previously dedicated to content delivery. Additionally students could be provided with individual learning pathways allowing them to pursue certain subject areas in greater depth with a view to their specialisations in their later careers (Prober & Heath 2012). 

교육적으로, 우리는 성인 학습 원리 (Knowles 1987)의 이상적인 관점에서 생각할 수 있으며 언제 어디서나 배우는 자율적이고 자기 주도적 인 학습자를 상상할 수 있습니다. 교사는 de-centered되며, 교사의 진정한 가치는 학생들이 수업 시간에보다 깊은 학습 활동에 참여하도록하는 것입니다. 우리는 오늘날 의료 분야가 기술 분야에 대한 지식과 환자를 관리하는 의사 측면에서 기술에 크게 의존하고 있음을 알고 있습니다. 의대생의 초기에 테크놀로지를 경험하면서 장래에 technology-supported 환경에서 환자 진료를 준비하는 데 도움이됩니다.

Pedagogically, we can think in terms of the ideal of adult learning principles (Knowles 1987) and envisage autonomous, self-directed learners learning anywhere and at any time. The teacher would be de-centred and the real value added of the teacher would be engaging students in deeper learning activities during class time. We know that healthcare today relies heavily on technology both in terms of doctors remaining current with knowledge in their field and in terms of doctors managing their patients. Exposure to technologies early on in medical students’ careers would help to prepare them for technology supported patient care in the future. 

고찰

Discussion 

MOOCs에 대한 현재 연구는 교육 및 학습 과제를 지적합니다 (Mackness et al. 2010). 

• MOOC는 비디오 강좌 및 객관식 연습에 대한 과도한 의존으로 인해 교육적으로 결함이있는 것으로 인식되었습니다 (Daniel 2012). 

• 또한 의학 커리큘럼 측면에서, 이미 공개되어있는 교육 자료에 비해 실질적인 이점이 있는지는 아직 명확하지 않습니다. 

• 교사가 MOOC에서 교사 대 학생 비율 (일반적으로 1에서 수천)을 감안할 때 교사가 학습을 통해 학생들을 지원하는 것은 불가능하기에, 학생은 자율적이고 자기 주도적 인 학습자 여야합니다. 

• 어떻게 수천 명의 학생들에게 의미있는 평가를 제공할 수 있을 것인가는 여전히 ​​명확한 답이 없는 질문입니다.

Current research on MOOCs points to teaching and learning challenges (Mackness et al. 2010). MOOCs have been perceived to be pedagogically deficient with an over reliance on video lectures and multiple-choice exercises (Daniel 2012). In terms of the medical curriculum, it is not yet clear that they offer any real advantage over open educational resources that might be integrated into the curriculum. Given the teacher to student ratio in MOOCs – typically one to thousands – it is impossible for teachers to support students with their learning and students must therefore be autonomous and self-directed learners. The question of how to deliver meaningful assessments to thousands of students – each of whom must be unequivocally identified – is still a question in search of a rigorous answer. 

MOOCs에 대한 매우 높은 중퇴율이 의미하는 바에 대해서는 대답 할 수없는 의문이 있습니다. 전형적으로 등록 된 학생의 10 % 미만이 특정 MOOC를 마치기 때문에, 과정을 수강 할 의사가 있는 등록 된 학생의 비율을 결정하기 위해 합류 할 때 참가자의 의도를 이해해야합니다. 교육 기관과 고용주가 MOOC에 궁극적으로 자리 매김 할 가치를 공식적인 학습 목적을 위해 취한 것을 아직 보지 못했습니다. 마지막으로, MOOC가 지속 가능한 비즈니스 모델을 갖고 있다는 사실은 확실하지 않습니다. 이는 UEFAity (Usher 2013)의 첫 번째 MOOC 플랫폼 중 하나가 최근에 사라짐에 따라 입증 된 사실입니다.

There are unanswered questions concerning what the very high dropout rate for MOOCs might mean. While typically less than 10% of the enrolled students finish any particular MOOC we need to understand participants’ intentions when joining to determine the percentage of enrolled students who had the intention of completing the course. We have yet to see the value educational institutions and employers will ultimately place upon MOOCs, taken for formal learning purposes. Finally, it is not clear that MOOCs have sustainable business models, a fact evidenced by the recent demise of one of the first MOOC platforms, Udacity (Usher 2013). 

Agile device를 사용한 어플리케이션에 대한 연구는 교육 및 학습을 위해 진정으로 혁신적인 어플리케이션이 거의 없음을 나타냅니다 (Murray & Olcese 2011). (별다른 혁신 없이) 그들은 학생들이 내용을 읽고 선다형 문제에 답하는 학생들과 함께 행동주의적 훈련과 연습 교육에 기반을두고 있습니다. 교수 및 학습을 위한 agile device에 대한 의존도는 학생들이 다양한 배경을 가지고 있으며 모든 학생들이 장치를 구입할 수 있는 것은 아니므로 형평성 문제를 제기합니다. 애플과 안드로이드 같은 다른 장치를 소유 한 학생들이 실제 학생들에게 접근 할 수있는 응용 프로그램과 서비스를 찾는데 어려움을 겪을 수도 있습니다.

Research into applications for agile devices suggests that very few of the applications are truly innovative for teaching and learning (Murray & Olcese 2011). Rather they are grounded in a behaviourist drill and practice pedagogy with students reading content and answering multiple-choice questions. Reliance on agile devices for teaching and learning also raises equity questions as students come from diverse backgrounds and not all students will be able to afford a device. There is also the practical question of students owning different devices – Apple and Android – which can lead to challenges with finding applications and services that will be accessible to all students. 

학습분석을 이용하면 학생들을 지원할 잠재력이 있지만, 데이터가 의미있으려면 해석이 필요하다는 것을 알아야합니다. 데이터 분석에는 많은 시간과 노력이 필요하며 이는 자원에 영향을 미칩니다. 물론 특정 데이터 세트에 대해 여러 해석이 있습니다. 예를 들어, 특정 커리큘럼 영역에서 학생들이 어려움을 겪고 있음을 보여주는 데이터는 커리큘럼의 문제로 해석되거나 커리큘럼에 대한 학생들의 접근 방식과 관련이있는 것으로 해석 될 수 있습니다. 아니면, 두 영역 모두에 문제가 있을 수 있습니다. 해석에 동의하더라도 인식 된 문제를 해결하기 위해 커리큘럼을 변경할 의지가 있어야합니다. 학습 분석은 교사의 민감한 관찰과 이해를 대체하는 것으로 볼 수 없습니다. 즉, 우리는 '자동화 된'교육의 위험성에 대해 생각해야합니다. 마지막으로, 데이터 사용에 대한 우려와 함께 데이터 보안에 대한 우려가 자연스럽게 발생합니다.

While learning analytics has the potential to support students, we have to be aware that data requires interpretation before it becomes meaningful. Analysing data takes a lot of time and effort and this has resource implications. There are of course multiple interpretations for any particular data set. For example, the fact that data showing students struggling with a particular curriculum area can be interpreted as a problem with the curriculum or as having something to do with the students approach to the curriculum. Alternatively the issue may lie in both areas. Even if the interpretation is agreed upon there has to be a willingness to make changes to the curriculum to address a perceived problem. Learning analytics cannot be seen as a replacement for the sensitive observation and understanding of the teacher. In other words, we must think about the dangers of ‘‘automated’’ teaching. Finally, concerns over data security along with concerns over the use of the data will naturally arise. 

Conclusion 

이 백서는 eLearning이 의학 교육에 영향을 줄 수있는 몇 가지 방법을 제시했습니다. 우리는 극복해야 할 몇 가지 이슈가 있고 교육적 관점에서 볼 때 MOOC는 특별히 혁신적이지 않다는 점을 지적했습니다. 그러나, 다시 상상 한 의학 커리큘럼이 어떻게 생겼는지에 대한 비전이 있습니다 (Prober & Khan 2013). 이 re-imagining은 기술에 그치지 않고 의학 교육과 학생 학습에 관한 교육학적 관점에 있습니다. 이 관점은 능동적 학습, 학생 참여 및 학생 동기 부여의 원칙을 포용하는 동시에, 교사를 de-centering 합니다. 따라서 현재의 eLearning 추세는 변화를 가능하게하는 상황을 제공하지만 교육자가 교과 과정 변경 서비스에서 기술을 활용할 것을 요구합니다.

This paper has presented some ways in which eLearning might impact on medical education. We noted that there are some issues to be overcome and that from a pedagogical perspective MOOCs are not particularly innovative. However, there is a vision for what a re-imagined medical curriculum might look like (Prober & Khan 2013). This re-imagining rests not so much on the technologies but on a pedagogical perspective about medical teaching and student learning. The perspective embraces principles of active learning, student engagement and student motivation while at the same time de-centring the teacher. Thus, whilst current eLearning trends provide enabling circumstances for change, it will require a commitment on the part of educators to utilize technologies in the service of curriculum change. 

Med Teach. 2015 Jan;37(1):1-3. doi: 10.3109/0142159X.2014.947925. Epub 2014 Aug 26.

Contemporary and future eLearning trends in medical education.

MOOC은 의학교육의 미래인가? (BMJ, 2013)

Are MOOCs the future of medical education?

Ben Harder looks at Massive Open Online Courses and asks whether they will change the future

of medical education

Ben Harder General manager, Health Rankings, US News & World Report

Carol Aschenbrener는 최근 캘리포니아 대학 샌프란시스코 (UCSF) 의과 대학에서 높은 평가를 얻은 교수가 강의 한 과정인 임상 문제 해결 (Clinical Problem Solving)을 받았습니다. 워싱턴 DC에 사는 Aschenbrener는 직접 강의에 참석하지 않았습니다. 실제로, 28,000 명의 학생이 등록 했음에도 불구하고, 강당에는 강당이 없었습니다. Teeming 과정은 전적으로 온라인으로 진행되었습니다.

Carol Aschenbrener recently took Clinical Problem Solving, a course taught by a highly regarded professor at the University of California-San Francisco (UCSF) School of Medicine. Aschenbrener, who lives in the Washington, DC, area, didn’t attend lectures in person. In fact, the class had no lecture hall, even though some 28 000 students had enrolled. The teeming course was taught entirely online. 

임상 문제 해결 (Clinical Problem Solving)은 강의 과정이 다양한 학문 분야에서 수행되는 방식을 동시에 약속하고 위협하는 "대규모 오픈 온라인 강좌"또는 MOOC로 알려진 새로운 유형의 수업 중 하나입니다. 지난 몇 년 동안,이 무료 과정은 세계 곳곳에서 그리고 생각할 수있는 거의 모든 주제에서 수십만 명의 학생들을 끌어 들였습니다. (Aschenbrener가 이수한 첫 번째 MOOC는 문학 강좌였다.) Clerical Problem Solving을 제공하는 Coursera, MIT (Harvard and Massachusetts Institute of Technology)가 공동으로 착수 한 EdX와 같은 온라인 교육 플랫폼은 선도 대학들과 협력했습니다 MOOCs 개발 등록 된 학생들은 미리 녹음 된 강의를보고 온라인 퀴즈 및 채팅 포럼을 사용하여 진행 상황을 평가하고 동급생과 원격으로 공동 작업합니다.

Clinical Problem Solving is one of a new breed of classes known as “massive open online courses” or MOOCs, which simultaneously promise and threaten to upend the way lecture courses are conducted across a range of academic disciplines. In the past few years, these free courses have attracted hundreds of thousands of students from every corner of the world and on nearly every conceivable subject. (The first MOOC that Aschenbrener took was on literature.) Online educational platforms such as Coursera,1 which offers Clinical Problem Solving, and EdX, an undertaking launched jointly by Harvard and Massachusetts Institute of Technology (MIT), have teamed up with leading universities to develop MOOCs. Enrolled students watch prerecorded lectures and use online quizzes and chat forums to assess their progress and collaborate remotely with classmates. 

게임 체인저

Game changer 

미래의 의사에게 MOOC의 부상은 교육적 게임 체인저가 될 수 있습니다. 의학교육자들은 MOOC 및 기타 온라인 코스웨어가 의료 교육에 어떻게 통합 될 수 있는지 적극적으로 연구하고 있습니다. 그들은 강의 기반 과정이 온라인이든 직접이든 상관없이 의학교육의 일부만을 제공 할 수 있다는 것에 동의합니다. 그러나 일부 사람들은 이러한 맥락에서 온라인 강의의 중요한 역할을 예견하고 있습니다. "온라인 콘텐츠 전달은 의과 대학에서 약 5 년 내에 일상적인 것이 될 것"이라고 UCSF 의과 대학 교육 담당 부학장 인 캐서린 루시 (Catherine R Lucey)는 말한다. 캐서린 루시는 28,000 명의 MOOC를 가르치고 대학의 UME, GME, CME를 감독하고 있다. 의대생들은 웹 기반 코스를 택한 것에 대한 크레딧을 tick off할 수는 없지만, 온라인으로 점차 학점 이수를 완성 할 수 있다는 사실을 알게 될 것이라고 그녀는 말합니다.

For future doctors, the rise of MOOCs could be an educational game changer—or not. Medical educators are actively exploring how MOOCs and other online courseware could be incorporated into medical training. They agree that lecture based courses, whether online or in person, can provide only part of a doctor’s education. Yet some foresee an important role for online lectures within that context. “Online content delivery will be commonplace within about five years in medical school,” predicts Catherine R Lucey, who taught the 28 000-student MOOC and who, as vice dean of education at UCSF’s medical school, oversees the university’s undergraduate, graduate, and continuing medical education (CME). Medical students, she says, might never be able to tick off a credit for taking an exclusively web based course, but before and after medical school they may find they can increasingly complete requirements online. 

지금까지 MOOC를위한 의학 학점이나 예비 프로그램은 학점을 제공 한 것으로 보이지 않습니다. 그러나 2 월 상순에 미국 교육위원회 (Council on Education)는 4 개의 Coursera 과정을 인증했습니다. 따라서 이 위원회는 대학들이 학업을 마치는 학생들에게 학부를 인정할 것을 권장합니다. 며칠 후, Coursera는 CME를 찾는 학생들이 적당한 비용을 지불하고 신원 확인을위한 선택 과정에 제출하는 한 Clinical Problem Solving을 포함한 다른 두 코스가 CME로 간주 될 수 있다고 발표했습니다. 이 두 코스는 CME 크레딧을받을 수있는 최초의 MOOC 인 것으로 보입니다.

To date, no medical school or premed program seems to have offered academic credit for a MOOC. But in early February, the American Council on Education certified four Coursera courses, meaning that the council now encourages universities to grant undergraduate credit to students who complete them. Just days later, Coursera announced that two other courses, including Clinical Problem Solving, could be counted as CME, as long as students seeking CME pay a modest fee and submit to an optional process for identity verification. These two courses seem to be the first MOOCs eligible for CME credit. 

Aschenbrener의 경우, 학점을 따는 것은 부수적인 것이다. 그녀는 미국 의과 대학 협회의 최고 의학 교육 책임자로 잘 지 냈습니다. 협회는 141 명의 미국 의과 대학 및 약 400 명의 부속 병원을 대표하며, 미국 의대생 및 거주자가 예술을 배우는 바로 그 기관입니다. 그러나 그녀의 UCSF 교수와 마찬가지로, Aschenbrener는 의학 교육의 일부가 웹으로 마이그레이션 될 수 있다고 생각합니다. 의과 대학은 강의 형식 수업에 참여하는 학생들에게서 점차 멀어지고 있으며, 상호 작용 중심의 학습으로 교실 시간을 조종하기로 결정했습니다. 일부 학교는 학생들이 강의실에 나타나기 전에 미리 녹화 된 강의를 온라인으로 시청하는 "거꾸로"또는 "뒤집힌 강의실"모델을 도입했습니다.

In Aschenbrener’s case, getting credit is beside the point. She’s gainfully employed as the chief medical education officer of the Association of American Medical Colleges. The association represents 141 accredited US medical schools and about 400 affiliated teaching hospitals, the very institutions where US medical students and residents learn their art. Yet like her UCSF professor, Aschenbrener believes that parts of their medical education may be poised to migrate to the web. Medical schools, she notes, are increasingly shifting away from students attending lecture-format classes, opting instead to steer classroom time toward interaction driven learning. Some schools have introduced an “inverted” or “flipped classroom” model in which students watch prerecorded lectures online in their own time before showing up in class. 

왜 굳이 강의로 시간을 낭비하나?

Why waste time at a lecture? 

뉴 잉글랜드 저널 오브 메디신 (New England Journal of Medicine)의 2012 년 에세이는 의학 교육에서 뒤집힌 교실 모델의 사용을 진심으로지지했습니다. "완벽한 비디오 전달 플랫폼을 갖춘 시대에 온라인 강의에서 귀중한 수업 시간을 낭비하는 이유는 무엇입니까?"라고 Stanford School of Education의 수석 부교수 인 Charles G Prober와 Business 교수 인 Chip Heath는 말했습니다. 이 두 사람은 미공개 스탠 포드 (Stanford) 자료를 포함한 몇 가지 증거를 인용하여 Flipped classes이 학생들의 참여를 높이고 자료의 흡수를 향상시킬 것이라고 제안했습니다.

A 2012 essay in the New England Journal of Medicine heartily endorsed the use of the flipped classroom model in medical education. “In an era with a perfect video-delivery platform [online], why would anyone waste precious class time on a lecture?” wrote Charles G Prober, Stanford School of Medicine’s senior associate dean of education, and Chip Heath, business professor and one of the authors of “Made to Stick.”2 The pair cited some evidence, including unpublished Stanford data,  suggesting that flipped classes engender greater student engagement and better absorption of material. 

그러나 flipped class는 MOOC와 같이 온라인에서만 진행되는 코스와 같지 않다. 의학교육자들은 현대 의과 대학 교과 과정의 거의 모든 과정이 상호 작용하는 학습 경험을 바탕으로 구축되었으며, 일부는 모의 환자와 같은 경험을 통해 온라인으로 완벽하게 재현 할 수 없다는 점을 재빨리 강조합니다. 이러한 이유로 전문가들은 일반적으로 현재의 캠퍼스에서 의대생 교육을 중단하지 않을 것으로 예상합니다. Prober는 일부 학생들은 온라인에서 핵심 지식을 쉽게 이용할 수있게되어 의과 대학을 졸업하는데 4년보다 적게 걸릴 수 있다고 말합니다. 그러나 그렇다고 해도 학생들은 여전히 실제적인 경험이 필요합니다.

But a flipped classroom is not the same thing as a course conducted exclusively online, such as a MOOC. Medical educators are quick to emphasize that nearly all courses in modern medical school curriculums are built around interactive learning experiences, some of which—such as mock-patient encounters—are impossible to fully reproduce online. For that reason, experts generally don’t foresee a departure from today’s campus based training of medical students. Some students, Prober says, might be able to power through medical school in fewer than four years, thanks to the easy availability of core knowledge online. But they’ll still need the practical experience they can only get in person. 

장기적으로 Lucey는 "의과 대학들은 점차 온라인으로 수강 할 과정을 개설하거나, 다른 학교의 과정을 인정해줘야 할 것"이라고 예측했다.하지만 어느 쪽의 방법 으로든 이러한 뒤집힌 교실 모듈은 각 학생이 등록한 학교에서의 수업 내 상호 작용으로 보강 될 것이다. 

In the long run, Lucey predicts, “medical schools will either develop courses to be taken online or license courses from other schools.” But either way, she says, these flipped classroom modules will be augmented with in-class interactions at the institution where each student is enrolled. 

존스 홉킨스 대학 (Johns Hopkins University)은 오랫동안 뒤집힌 교실 접근법을 실험하기 시작했습니다. 분자 생물 물리학자인 해리 골드버그 (Harry Goldberg)와 그의 교수진 팀이 심혈관 생리학 과정을 수강하는 의대생에게 테이프로 된 강의를 제공 한 지 15 년이되었습니다. 이제 이 대학교는 건강 과학 분야에서 학계의 포괄적 인 온라인 코스 카탈로그 중 하나를 제공합니다. 블룸버그 공중 보건 대학을 통해서만 200,000 명이 넘는 학생들이 온라인 수업에 등록했습니다. 지구상에서 멀리 떨어져 살면서 일하면서 수천 명이 학점을 얻는다.

Johns Hopkins University long ago began experimenting with the flipped classroom approach. It’s been 15 years since molecular biophysicist Harry Goldberg and a team of his faculty colleagues made taped lectures available to medical students taking a course on cardiovascular physiology. Now, the university offers one of academia’s more comprehensive online course catalogs in the health sciences. Through the university’s Bloomberg School of Public Health alone, more than 200 000 students have enrolled in online classes. Several thousand have taken them for credit, in some cases while living and working in farflung corners of the globe. 

MOOCs의 규모는 얼마나됩니까?

How big will MOOCs get? 

현재 대학의 의대의 부학장 인 Goldberg는 온라인 학습에 대한 기회를 보았지만, 내일의 의사가 어떻게 배울지에 대대적 인 변화를 일으킬 것인지에 대해서는 회의적이었습니다. "MOOC는 의학 교육에서 중요한 역할을합니다. "나는 그 역할이 사람들이 바라는 것보다 훨씬 작다고 생각합니다." 이것은 주로 강의 스타일의 교훈 또는 웹에서의 "콘텐츠 전달"이 의학 전반에 걸친 학습 경험의 작은 부분이기 때문입니다. MOOCs에서도 상호 작용은 있지만, 의학 교육이 요구하는 수준 만큼은 아니다.

Although Goldberg, now assistant dean at the university’s School of Medicine, sees promise in online learning, he’s skeptical it will revolutionize how tomorrow’s doctors learn. “MOOCs have a role in medical education,” he says. “I think that role is a lot smaller than people hope it will be.” That’s mainly because lecture-style didactics—or “content delivery,” in the parlance of the web—is a small piece of the overall learning experience in medicine. MOOCs permit interaction but not necessarily to the extent that medical education requires, he says. 

MOOC가 독자적으로 참여할 수있는 곳은 의과대학 준비과정이다. Premed 코스는 종종 강의 기반 및 정보 밀도, MOOC의 강점과 관련된 두 가지 특성으로 학생들은 이해할 때까지 강의를 재생할 수 있습니다. Aschenbrener는 학생들이 수업 시간 대신 MOOC를 통해 사전 준비된 역량 요구 사항을 충족시킬 수 있다고 생각합니다. 예를 들어, 충분한 수학 MOOC를 완수 한 학부 과정은 3 년 내에 학사 학위를 취득 할 수있어 시간과 학비를 절약 할 수 있습니다. (MOOCs는 사전에 준비하지 못한 수업의 수업료를 지출하기 전에 의사를 약화시킬 의사를 도울 수 있습니다.) "궁극적 인 목표는 [교실] 학습을이 학습 스타일로 대체하는 것이 아니라, 더 큰 유연성 "이라고 Aschenbrener는 말합니다. 그녀는 MOOC가 더 많은 저소득층 학생들을 의학에 끌어 들여 의사 부족을 완화하는 데 도움이되기를 희망합니다.

One place where MOOCs might come into their own is in preparing undergraduates for medical school. Premed courses are often lecture based and information dense, two attributes that play to MOOCs’ strengths, as students can replay a lecture until they understand it. Aschenbrener envisions students being able to satisfy some premed competency requirements through MOOCs instead of classroom time. An undergraduate who completed enough mathematics MOOCs, for example, might be able to earn his or her BA in three years, saving himself or herself time and tuition dollars. (MOOCs also might help weed out weaker would-be doctors before they spend money on tuition for premed classes that they might fail to complete.) “The ultimate goal is not to replace [classroom] learning with this style of learning, but to create greater flexibility,” Aschenbrener says. She hopes MOOCs will help draw more low income students to medicine and perhaps ease the shortage of doctors. 

CME

Continuing medical education 

일단 의사가 임상 업무를 수행하기 시작하면, 온라인 코스 (대규모 또는 기타)는 기술을 연마하고 지식을 심화시키는 데 도움이 될 수 있습니다. Prober는 의료 인력의 근무 시간이 제한되어있어 임상 강사가 같은 장소에서 동시에 같은 장소에있는 모든 수강생을 모으는 것이 어려울 수 있으며 매년 운동을 반복해야한다고 Prober는 말합니다. 만약 강의가 온라인으로 진행될 경우 강사는 단순히 레지던트들을 지켜 보면서 이해를 도모 할 수 있습니다.

Once doctors are in clinical practice, online courses (massive or otherwise) could also help them sharpen their skills and deepen their knowledge. With limitations on working hours for medical residents, Prober says, it can be hard for clinical instructors to assemble all their trainees in the same place at the same time—and they have to repeat the exercise year after year. If their talks were online, instructors could simply have residents watch them and complete a quiz to demonstrate comprehension. 

연수생 만이 이득을 얻을 수있는 것은 아닙니다. MOOC는 학생들이 자료를 마스터하는 것을 돕는 퀴즈나 동료 강좌 수강생과의 온라인 토론을 포함하여 상호 작용을 가능하게하기 때문에 그랜드 라운드의 팟캐스트와 같은 기존 CME 형태보다 잠재적으로 훨씬 우수합니다. 환자와의 상호 작용 부족은 병원에서 매일 상호 작용을하기 때문에 중요하지 않습니다. "라고 Prober는 말합니다.

Trainees aren’t the only ones who stand to gain. MOOCs are potentially superior to existing forms of distance CME, such as podcasts of grand rounds, because they enable interaction, including quiz taking, which assists students in mastering the material, and online discussions with fellow course takers. The lack of interaction with patients “isn’t as critical because they are getting the interaction every day in their clinics,” Prober says. 

"CME에서 가능한 MOOC은 무궁무진하다."라고 Coursera의 공동 창립자 인 Andrew Ng는 말합니다. 의과 대학에서 개발하고 졸업생 및 다른 의사에게 CME로 제안한 MOOC는 높은 품질을 유지할 수 있다고 그는 말합니다. 이것은 특히 교수진이 동료 개업의에게 나누어 줄 수있는 독특하고 중요한 발견을 할 수도 있지만 전문 회의 나 grand round에서 기회를 공유하지 못하는 경우입니다. Ng는 이러한 CME 온라인 서비스를 제공하면서 "의료 혁신을 훨씬 더 신속하게 보급 할 수있는 잠재력이 있습니다."라고 말했습니다.

“There’s a huge range in the quality of CME that’s available,” says Andrew Ng, cofounder of Coursera. MOOCs developed by medical schools and offered as CME to their alumni and other doctors are likely to be of high quality, he says. This is particularly the case where a faculty member may have unique and important findings to impart to fellow practitioners—but not enough opportunities at professional meetings or grand rounds to share them. In delivering such CME online, Ng says, “there’s potential for much more rapid dissemination of medical innovation.” 

MOOC는 의학 교육에도 도움이 될 수 있습니다. UCSF의 루시 (Lucey)는 교수진이 다른 교수 기술과 직접적으로 공유 할 수있는 매우 효율적인 방법이라고 생각합니다. "우리는 지금 종이를 쓰거나 회의에 참석함으로써 그렇게합니다."라고 그녀는 말합니다. 그녀의 MOOC 학생 중 약 200 명이 다른 미국 의과 대학의 교수진이었다. 그녀는 이렇게 말합니다. "교수진은이 과정을 통해 (a) MOOC의 작동 방식을 보거나 (b) 다른 사람들이 임상 문제 해결 방법을 가르치는 방법을 알아볼 수 있다고 제안합니다."

MOOCs could also benefit medical pedagogy. Lucey of UCSF sees them as a highly efficient way for faculty to share teaching techniques directly with one other. “We do that now by writing a paper or going to a meeting,” she says. About 200 of her MOOC students have indicated they are faculty members at other US medical schools. That, she says, “suggests [faculty members] are taking this course to either (a) see how a MOOC works, or (b) see how other people teach clinical problem solving.” 

성장의 장애물

Obstacles to growth 

의학에서 MOOC를 광범위하게 사용하기 위해서는 몇 가지 장애물이 있습니다. "가장 큰 장애는 물론 전통입니다."라고 Aschenbrener는 말합니다. 일부 교수진과 학교는 실험에 개방적 일지 모르지만, 추가적인 재정적 압박은 말할 것도 없고, 새로운 교수법에 적응하는 것을 두려워 할 수도 있습니다. 중요한 것은 MOOC가 학생들을 얼마나 잘 교육하고 있는지에 대한 데이터가 제한적이라는 것입니다. Prober는 온라인 강연에 대한 열정에도 불구하고 회의론자들이 효과에 대한 더 많은 증거를 요구하는 것이 적절하다고 말합니다. 그는 또한 다른 교수진과 학교가 주어진 의학 주제를 가르치는 가장 좋은 방법에 대해 다양한 아이디어를 가지고 있다고 지적합니다. 그들을 기관들에 걸쳐 코스웨어를 공유 할 수있게하는 합의에 이르면 도전이 될 것입니다.

Several hurdles stand in the way of wider use of MOOCs in medicine. “The greatest obstacle, of course, is tradition,” says Aschenbrener. Although some faculty and schools will be open to experimenting, others may fear the challenge of adapting to new teaching methods, not to mention possible new financial pressures. Importantly, there are limited data on how well MOOCs educate students. Prober, despite his enthusiasm for online lectures, says it’s appropriate for skeptics to demand more evidence of their effectiveness. He also notes that different faculty members and schools have divergent ideas about the best way to teach any given medical topic. Bringing them to a consensus that enables them to share courseware across institutions will be a challenge. 

그럼에도 불구하고 온라인 과정을 무시해서는 안됩니다. "일하는 전문가에게는 온라인 과정의 편리함이 매력적입니다"라고 Ng는 말합니다. 예를 들어 바쁜 임상의는 예기치 못한 취소로 창에서 20 분의 강의를들을 수 있습니다. MOOCs는 "많은 일하는 성인들을 교육계에 다시 불러 모으고 있습니다."라고 말합니다. Aschenbrener의 말은 분명합니다. "저는 MOOCs의 큰 팬입니다. "앞으로 12 개월 내에 4 차례 더 가입 할 예정입니다."

Nevertheless, online courses shouldn’t be ignored. “To working professionals, there’s something appealing about the convenience of an online course,” says Ng. A busy clinician, for example, might catch a 20 minute lecture in the window created by an unexpected cancellation. MOOCs, he says, “are bringing a lot of working adults back into the education system.” That’s certainly true of Aschenbrener. “I’m a big fan of MOOCs,” she says. “I’m signed up for four more in the next 12 months.”

Are MOOCs the future of medical education?

[Indexed for MEDLINE]

시스템 사고 평가: 의학교육연속체상의 의사결정을 지원하기 위한 총체적 평가 프레임워크(Acad Med, 2017)

Assessment for Systems Learning: A Holistic Assessment Framework to Support Decision Making Across the Medical Education Continuum 

Constance M. Bowe, MD, and Elizabeth Armstrong, PhD

시스템 이론의 가치는 엔지니어링, 경제 및 비즈니스에서부터 교육, 사회 복지 및 건강 관리에 이르기까지 다양한 분야에 적용됨에 따라 잘 알려져 있습니다. 보건 정책 입안자와 교육자는 시스템 관점이 21 세기의 실천에 필수적이라고 결론 지었고 1-3, 미래의 의료 서비스 제공자를 준비하기 위해 커리큘럼에 포함시키는 것을지지했다 .4-8 의학 교육은 점진적으로 그 목표를 사회의 건강 관리 요구와보다 잘 부합시키기 위해 교육 연속체의 개별 구성 요소 사이에 이전 경계선을 연결했습니다. 

The value of systems theory is well recognized as it is applied in a variety of fields ranging from engineering, economics, and business to education, social services, and health care. Health policy makers and educators have concluded that a systems perspective is essential for practice in the 21st century1–3 and have advocated for its inclusion in curricula to prepare future health care providers.4–8 Medical education has gradually introduced a succession of changes that have bridged previous boundaries between the individual components of the training continuum to better align its goals with society’s health care needs. 

학습자가 훈련 연속체를 통해 진보를 위해 입증해야하는 역량의 평행 영역은 실제적으로 궁극적으로 필요한 필수 기능을 반영하여 통합되고 확장되었습니다. 인증 기관은 학부 및 대학원 프로그램의 승인을 위해보다 포괄적 인 결과 문서화를 점진적으로 요구하고 있습니다. 총체적으로, 이러한 변화는 의료 전달 시스템 및 사회의 건강 관리 필요성과보다 밀접하게 연계 된 시스템으로서의 의학 교육에 대한 전체 론적 견해를 강화시켰다.

Parallel domains of the competencies that learners are required to demonstrate for advancement through the training continuum have been unified and expanded to reflect the essential capabilities ultimately needed in practice.8,9 Accreditation bodies have progressively required more comprehensive documentation of outcomes for approval of both undergraduate and graduate programs. Collectively, these changes have strengthened a holistic view of medical education as a system more closely interfacing with the health care delivery system and society’s health care needs.

의학 교육에 대한 시스템 관점에 대한 이러한 진보에도 불구하고 결과 기반 의학 교육을 지지하는 사람들은 수용에 대한 저항에 직면 해있다 .10 인증 기관은 점차적으로 주기적 간격으로 외부 평가를 하함으로써 프로그램 성과의 결핍에 대해 내부적으로 더 관심을 갖고 반응할 것을 권장하고있다. 11

Despite these advances toward a systems perspective on medical education, advocates of outcomes-based medical education remain concerned by the encountered resistance to its acceptance.10 Accreditation bodies have increasingly encouraged greater internal attention and response to program outcome deficiencies at periodic intervals between external evaluations.11 

또한, 가치의 증거가없는 경우, 평가에 소요되는 노력의 비용 : 혜택 비율은 그들이 인식하는 유형적인 개선에 종종 좌절하는 학습자 및 교수진에 의해 의문을 제기받습니다. 그러한 우려는 의학 교육에만 국한되지 않고 진화 된 "인정의 문화"13을 기술한 고등교육의 일반적인 리더들과 공유되어 "평가 피로"로 이어진다.

Moreover, in the absence of evidence of its value,12 the cost:benefit ratio of the increasing effort expended on assessment is questioned by learners and faculty who are often underwhelmed by the tangible improvements they perceive. Such concerns are not limited to medical education but are shared by thought leaders in higher education in general who have described a “culture of accreditation”13 that has evolved, leading to “assessment fatigue.”11

인증을위한 개별 프로그램 결과를 모니터링한다고해서 반드시 시스템으로서의 프로그램에 관한 이해가 향상되는 것은 아닙니다. 시스템 관점에서 볼 때 고립 된 데이터는 수집 된 컨텍스트 내에서 고려 될 때까지 실제 정보가 아닙니다. 개별 시스템 구성 요소의 결과는 시스템에 대한 의미를 추론하기 위해 통합되고 분석 될 때까지 실행 가능한 정보를 제공하지 않습니다. 전체적으로. 이러한 방식으로만 증거 기반 의사 결정을 위해 시스템 성능에 대한 인텔리전스를 제공 할 수 있습니다. 증가하는 평가 데이터를 의미 있고 실용적인 인텔리전스로 변환하는 것은 정보 시스템 관리 문제를 야기하며, 이는 다양한 시스템 구성원을 프로그램 데이터의 해석에 적극적으로 참여시킴으로써 해결할 수 있습니다 .16,17

Monitoring of individual program outcomes for accreditation does not necessarily advance a program’s understanding of itself as a system. From a systems perspective, isolated data are not real information until they are considered within the context in which they are gathered.14,15 Nor do outcomes for individual system components provide actionable information until they are integrated and analyzed to infer their meaning for the system as a whole. Only in this way can intelligence on system performance be provided for evidence-based decision making. Translating growing amounts of assessment data into meaningful and actionable intelligence poses an information management challenge that can only be addressed by actively engaging diverse system members in the interpretation of their program’s data.16,17

시스템 관점에서 볼 때 의학 교육 연속체에서 개별 구성 요소 결과에 의존하는 것 만으로는 프로그램 성과에 대한 전체적인 그림을 제공하기에 불충분하다. 다음을 위해 평가 데이터의 조합에 대한보다 심층적 인 분석이 필요합니다.

• 구성 요소 상호 관계를 평가하며,

• 불만족스러운 결과에 기여하는 요소를 확인하고

• 품질 개선 노력과 장거리 프로그램 기획을 안내하는 증거를 제공한다.

The medical education continuum, viewed from a systems perspective, suggests that reliance on individual component outcomes is insufficient to provide a holistic picture of program performance. More in-depth analyses of combinations of assessment data are needed to 

• appreciate component interrelationships, 

• identify factors contributing to unsatisfactory outcomes, and 

• provide evidence to guide quality improvement efforts and long-range program planning. 

일반적으로 의학 교육이나 평가에 관한 시스템 원칙은 의학 교육 연속체를 위한 프레임 워크를 개발하기 위해 검토되고 적용됩니다.

Systems principles, relevant to medical education, in general, and to assessment, specifically, are reviewed and applied to develop a framework for the medical education continuum. 

이 기사에서 제안하는 프레임 워크는 시스템 평가의 세 가지 주요 목표를 다룹니다.

• 시의 적절한 교정을 돕기 위해 계획된 교육 활동 (예 : 과정, 커리큘럼 모듈 또는 임상 순환)이 진행되는 동안 개별 교과 과정 구성 요소 성과를 지속적으로 모니터링합니다.

• 현재의 시스템 성능을 간헐적으로 분석하여 지속적인 품질 개선 (CQI) 및 혁신 노력을 알린다. 과

• 장기 시스템 성능에 대한 주기적 평가를 통해 학습자가 건강 관리 시스템의 변화하는 요구 사항을 충족시킬 수 있도록 준비하는 데 필요한 체계적인 변화에 대한 준비 여부를 결정합니다.

The framework we propose in this article addresses three major goals of assessment in systems: 

• continuous monitoring of individual curriculum component performance while a planned educational activity (EA) is in progress (such as a course, curriculum module, or clinical rotation) to facilitate timely corrections; 

• intermittent analyses of current system performance to inform continuous quality improvement (CQI) and innovation efforts; and 

• periodic evaluation of longitudinal system performance to determine its readiness for systemic changes needed to better prepare learners to meet the evolving needs of the health care system.

의학 교육과 관련된 시스템 원리와 실천

Systems Principles and Practices Relevant to Medical Education

본질적으로 시스템은 "함께 일하면서 만물만으로는 달성 할 수없는 결과를 만들어내는 서로 다른 것들의 모음"입니다. 18 "다른 것들"또는 이해 관계자를 포함한 기능적 구성 요소는 시스템이 원하는 제품이나 서비스를 제공하는 특정 작업을 수행하는 개인 또는 그룹의 분리 된 단위입니다. 더 나은 결과의 달성은 시스템 설계에서 명확히 밝혀진 시스템 구성 요소의 계획된 조정에 달려 있습니다. 시스템의 기능에 중요한 효과적이고 효율적인 통신 경로 및 피드백 루프가 명확하게 지정됩니다. 따라서 1 차 시스템 원리는 시스템의 결과가 개별 부품의 결과의 단순한 합 이상의 것을 나타낸다는 것이다

In essence, a system is “a collection of different things which, working together, produce a result not achievable by the things alone.”18 The “different things” or functional components, including stakeholders, are discrete units of individuals or groups that perform specific tasks that result in the system’s desired product or service. The better result achieved relies on the planned coordination of system components clarified in the system design. Effective and efficient communication pathways and feedback loops, critical to the system’s function, are clearly specified. Therefore, a primary systems principle states that the outcome of a system represents more than the simple sum of the outcomes of its individual parts.

복잡한 적응 시스템

Complex adaptive systems

시스템 과학 전문 분야는 자연에서 발생하는 시스템과 인간의 행동에 크게 의존하는 조직 또는 복잡한 적응 형 시스템 (CAS)에 초점을 맞추고 있습니다 .19,20 이러한 시스템은 제조 과정에서 설명 된 기계화 된 시스템보다 예측하기가 훨씬 어렵다. 이들은 동적 인 상호 작용과 시스템 전반에 걸쳐 잔향reverberae하는 구성 요소 간의 가변적 상호 관계를 특징으로합니다 .20 결과적으로 인간 의존적 CAS에서는 시간의 경과와 함께 결과 및 시스템 성능 모두에서 상당한 가변성이 관찰됩니다. 어느 한 구성 요소의 변경은 광범위한 결과를 가져올 수 있습니다.

A specialized branch of systems science focuses on systems occurring in nature and organizations that are highly dependent on human behaviors, or complex adaptive systems (CASs).19,20 These systems are much less predictable than the mechanized systems described in manufacturing. They are characterized by dynamic interactions and variable interrelationships between and among their components that reverberate throughout the system.20 Consequently, considerable variability is observed in human-dependent CASs over time in both outcomes and system performance. Alterations in any one component can have far-reaching consequences.

CAS 설계 및 관리

CAS design and management

환경의 변화에 ​​신속하게 대응하고 조정할 수 있는 CAS의 가치있는 적응성은 잘 작동하는 시스템에서 보고 된 효율성과 효율성의 밑바탕이됩니다. 그러나 CAS는 특히 엄격한 중앙 집중식 제어에 내성이 있습니다. 위임 된 하향식 교과 과정 개혁에 참여한 의학교육자 및 관리자는 능동적이거나 수동적으로 발생하는 저항이 무엇인지 잘 안다. CAS 설계의 과제는 전체 시스템 성능 향상에 대한 구성 요소의 유연성, 이니셔티브 및 헌신을 제한하지 않고 모든 이해 관계자가 작업을 수행 할 수 있도록 충분한 조직 구조를 제공하는 것입니다.

The valuable adaptability of a CAS to rapidly respond and adjust to alterations in its environment underlies the effectiveness and efficiency reported in well-functioning systems. However, it also renders CASs particularly resistant to tight centralized control. Medical educators and managers involved in mandated, top-down curricula reforms can well appreciate the resistance, active and passive, that can emerge. The challenge in CAS design is to provide sufficient organizational structure to keep all stakeholders on task without limiting component flexibility, initiative, and commitment to overall system performance improvement.

중앙 집중식 조정과 유리한 자율성 사이의 이러한 섬세한 균형을 달성하기 위해 시스템 설계는 다음의 것들을 명시 적으로 정의합니다.

• 시스템 목표와 제공 될 원하는 최종 결과 또는 서비스의 사양, 즉 "최종 제품";

• 원하는 결과를 얻기 위해 따라야 할 작업 흐름;

• 이해 관계자 역할, 책임 및 책무; 과,

• 가장 중요한 것, 최종 제품에 가치를 더하기 위해 작업을 조직하고, 조정하고, 통합하고, 지원하는 "구조화 된 상황"입니다.

To achieve this delicate balance between centralized coordination and advantageous autonomy, system designs explicitly define 

• system goals and the specifications of the desired final outcome or service to be provided, generically referred to as the “final product”; 

• work flow to be followed to achieve the desired outcome; 

• stakeholder roles, responsibilities, and accountability; and, 

• most important, the “structured context” in which work is to be organized, coordinated, integrated, and supported to add value to the final product.21 

"구조화된 상황"에는 개별 구성 요소의 활동을 연결하고 효율적이고 효과적으로 함께 작업 할 수 있도록 시스템에 설계된 계획된 프로세스, 절차, 의사 소통 경로 및 지원이 포함됩니다. 학부 또는 대학원 의학 교육 프로그램의 기본 구성 요소는 시스템 설계의 관점에서 볼 때 표 1에 나와 있습니다.

The latter includes planned processes, procedures, communication pathways, and supports designed into the system to link the activities of individual components and ensure that they work together effectively and efficiently. The basic components of an undergraduate or graduate medical education program, viewed from the perspective of a system design, are presented in Table 1.

시스템 과학자들은 CAS가 제기하는 관리상의 어려움을 인정합니다. 분명히 의료 교육의 관리는 여러 가지 임무 (환자 진료, 연구 및 교육)를 동시에 제공하는 기관 내에서 프로그램의 위치에 따라 더욱 복잡해집니다. 우리는이 상황에서 발생하는 긴장을 과소 평가하지는 않지만, 본 논의는 교육 목표를 향상시키기위한 시스템 원칙의 잠재적 이익에 초점을 맞추고 있습니다.

Systems scientists acknowledge the management challenges posed by CASs. Admittedly, administration in medical education is further complicated by the positioning of our programs within institutions simultaneously serving multiple missions—patient care, research, and education. We do not underestimate the tensions arising from this situation, but our present discussion is focused on the potential benefits of systems principles for the advancement of our educational goals.

시스템 사고

Systems thinking

시스템 이론의 중심 구성은 시스템 사고로서, 이것은 구성 요소 복잡성, 동적 상호 관계 및 상황 컨텍스트가 시스템 결과에 미치는 영향을 인식 할 수있는 능력입니다. 조직의 모든 수준에서 시스템 성능은 이 기술에 의존합니다 .23,24 Valerdi and Rouse25는 시스템 사고 기술이 조직의 여러 이해 관계자들간에 상당히 다르다는 것을 보고하지만, 시스템 사고는 배울 수 있습니다. 이를 위해 시스템 과학은 의학 심리학, 사회 과학, 조직 행동 및 성인 학습 이론 분야의 연구에서 파생 된 여러 전략을 채택했으며 이는 의학 교육자에게 친숙합니다. 개념 맵, 흐름 다이어그램 및 조직 네트워크의 변형을 비롯한 시각적 그래픽은 기능적 상호 관계, 중요한 통신 경로 및 피드백 루프 및 시스템 고장이 가장 일반적으로 발생하는 구성 요소 간의 기본 인터페이스를 나타내는 문제 해결 토론에 사용됩니다. -30

A central construct of systems theory is systems thinking, the ability to recognize the influence of component complexity, dynamic interrelationships, and situational context on system outcomes.22 System performance is dependent on this skill at all levels of the organization.23,24 Valerdi and Rouse25 report that systems thinking skills vary significantly among different stakeholders in an organization, but they can be learned. Toward that end, systems science has adopted a number of strategies, derived from research in the fields of cognitive psychology, social science, organizational behavior, and adult learning theory, which are familiar to medical educators. Visual graphics, including variants of concept maps, flow diagrams, and organizational networks, are used in problem-solving discussions to illustrate functional interrelationships, critical communication pathways and feedback loops, and fundamental interfaces between and among components where system breakdowns most commonly occur.26–30

시스템이 효율성을 중시하기 때문에, 시스템이 모든 이해 관계자 수준에서 시스템 사고를 진전시키는 데 상당한 시간과 노력을 투자한다는 사실을 알게되면 놀랄 것입니다. 그러나 시스템이 성능 문제가 발생할 때 이해 관계자의 신속하고 적절한 수정 능력에 의존하는 것은, 문제에 대한 이해 관계자의 인식과 필요한 조정을하려는 시스템의 사용에 달려 있습니다. 시스템이 어떻게 작동하는지, 개선 될 수 있는지에 대한 포괄적인 이해관계자들의 토론과 대화는 구성원들 사이에 시스템 이해의 불일치를 드러내고 있으며, 시스템 문제와 기능 장애에 기여하는 중요한 요소를 확인하는 데 유용합니다 .20,26,29

Given the value that systems place on efficiency, it may be surprising to learn that systems invest considerable time and effort to advance systems thinking at all stakeholder levels. However, systems’ reliance on their stakeholders’ abilities to make rapid and appropriate corrections when performance problems arise rests on their stakeholders’ recognition of a problem and the use of systems thinking in making necessary adjustments. Inclusive stakeholder discussions and dialogue around how their system works, or could be improved, are revealing about discrepancies in members’ understanding of the system31 and are useful in identifying the critical factors contributing to system problems and dysfunction.20,26,29 

가장 중요한 것은, 이러한 deliberation에 소비 된 시간은 시스템 구성원들에게 교육 목적을 제공하고 조직 학습을 발전시킨다. 우리는 조직 학습이 집단 사고를 개발하려는 시도가 아니라고 강조하며, 오히려 그 반대에 가깝다. 다양한 시각과 경험을 교환하고 토론함으로써 의사 결정과 시스템 개선에 적극적으로 참여할 수있는 지식이 풍부한 인력이 창출됩니다. 20,23,26,31,32

Most important, time spent in these deliberations serves an educational purpose for system members and advances organizational learning.26,32 We stress that organizational learning is not an attempt to develop group think—quite the contrary. Rather, through the exchange and discussion of diverse perspectives and experiences, a knowledgeable workforce is created that can actively participate in decision making and system improvement.20,23,26,31,32

유사한 이해 관계자 포함 토론은 커리큘럼 개혁 계획 및 인정을위한 자체 학습 프로세스에서 종종 발생하며 향상된 학습 및 커리큘럼 효능과 관련됩니다. 커리큘럼 개혁 이후에 관찰 된 초기 이익 중 일부는, (그 과정에서) 발생하는 이해 관계자 교류에서 유래한다고 가정 할 수 있습니다. 프로그램 목표, 문제 영역 및 효과적인 해결책에 대한 서로 다른 의견이 명확하게 제시됩니다. 

• 이해 관계자 그룹 간의 커뮤니케이션이 강화되고 

• 프로그램 구성 요소 간의 인터페이스가 강화되며 

• 시스템 내 상호 관계에 대한 이해 관계자의 인식이 향상됩니다. 

그러나 그러한 교류가 계속 유지되지 않으면 교육 이익이 점차적으로 침식 될 수 있습니다.

• Similar stakeholder-inclusive discussions often occur in curriculum reform planning and the self-study process for accreditation and are associated with improved learning and curriculum efficacy. One could postulate that some of the initial benefits observed after a curriculum reform stem, in part, from the stakeholder exchanges that take place. Disparate opinions on program goals, problematic areas, and effective solutions are made explicit. Communication between and among stakeholder groups is strengthened, 

• the interfaces between program components are reinforced, and 

• stakeholders’ awareness of interrelationships within their system is advanced. 

However, in the absence of continued maintenance of such exchanges, the educational gains can gradually erode.

책무성, 감독, 의사결정

Accountability, oversight, and decision making

시스템 이론에서 결과에 대한 책임과 최종 제품의 품질은 시스템의 critical support 제공 뿐만 아니라 계획된 절차 및 프로세스 준수에 부분적으로 좌우됩니다. 따라서 바람직한 결과 또는 실망스러운 결과는 개별 구성 요소 단독으로 인한 것이 아닙니다. (많은 학술 기관에서 전형적으로 나타나는 것보다) 시스템은 의도적으로 결과에 대한 더 큰 공유 책임shared responsibility을 장려합니다 .16 이해 관계자는 계획 프로세스 및 절차가 발생했을 때 이를 준수하지 않아 발생하는 문제를 해결해야합니다. 그러나 관리자와 함께 재발을 방지하기 위해 어떤 시스템 개선이 필요한지 결정하기 위해 추가 분석이 수행됩니다 .16,21,30 마찬가지로 필요한 CQI 노력이나 혁신 도입에 대한 논의는 시스템의 다른 구성 요소에 대한 의도하지 않은 결과를 최소화하기 위해 다양한 이해 관계자 의견을 요구합니다.

In systems theory, responsibility for outcomes and the quality of the final product is shared and partially dependent on compliance with planned procedures and processes as well as the system’s provision of critical supports. Hence, desired or disappointing outcomes are not attributed to any individual component alone. Systems intentionally encourage greater shared responsibility for outcomes than is typical at many academic institutions.16 Stakeholders are expected to address problems arising from noncompliance with planned processes and procedures as they arise. But then, together with managers, further analyses are performed to determine what system improvements are needed to prevent a recurrence.16,21,30 Similarly, discussions about needed CQI efforts or the introduction of innovations solicit diverse stakeholder opinions to minimize unintended consequences on other components of the system.

새로운 환경의 주요 변화 (새로운 규제 표준 또는 최종 사용자 요구)에 대응할 수있는 시스템의 능력은, 주요 시스템 변화의 이점과 비용을 결정하기 위해 시스템의 현재 강점과 한계에 대한 구성원의 정확한 이해를 바탕으로합니다. 이러한 deliberation에는 처음에는 이질적인 이해 관계자의 견해가 포함되며, 반드시 합의를 달성하는 것이 아니라 "시스템 구성원이 함께 살 수있는 변화"를 확인하는 것이 중요합니다.

A system’s ability to respond to major changes in its external environment—new regulatory standards or end-user needs—is posited on its members’ accurate understanding of the system’s current strengths and limitations in order to determine the true benefits and costs of any major system changes. Such deliberations initially include disparate stakeholders’ viewpoints26 and move forward, not to necessarily achieve a consensus, but to at least identify changes that the “system members can live with.”29

시스템 내부의 평가

Assessment in systems

증거 기반의 의사 결정 및 관련 지식을 가진 이해 관계자에게 높은 가치를 부여하는 시스템을 고려할 때, 시스템 평가의 가장 중요한 목표는 시스템 성능에 대한 정확한 "큰 그림"을 제공하는 것입니다. 실용 가능한 정보는 의사 결정을위한 세 가지 고유 한 조직 수준, 즉 

• 개별 구성 요소 성능 내에서의 내부 정정, 

• 시스템 성능의 품질 향상 

• 시스템의 외부 환경 변화에 대응하기위한 시스템 준비 상태

...에서 시스템 운영을 최적화하려는 것입니다.

Given the high value systems place on evidence-based decision making and knowledgeable stakeholders participating in it, the overarching purpose of assessment in systems is to provide an accurate “big picture” of system performance. Actionable information is sought to optimize systems’ operations at three distinctive organizational levels for decision making: internal correction within individual component performance, quality improvement in system performance, and system readiness to respond to changes in the system’s external environment.

의학교육에서의 평가를 시스템 관점에서 바라보기

A View of Assessment in Medical Education From a Systems Perspective

개별 구성요소의 능력 평가

Assessment of individual components’ performance

지난 수십 년 동안 커리큘럼 감독을 중앙 집중화하고 의학 교육에서 평가 기준을 표준화함으로써 상당한 혜택을 얻었습니다. 총체적으로, 이러한 변화는 평가 및 프로그램 평가에 대한 시스템 기반 접근 방식에 대한 의학 교육의 연속체를 준비했습니다. 시스템 사상가들이 주장하는 것과 대조되는 의료 교육의 현재 사례에 대한 간략한 검토는 의학 교육 그 자체를 비판하기 위한 것이 아니라 오히려 평가 설계에 시스템 원리를 추가적으로 적용할 때의 잠재적 이점을 고려하는 것입니다.

Appreciable benefits have resulted from centralizing curriculum oversight and standardizing assessment criteria in medical education over the past few decades. Collectively, these changes have prepared the medical education continuum for a more systems-based approach to assessment and program evaluation. The brief review of current practices in medical education contrasted with those advocated by systems thinkers3,16,20,23,33 is not intended as a criticism of medical education per se but rather to consider the potential benefits of further applications of systems principles in its assessment design.

의학 교육자는 성과 향상을 위해 학습자에게 빈번하고 건설적인 피드백의 중요성을 강조합니다. 이러한 사치가 개별 커리큘럼이 진행되는 동안에 구성 요소의 교사와 디렉터에게까지 확장되는 경우는 드물다 .34 의학 교육자는 학습 및 학습자 결과에 영향을 미치는 요인이 다양하다는 것을 인식합니다 .19,35-38 그러나 EA 완료시 수집 된 평가 데이터 일반적으로 결과 또는 결과 결과에 기여하는 추가 정보가 없이 검토 및 해석이 최종적으로 수행되는 행정 또는 교과 과정 커리큘럼 위원회에게 전달됩니다. 우려 사항을 해결할 수있는 가장 좋은 위치에있는 개인(즉 학습자, 교수, 교육과정 디렉터)에게 결과를 전달하는 데 지연이 발생하면 개개인의 이익을 위해 학습, 교육 및 EA 관리에 대한 접근 방식에서 인식 할 수있는 조정 능력을 제한합니다.

Medical educators emphasize the importance of frequent and constructive feedback to learners for performance improvement. This luxury is rarely extended to teachers and directors of individual curriculum components while they are in progress.34 Medical educators recognize that a multitude of factors affect learning and learner outcomes.19,35–38 Yet, assessment data collected at the completion of an EA are typically routed to an administrative or faculty curriculum committee level where review and interpretations are eventually conducted in the absence of additional information contributing to the outcome results. Delays in the delivery of outcome results to the individuals in the best position to address concerns—learners, faculty, and curriculum directors—limit these individuals’ ability to make perceptible adjustments in their approach to learning, teaching, and EA management for the benefit of all involved.34,37

대조적으로, 시스템은 제품 개발 또는 서비스 제공의 각 단계에서 단기 및 중간 결과를 모니터링하고 계획된 상황 구조를 준수하는지 자주 모니터링합니다 .29 업무에 관련된 모든 이해 관계자가 개인화 된 데이터를 사용하여 신속하게 수정합니다 . 개발의 각 단계가 완료되면 결과는 다음 단계 개발 단계로 나아갈 수있는 품질과 준비를 보장하기 위해 정의 된 기준에 따라 검토됩니다. 기대치 또는 절차 또는 프로세스 불이행으로 인한 성과의 과도한 변동성은 광범위한 시스템 문제를 시사합니다. 이러한 관행은 시스템상의 문제를 확실히 해결하게 해주며, 관련된 모든 이해 관계자에 대해서 평가의 가치와 관련성을 강화합니다.

시스템 능력의 평가

Assessment of system performance

의학 교육의 QA는 각 EA나 교육단계가 종료되었을 때 수집되는 개인별 교육성과나 후향적 학습 평가에 크게 의존합니다. 교수자의 turnover에 따른 영향, 신규 및 원격 교육장, 커리큘럼 혁신은 중대한 성과 저하가 ​​발생하거나 전반적인 시스템 성능이 저하 될 때까지 인식되지 않을 수 있습니다.

Quality assurance in medical education is heavily dependent on individual curriculum component outcomes and retrospective learner ratings and commentary solicited at the completion of individual EAs or stages of training. The impact of turnover in teaching faculty, inclusion of new and remote teaching sites, or curriculum innovations can go unrecognized until significant outcomes deterioration has occurred or overall system performance has been compromised. 

EA 결과에만 고립된 상태로 과도하게 의존하는 것은 학습과 교수법에 기여하는 다른 중요한 요소 인 체계적 요인에 대한 고려를 제한한다 .38,39 인증 기관은 특히 accreditation review에서 불충분한 영역에서 결과 데이터를보다 자주 검사하는 프로그램을 내부적으로 시작할 것을 점차 권장하고 있습니다. 이러한 접근 방식을 결과 추세 및 기여자에 대한 전향적 트레킹과 결합하면 인증 기관에 의한 심각한 행동 결정의 발생률을 줄일 수 있습니다.

The excessive reliance on segregated EA outcomes limits consideration of other, equally important, systemic factors contributing to learning and teaching.38,39 Accreditation bodies are increasingly encouraging programs to internally initiate more frequent examinations of outcomes data, especially in areas found to be deficient on accreditation review.11,40 That approach, combined with prospective tracking of outcomes trends and contributors, could reduce the incidence of severe action decisions by accrediting bodies.

개별 구성 요소 결과를 모니터링하는 것 외에도 시스템은 데이터 조합에 대한 추가 분석을 수행하여 결과에 기여하는 요소들의 상호 관계, 시너지 효과적이고 경쟁적인 상호 작용을 나타내는 패턴, 성능 추세 및 확인 된 문제의 근본 원인을 확인합니다 .26,33 프로세스 및 절차를 포함한 시스템 설계 기능의 비례 기여도와 그에 따른 평가 매개 변수의 예측 가치에도 주의를 기울입니다. 결과 증거의 의미는 이해 관계자에 의해서 deliberate되어, CQI에 알리고, 가장 효과적 일 가능성이 높은 혁신을 확인하고, 운영을 합리화하는데 사용됩니다. 이러한 deliberation의 결론은 조직 학습을 확대하기 위해 모든 이해 관계자 그룹과 공유됩니다 .16,26,27

In addition to monitoring individual component outcomes, systems perform additional analyses on combinations of data to identify interrelationships contributing to outcomes, patterns suggesting synergistic and competitive interactions, trends in performance, and the root causes of identified problems.26,33 Attention is also paid to the proportional contributions of system design features, including processes and procedures,39 and the predictive value of assessment parameters followed. The meaning of the resulting evidence is deliberated by stakeholders to inform CQI, identify innovations likely to be most effective, and streamline operations.41 The conclusions of these deliberations are shared with all stakeholder groups to extend organizational learning.16,26,27

문헌에보고 된 성공적인 교육 혁신의 채택은 때로 원래 환경에서 다른 교육 기관으로 이식 된 경우 효과가 떨어지는 것으로 나타납니다. 교육 시스템은 크게 다를 수 있습니다. Plsek20은 여러 시스템에서 조직 구조, 프로세스 및 혁신 패턴을 연구했으며 여러 요소가 혁신적인 아이디어의 생성과 성공과 밀접하게 관련되어 있다고 결론 내립니다. 강압적인 전략은 "조직 문화에서 수용적인 맥락"을 찾는데 별로 도움이 안 된다.

The adoption of successful educational innovations reported in the literature can sometimes prove to be less effective when transplanted from the original setting to other institutions. Education systems can differ significantly. Plsek20 has studied organizational structures, processes, and patterns of innovation in a number of systems and concludes that multiple factors are closely related to the generation and success of innovative ideas. Coercive strategies have limited value to find a “receptive context in the organizational culture.”20 

"사람들이 만나고, 반성하고 토론하는" 기회를 제공하는 것이 훨씬 더 효과적입니다. 이해 관계자들은 제안한 변경 사항의 잠재적 이익과 손실을 exchange함으로써 성공에 필요한 중요한 지원을 식별하는 데 도움이됩니다. 이해 관계자들의 손실에 대한 두려움은 관심 분야의 성과를 면밀히 모니터링하기위한 평가 기준을 포함시킴으로써 해결할 수 있습니다.

Providing opportunities for “people to meet, reflect and discuss”20 are much more effective. Stakeholder exchanges on the potential benefits and losses of proposed changes help to identify critical supports required for their success. Stakeholders’ fears about losses can also be addressed by the inclusion of assessment criteria to closely monitor performance in the areas of concern.

시스템 차원의 장기 계획을 위한 평가

Assessment to inform system-wide, long-range planning

잘 작동하는 시스템은 외부 환경의 변화에 ​​능숙한 것으로 알려져 있습니다. 이는 의료 프로그램의 목표를 사회의 진화하고 예측 된 건강 관리 요구와보다 밀접하게 맞추기 위해 반복적으로 도전받는 의학교육과 특히 관련이 있습니다 .41-47 이러한 요구에 응답하기 위해서는 커리큘럼 디자인, 거버넌스 및 프로그램 우선 순위에 큰 변화가 필요했으며, 이는 개별 이해 관계자 그룹의 우려를 불러 일으켰습니다.

Well-functioning systems are purported to be adept in coping with changes in their external environment. This is especially relevant for medical education, which is repeatedly challenged to align its programs’ goals more closely with society’s evolving and projected health care needs.41–47 Response to such demands often necessitates major alterations in curriculum design, governance, and program priorities, raising concerns by individual stakeholder groups.

변화에 대한 저항은 잘 작동하는 시스템에서는 비록 완전히 제거되지는 않더라도, 시스템 사고에 숙달되고 조직 학습에 의해 정보를 얻은 중요한 이해 관계자를 육성하려는 시스템의 의식적인 노력으로 인해 감소합니다. 시스템에서 장거리 계획을 준비하는 것은 토론에 필요한 시스템 성능의 증거를 모으는 것입니다.

• 몇 년에 걸친 종단 시스템 성능,

• 시스템 제품 또는 서비스에 대한 최종 사용자 만족도에 대한 여러 소스의 피드백,

• 진화하는 소비자 기대,

• 규제 요구 사항의 변화 가능성을 예상하는 연구

Resistance to change is not entirely eliminated in well-functioning systems, but it is reduced by systems’ conscious efforts to cultivate a critical mass of stakeholders skilled in systems thinking and informed by organizational learning. Preparation for long-range planning in systems includes assembling evidence of system performance critical to the discussion: 

• longitudinal system performance over several years, 

• feedback from multiple sources on end users’ satisfaction with the system’s product or service, 

• evolving consumer expectations, and 

• research to anticipate likely changes in regulatory requirements. 

이러한 정보로 무장한 이해 관계자는 장래에 제품 또는 서비스에 바람직한 개선 사항과 새로운 기능을 논의할 수 있다. 제안은 시스템을 제공 할 준비가되었는지, 그리고이를 성공적으로 구현하는 데 필요한 중요한 자원과 지원과 관련하여 고려됩니다.

Armed with this information, stakeholders discuss desirable improvements and new capabilities in their product or services in the future. Proposals are considered in the context of the system’s readiness to deliver them and the critical resources and supports needed to successfully implement them.

의학교육의 시스템-기반 평가 프레임워크

A Systems-Based Assessment Framework for Medical Education

의학교육 평가를 위한 제안 된 시스템 기반 프레임워크의 잠재적 인 가치는 프로그램, 결과의 의미를 해석함에 있어 모든 이해 관계자 그룹(학생, 교수진 및 교과 과정 책임자)의 적극적인 참여가 시스템 사고 기술을 향상시켜주며, 궁극적으로 프로그램 의사 결정에보다 관련성 있고 실행 가능한 정보를 제공할 것이라는 전제하에 부분적으로 제기된다. 개별 구성 요소 결과는 계속 수집되어 인증 목적으로 사용 가능하지만 전반적인 시스템 성능에 대한보다 포괄적이고 전체적인 분석으로 보완됩니다.

The potential value of the proposed systems-based framework for assessment in medical education is partially posited on the premise that more active engagement of all stakeholder groups—students, faculty, and curriculum directors—in interpreting the meaning of their programs’ outcomes will advance their systems thinking skills and ultimately result in more relevant and actionable information for program decision making. Individual component outcomes will continue to be collected and available for accreditation purposes but will be complemented by more comprehensive and holistic analyses of overall system performance.

이 프레임 워크는 

• 즉각적인 시정 조치를위한 개별 구성 요소 성능, 

• 품질 향상을위한 전반적인 시스템 성능 

• 장기적 프로그램 계획을 위한 종단 시스템 성능

...의 3 가지 수준에서 시스템 성능을 평가하도록 설계되었습니다. 

각 레벨에서 수행 된 평가의 요약은 표 2에 나와 있습니다.

The framework is designed to evaluate system performance at three distinctive levels: individual component performance for immediate corrective actions, overall system performance for quality improvements, and longitudinal system performance for long-range program planning. Summaries of the assessments performed at each level are provided in Table 2.

1단계: 개별 요소의 성능 평가

Level 1: Assessment of individual component performance

진행중인 개별 EA에서 시정 조치의 필요성을 나타 내기 위해 학습, 교육 및 커리큘럼 구성 요소 성과에 대한 내부 평가가 1 단계에서 수행됩니다. 이러한 평가 결과는 EA (학습자, 교수 및 EA 이사)와 관련된 이해 관계자에게 개인이 조정할 수 있도록 핵심 작업 (학습, 교수 및 평가)이 얼마나 효과적으로 수행되고 있는지에 대한 형성 피드백으로 신속하게 전달됩니다. 계획된 프로세스 및 절차의 준수 여부가 모니터링되고 결과가 해석 될 수있는 상황을 제공 할 수 있습니다. 이 수준에서 평가의 후반 측면은 교육 및 학습 경험이 크게 다를 수 있는 여러 사이트에서 실시되는 EA에 특히 중요합니다. 이러한 토론에 대한 학습자의 참여는 학습자의 개별 집단별로 서로 다른 결과를 초래할 수있는 compliance disparities를 인식하는 데 중요합니다.

Frequent internal assessments of learning, teaching, and curricula component performance are performed at Level 1 to indicate the need for corrective actions in individual EAs in progress. The results of these assessments are rapidly communicated to stakeholders involved in the EA (learners, faculty, and EA directors) as formative feedback on how effectively core tasks (learning, teaching, and assessment) are currently being performed to allow individuals to make adjustments. Compliance with planned processes and procedures is monitored and available to provide a context in which outcomes can be interpreted. The latter aspect of assessment at this level is especially important for EAs conducted at multiple sites where teaching and learning experiences can vary significantly. Learner participation in these discussions is critical to the recognition of compliance disparities that can result in different outcomes for individual cohorts of learners.

 Ongoing task에 종사하는 개인에게 정보를 신속하게 제공함으로써 문제를 해결하고 평가의 이점을 명백하게 보여 주며 평가의 가치를 부여하는 문화를 강화할 수 있습니다. 커리큘럼 단위가 진행되는 동안의 평가와 유사한 접근법이 실행되어 성공한 ​​것으로보고되었다 .34,37

 The rapid provision of information to individuals engaged in the ongoing tasks allows them to address problems, tangibly demonstrating the benefits of assessment and reinforcing a culture that values it. Similar approaches to assessment during curricula units in progress have been implemented and reported to be successful.34,37

EA가 끝나면 학습 목표가 충족되었고 학습자가 발전 준비가되었거나 치료가 필요한지 판단하기 위해 최종 결과를 검토합니다. 참여한 모든 교수진, 학생 및 EA 이사의 EA 결과에 대한 추가 논의는 향후 개선이 보장 될 수있는 점과 Level 2 분석에서보다 철저하게 다루어 져야 할 질문을 고려합니다.

At the conclusion of an EA, final outcomes are reviewed to determine whether learning objectives have been met and learners are ready for advancement or require remediation. Additional discussions of EA outcomes by all involved faculty, students, and EA directors consider what future improvements may be warranted and what questions remain to be addressed more thoroughly by Level 2 analyses.

Box 1에 제공된 레벨 1에서 수행 된 평가의 예는 학습자에게 피드백을 위해 따라야 할 의도 된 프로세스와의 비준수를 신속하게 처리하는 방법을 설명합니다. 가장 중요한 것은, 레벨 2에서 좀 더 포괄적 인 탐사를 위해,  이해 관계자 토론으로부터 관련 상황에 잠재적 인 시스템 기여자를 확인한 것입니다.

The example of an assessment performed at Level 1 provided in Box 1 illustrates how this approach facilitated rapidly addressing noncompliance with the intended process to be followed for feedback to learners. Most important, stakeholder discussions identified potential systemic contributors to the concerning situation for more comprehensive exploration at Level 2.

2단계: 시스템 성능의 향상을 위한 평가

Level 2: Assessment for improvement in system performance

수준 2는 성능 결과에 기여하는 시스템 요소를 보다 철저하게 평가할 수 있는 협력적, 통합적 허브 역할을합니다. 평가 데이터의 조합에 대한 포괄적 인 분석은 구성 요소 상호 관계의 패턴, 학습 궤도의 추세, 예상치 않은 결과의 근본 원인 및 다양한 평가 방법 및 기준의 예측 가치를 파악하기 위해 계획되고 해석됩니다. 분석의 초점은 표준화되지 표준화되지 않으나, 시스템 이해 관계자가 제기 한 질문이나 EA 결과의 변화에 ​​따라 달라진다. 레벨 2 평가는 또한 다른 커리큘럼 구성 요소 및 시스템 성능에 대한 개별 EA 혁신의 원격 효과에 대한 결과 데이터를 검사합니다.

Level 2 functions as a collaborative, integrative hub to more thoroughly evaluate system factors contributing to performance outcomes. Comprehensive analyses on combinations of assessment data are planned and interpreted to identify patterns of component interrelationships, trends in learning trajectories, root causes of unexpected outcomes, and the predictive value of various assessment approaches and criteria. The focus of analyses is not standardized but varies depending on questions raised by system stakeholders or concerning variations in EA outcomes. Level 2 evaluations also examine outcomes data for remote effects of individual EA innovations on other curriculum components and system performance.

수준 2에는 분석 계획 및 해석이 학생들의 관점을 포함하여 다양한 관점을 반영하도록 모든 이해 관계자 그룹이 참여한다. 수행 된 분석은 해결을위한 혁신적인 접근법을 요구하는 CQI 노력 및 체계적 문제를 보증하는 체계적인 문제의 증거를 제공 할 수 있습니다. 수준 2 결과는 의사 결정 책임에 맞게 특정 이해 관계자에게 전달됩니다. 전체 시스템 구성원들이 일반적으로 관심을 가질 수 있는 요약 결론은 조직 학습을 발전시키기 위해 더욱 넓은 범위로 배포됩니다.

Participation in Level 2 is inclusive of all stakeholder groups to ensure that analysis planning and interpretations reflect a diversity of perspectives, including those of students. The analyses performed can provide evidence of systemic problems that warrant CQI efforts and systemic issues that require innovative approaches for resolution. Level 2 findings are communicated to specific stakeholders, tailored to their decision-making responsibilities. Summary conclusions, of general interest to all system members, are more widely circulated to advance organizational learning.

Box 2에 제공된 예제에서 예시 된 바와 같이, 레벨 2 토론과 분석은 문제가 초기 관심사의 구성 요소에 내재되어 있다고 가정하기보다는, 불완전한 결과에 기여하는 구성 요소 상호 작용을 식별하려고 시도합니다. 이 경우 여러 시간을 소비하는 온라인 과제에 의해 학생에게 누적 된 과도한 부담이 재발되지 않도록 시스템 차원의 프로세스 및 절차 변경이 필요했습니다. 레벨 2 토론에서 이해 관계자를 폭넓게 representation하면 문제에 대한 전반적인 인식을 높였을뿐만 아니라 flipped 교실 접근법의 확장이 장려됨에 따라 교실 밖 배정에 대한 가이드 라인과 조정의 필요성을 강조했다.

As exemplified in the example supplied in Box 2, Level 2 discussions and analyses seek to identify component interactions contributing to unsatisfactory outcomes rather than reflexively assuming the problem is inherent in the component of initial concern. In this case, system-wide process and procedure changes were needed to prevent the recurrence of cumulative excessive burdens placed on students by multiple time-consuming online assignments. Broad stakeholder representation in Level 2 discussions not only raised general awareness of the problem but also highlighted the need to establish guidelines for and coordination of out-of class assignments, as expansion of the flipped classroom approach was encouraged.

Stratton et al., 16 Goldman et al., 17 및 Stoddard et al., 48에 의해 의학 교육 평가 자료의 포괄적 이해 관계자 해석의 타당성과 가치가보고되었다

The feasibility and value of inclusive stakeholder interpretation of medical education assessment data have been reported by Stratton et al,16 Goldman et al,17 and Stoddard et al.48

3단계: 미래 변화에 대비하는 시스템 준비를 위한 평가

Level 3: Assessment to prepare system for future changes

이상적으로, 레벨 3 평가는 정기적 인 간격으로 이루어 지므로 종단 시스템 성능을 종합적으로 검토하고 의학 교육 훈련 연속체 및 의료 시스템의 진화하는 변화를 학습자가 준비 할 수 있도록 시스템 준비 상태를 결정합니다. 장기 계획을 준비하려면 전 훈련생, 규제 기관 및 "최종 사용자"(환자, 고급 교육 프로그램 책임자 및 향후 고용주)의 피드백과 함께 시스템 성능에 대한 수년 간의 정보를 수집해야합니다. 종합적으로,이 데이터는 프로그램이 현재 졸업생의 능력을 미래 졸업생에게 기대되는 능력과 비교할 수있게 해줍니다.

Ideally, Level 3 evaluations occur at periodic intervals to comprehensively review longitudinal system performance and determine system readiness to prepare learners for evolving changes in the medical education training continuum and health care system. Preparation for long-range planning requires the compilation of several years of information on system performance combined with feedback from former trainees, regulatory bodies, and “end users”—patients, advanced training program directors, and future employers. Collectively, these data allow a program to compare the capabilities of its current graduates with those anticipated for future graduates.

모든 프로그램 이해 관계자를 포함한 3 단계 심의에서는 시간, 노력 및 재정적 지원 비용을 포함하여 실천적으로 필요한 지원을 현실적으로 평가하는 맥락에서 예상되는 기대치를 충족시키기 위해 졸업생을 준비하는 데 필요한 프로그램 변경에 중점을 둡니다. 우리의 프레임 워크에서 제안 된 포괄적 인 3 단계 평가는 프로그램 책무성의 요구가 계속되고 프로그램 졸업생의 성과에 대한 추가 정보 소스가 추구 될 때 더욱 중요해질 것입니다. 49-52

 Level 3 deliberations, including all program stakeholders, focus on program changes needed to prepare graduates to meet projected expectations, considered in the context of a realistic appraisal of the supports necessary to implement them, including costs in time, effort, and financial support. The comprehensive Level 3 evaluations proposed in our framework are likely to become more important as calls for program accountability44–47 continue and additional sources of information on program graduates’ performance are pursued.49–52

박스 3에 묘사 된 레벨 3의 예는 레벨 2에서 알 수있는 레벨 3에서의 평가 프로세스가 학습자의 능력에 대한 프로그램의 평가에서 중대한 결함을 어떻게 확인했는지 보여줍니다. 레벨 3 평가 결과에 따라 학습자 성과 평가 기준이 개정되어 건강 관리 시스템의 기대치와 더욱 밀접하게 일치하게되었습니다. 이러한 평가를 통해 시스템은 모든 프로그램 이해 관계자에 대한 원가 절감 성과를 모니터링 할 수있었습니다.

The Level 3 example depicted in Box 3 illustrates how the assessment process at Level 3, informed by Level 2, identified a critical deficiency in a program’s assessment of learners’ competencies. Level 3 evaluations resulted in revisions in the criteria for learner performance assessments to align them more closely with the health care system expectations. These evaluations also prompted the system to initiate monitoring of cost containment performance for all program stakeholders.

고찰

Discussion

시스템 사고의 중요성에 대한 의학 교육의 강조는 학습자가 훈련하고 교수가 일하는 프로그램 내에서 시스템 사고와 관행의 인식 가능한 활용에 의해 크게 강화 될 것이다. 평가에 대한 시스템 접근법의 명백한 사용은 학습자와 교수진에게 시스템 사고에 대한 직접 경험을 제공하고 관련 시스템 문제를 골라 내고 해결책을 식별하는 데있어 그 유용성을 제공합니다.

Medical education’s emphasis on the importance of systems thinking would be significantly reinforced by the perceptible utilization of systems thinking and practices within the programs in which learners train and faculty work. The explicit use of a systems approach to assessment provides learners and faculty with firsthand experience in systems thinking and its utility in framing relevant system problems and identifying solutions.

연수생을 대상으로 한 시스템 기반의 진전에 대한 의학 교육의 열정을 감안할 때, "왜 전체론적 접근이 학계 기관에서 분명하지 않은 것일까?"라는 질문을 할 수 있다. 지금까지의 연구에서 밝혀진 바에 따면, 과도한 양의 정보나 복잡한 자료에 직면했을 때, 개인은 환원 주의적 전략을 채택하는 자연스러운 경향이 있으며, 의사 결정을위한 가장 접근하기 쉬운 기능에 중점을 둡니다 .25 시스템 사고는 직장에서의 실제 적용한 경험이 있거나 linear thinking과 대비해서 문제 해결에서의 이점을 가진 경험이 있을 때 더 능숙해진다.

Given medical education’s enthusiasm for advancing systems-based practice in its trainees, one could ask, “Why is this holistic approach not more evident in academic institutions?” Research indicates that individuals have a natural propensity to adopt a reductionist strategy when confronted by excessive amounts of information or complex data and to focus on the most accessible features for decision making.25 Proficiency in systems thinking is promoted by its practical application in one’s work and by primary experience with its benefits in problem solving compared with more linear thinking.20,24,26,53

조직 인프라는 기관에 대한 시스템 관점을 발전시키는 또 하나의 장벽입니다. 엄격한 위계적 기관에서, 그리고 다른 이해 관계자에 대한 노출과 역할이 제한적일 경우, 조직의 시야가 좁아집니다. 데이터 해석 및 의사 결정을위한보다 협업적인 프로세스 학부 및 대학원 프로그램 모두에서 시도되어왔다 .54 시스템 사고를 촉진하고 의사 결정을위한보다 실용적인 정보를 성공적으로 발표 한 성과는 우리가 제안한 평가 체계의 타당성과 지속 가능성에 대한 지원을 제공한다.

Organizational infrastructure is another barrier to advancing a systems perspective on one’s institution.25 Narrower views of an organization are observed in rigidly hierarchical institutions and when exposure to other stakeholders and their roles is limited.25,53 More collaborative processes for data interpretation and decision making have been attempted in both undergraduate11,16,17,34,48 and graduate programs.54 Their reported success in promoting systems thinking and more actionable information for decision making provides support for the feasibility and sustainability of the assessment framework we propose.

제안 된 프레임워크를 구현함으로써 잠재적인 기관의 편익이 도출되었지만, 여전히 구현을 위해서는 이해 관계자 노력이 더 필요하다는 것에 대한 우려는 이해가능하다. 그러나 최근 고등 교육 사상가 및 의학 교육 인정 기관의 호소로 인해보다 포괄적 인 프로그램 평가가 지원되었습니다. 인증기관들은 개선 될 수있는 체계적인 요인에 대한 특별한 주의를 기울여 결과 데이터에 대해 더 자주 내부적으로 검토할 것을 권장합니다.

Despite the potential institutional benefits to be derived from implementing the proposed framework, understandable concerns about the increased stakeholder effort required for its implementation are legitimate. However, recent appeals from thought leaders in higher education13 and medical education accrediting bodies10,11,40 indicate their support for more comprehensive program evaluation. Both groups encourage more frequent, internally initiated review of outcomes data with specific attention to systemic factors that can be improved. 

시스템 과학자들은 평가 및 평가에 대한보다 전체 론적 인 접근 방식이 더 큰 효능 및 효율성, 사용 된 평가 기준의 예측 가치 향상, 프로그램 의사 결정을 안내하는보다 실용적인 정보를 제공한다고 주장합니다. 그렇다면 이러한 모든 이점은 의료 교육 연속체의 궁극적 인 목표 인 진료 제공자가 환자의 요구에 부응 할 수 있도록 준비하는 데 중요합니다.

Systems scientists maintain that a more holistic approach to assessment and evaluation results in greater efficacy and efficiency, improvement in the predictive value of assessment criteria employed, and more actionable information to guide program decision making. If so, all of these benefits would be valuable in advancing the medical education continuum’s ultimate goal of preparing providers to serve the needs of patients.

Assessment for Systems Learning: A Holistic Assessment Framework to Support Decision Making Across the Medical Education Continuum.

의과대학 입학의 도덕성(Adv Health Sci Educ Theory Pract. 2004)

Editorial – The Morality of Medical School Admissions

GEOFF NORMAN

이번 호는 정확히 theme issue는 아니지만 우리는 3 개의 원본 기사와 Reflection을 가지고 있습니다 (Eva & Reiter, 2004; Ginsburg, Schreiber & Regehr, 2004; Kreiter et al., 2004; Marrin et al., 2004). 입학 절차와 관련이 있습니다. 이 article들은 여러 article가 이전에 해왔 던 것처럼 (Salvatori, 2001; Kulatunga-Moruzi & Norman, 2002), 프로세스의 신뢰성과 타당성에 초점을 맞추지 않고 그 대신 입학 조치에서 이러한 가치의 과정과 운영에 관한 고유 한 가치를 비판적으로 검토함으로써 독특한 관점을 제시한다. 

This issue is not exactly a theme issue, but we do have three original articles and a Reflections piece (Eva & Reiter, 2004; Ginsburg, Schreiber & Regehr, 2004; Kreiter et al., 2004; Marrin et al., 2004) all related to the admissions process. In combination, these articles present a unique perspective, focussing not simply on the reliability and validity of the process, as many articles have done before (Salvatori, 2001; Kulatunga-Moruzi & Norman, 2002), but instead critically examining the values inherent in the process and the operationalization of these values in admissions measures. 

에바 (Eva)가 논의한 바와 같이, 모든 딜레마는 '좋은 의사를 만들기 위해 더 높은 점수 이상(more than)을 필요로 한다'는 점을 받아 들일 것이지만, 우리는 '높은 점수'와 'more than'이 상호 배타적 인 것처럼 행동합니다. 에바 (Eva)가 종종 잊어 버리는 요점을 강화하기 위해 이 기회를 빌자. 훌륭한 임상가가되기 위해선 좋은 점수 이상을 필요로한다고해서, 반드시 좋은 점수와 좋은 사람 중에서 하나를 선택해야한다는 것을 의미하지는 않습니다. 이 전략은 marks과 charm이 완전히 역으로 상관되는 경우에만 필요합니다. 그렇다면 우리는 정말로이 둘을 가진 사람을 찾을 수 없을 것입니다. 그러나 Eva가 보여 주듯이, makrs과 personality은 반비례하지 않습니다. 어떤 것이라도 긍정적으로 상관됩니다. Eva의 데이터 세트에서 상관 관계는 + 0.15입니다. 상관 관계가 없어도 점수와 매력을 지닌 후보자는 여전히 많이 있습니다. 에바 (Eva)가 이것으로부터 끌어 낸 함의는 다시 말해서 가치가 있습니다. 높은 점수와 좋은 사람 사이에서 선택을 할 필요는 없습니다. 두 가지를 모두 갖춘 후보자가 많이 있으며, 이들 후보자를 선택해야합니다.

As Eva has discussed, one dilemma is that, while all will accept that ‘it takes more than high marks to make a good doctor’, we continue to act as if the ‘high marks’ and the ‘more than’ are mutually exclusive. Let me take this opportunity to reinforce a point that Eva makes which is often forgotten. That it takes more than good marks to make a good clinician does not imply that we will inevitably find ourselves having to choose between good marks and nice persons. That strategy would only be necessary if marks and charm were perfectly inversely correlated. Then we really would not be able to find someone who has both. But as Eva shows, marks and personality are not inversely related; if anything they are positively correlated. In Eva’s data set, the correlation was+0.15. Even with a zero correlation, there are still lots of candidates who have both marks and charm. The implication Eva draws from this is worth reiterating. It need not be a choice between high marks and nice persons. There are lots of candidates who have both, and these are the ones we should select. 

그러나 진술을 승인 한 후에 실제 연습으로 넘어 가면 아주 미끄러운 경사가됩니다. 프로그램, 대학 및 국가의 표준화에 대한 우려가 있음에도 불구하고 marks를 쉽게 평가할 수 있습니다. 그러나 우리가 non-cognitive factor의 측정으로 돌아 가면 측정이 훨씬 더 어려워집니다. 

• 자서전 서적의 경우, 사기는 가능하지 않습니다. 그렇지만 그것은 잘 문서화 된 사실입니다. 

• 면접 시험과 같은 측정의 신뢰성은이 문제에서 Kreiter가 보여준 것처럼 의심 스럽습니다. 

• 그리고 Kulatunga-Moruzi의 연구에서 인터뷰와 추천서의 예측 타당성은 의사 소통 기술과 같은 비인지적 척도를 예측할 때조차도 매우 낮았습니다. 

Marks 외의 것들에 대한 평가는 많은 학교들이 매우 정교하고 노동 집약적이며 값 비싼 추첨을 진행하는 과정에 종사하고 있다고 말하는 것조차 과장이 아니다.

However, once you go beyond endorsement of the statement to actual practice, it becomes a very slippery slope. We can easily assess marks, albeit with some concern about standardization across programs, universities and countries. However, when we turn to measures of non-cognitive factors, measurement is much more difficult. For autobiographical letters, fraud is not a possibility; it is a well-documented fact. The reliability of measures like the interview is questionable, as shown by Kreiter in this issue. And in Kulatunga-Moruzi’s study, the predictive validity of interview and letter, even in predicting non-cognitive measures like communication skills, was very low. It is not too big a stretch to suggest that, once we go beyond marks, many of our schools are engaged in the process of conducting a very elaborate, labour-intensive, and expensive lottery. 

일부 관할 지역에서는 이를 인정하고 그것에 대해 뭔가를했습니다. 그들의 실용주의로 널리 존경받는 네덜란드 인은 국영 추첨을 사용하여 학생을 선발했습니다. 1970 년대 이래 시행되었고, 성적이 높으면 당첨 기회가 올라간다. 일부 학교는 추가 letter나 인터뷰를 시도하지만 대부분은 그렇지 않습니다.

Some jurisdictions have recognized this and done something about it. The Dutch, widely admired for their pragmatism, have been selecting students using a state-run lottery, where the higher your marks the more tickets you get, since the 1970s. Some schools attempt an additional letter or interview, but most do not. 

그러나 나머지 사람들은 우리가 가지고 있을지도 모르는 불안감에도 불구하고 편지와 인터뷰에 의존한다. Nayer (1992)가 지적했듯이, 북미 의과 대학의 99 % 이상이 여전히 인터뷰에 의지하고 있으며, 그것이 제한된 가치임을 시사하는 풍부한 데이터를 무시한 것으로 보인다. 유감스럽게도 이 낭만적인 인터뷰 의식에 대한 또 다른 부정적인 결과는 입학을 위한 marks 사용에 대한 거의 보편적 인 비난입니다. Best (1989)가 말했듯이, Powis (2004)의 말 :

But the rest of us appear to soldier on with our letters and interviews, despite the misgivings we may have. As Nayer (1992) indicated, more than 99% of North American medical schools still rely on an interview, apparently choosing to ignore a wealth of data suggesting that it is of limited value. Regrettably, one other negative consequence of this romantic adherence to the ritual of the interview is an almost universal condemnation of the use of marks for admissions. As Best (1989) said, quoted by Powis (2004): 

사춘기 말기의 시험에서 받은 높은 점수를 인간적이고 돌보는 의학 전문직과 동일시하는 논리의 비약은 말도 안되지만, 아무도 "충분히 높은 성적을 가진 자를 선발하는 전략"과 전투를하기에 충분히 강한 다른 해결책을 가지고 있지 않기 때문에 지속된다. '

‘The leap of logic that equates high marks in an examination at the terminal end of adolescence with a humane and caring medical profession is a nonsense, but is sustained because nobody has any other solution which is strong enough to combat… the ‘‘high enough mark’’ method.’ 

메서드의 전반부에서 발생하는 문제는 대처하기 쉽습니다. Marks에 초점을 맞추는 것은 '난센스'가 아닙니다. Marks은 수년 간의 대학 또는 고등학교 성적을 반영합니다. 따라서, 그들은 지능과 동기 부여의 지표이자 의학을 이해하는 개념을 이해하는 데 필수적인 주제 분야의 숙달입니다. 따라서 대학에서 의과 대학의 성적 및 면허 시험에 대한 성과를 예측할 수 있는지 여부와 상관없이 미래 성과에 대한 평가 지표 (예 : 과거 성과)가 지속적으로 미래 성과를 예측하는 데 놀랄만 한 것은 아닙니다. 

It is easy to take issue with the first half of the method. A focus on marks is not ‘nonsense’. Marks reflect a number of years of university or high school performance. As such, they are an index of both intelligence and motivation, as well as mastery of subject areas essential for understanding the concepts underpinning medicine. It is not, therefore, surprising that marks (i.e., past performance) are consistently the best predictor of future performance, whether it is marks in university predicting 

• medical school performance and performance on licensing examinations (Kulatunga-Moruzi & Norman, 2002; Salvatori, 2001), 

• performance on licensing examinations predicting performance in specialties (Case & Swanson, 1993), or 

• marks on specialty examinations predicting performance in practice (Norcini, Lipner & Kimball, 2002; Ramsey et al., 1989). 

더욱이 상관 관계는 사소한 것 (일반적으로 0.3에서 0.6까지)과는 거리가 멀며, 내용의 일치와 직접적인 관련이 있습니다 (Case & Swanson, 1993). 또한, 시험을 예측하는 시험의 경우 만이 아닙니다. practice measure의 결과를 보면, 한 연구에서 동료 평가 였고 다른 하나는 MI 이후의 환자 사망률이었습니다. 물론 예외가 있습니다. 예를 들어 Neame, Powis & Bristow (1992)는 구조화 된 인터뷰가 의과 대학에서 withdrawal을 예측하는데 가장 좋은 척도임을 보여주었습니다. 그러나 그것은 인턴 수행을 예측하지 못했다 (Rolfe et al., 1995)

Moreover, the correlations are far from trivial, typically in the range from 0.3 to 0.6, with the magnitude of the correlation directly related to the matching of content (Case & Swanson, 1993). Further, it is not just a case of tests predicting tests – the practice measures were, in one study, peer ratings, and in the other, patient mortality rates post-MI. Of course, there are exceptions; for example, Neame, Powis & Bristow (1992) showed that a structured interview was the best predictor of withdrawal from medical school. But it did not predict intern performance (Rolfe et al., 1995). 

그러나 정말로 중요한 것은 후반부입니다. Marks가 (비인지적 척도보다 일관되게 더 우수한 정도로) performance를 예측한다고 하더라도, 아직 오지 않은 어떤 유토피아적 미래만 기다리는 것은 의미가 없습니다. 여기에 대한 해법은 marks를 덜 강조하는 것이 아니라, (지금까지 잘 측정해오지 못했던) 다른 특성에 대한 더 나은 측정 방법을 개발하는 것이다. OSCE와 비슷한 샘플링 전략을 갖춘 다중 미니 인터뷰 (MMI, Eva et al., 2004)는 실제 약속을 갖고있는 것으로 보입니다. 그러나 MMI가 궁극적으로 승리하든 지든간에, 상황을 바꿀 수 있는 잠재력을 가진 것은 공허하게 격렬한 비판이 아니라, 이와 같은 견고한 연구입니다.

But it is the second half of the quote that really matters. Given that marks do predict performance, with a consistency and at a level that cannot be matched by non-cognitive measures, it makes no sense to pine for some utopian future time when they will not count. The solution does not come from de-emphasizing marks, but from developing better measures of other characteristics that are equally important, but poorly measured. The multiple mini-interview (MMI; Eva et al., 2004, in press), with its OSCE-like sampling strategy, appears to have real promise. But whether the MMI ultimately wins or loses, it is solid research like this, rather than empty polemics about the sorry state of affairs, that has real potential to change things. 

이 실질적인 연구에 대한 무지는 상황에 따라 용서받을 수 있습니다. 결국 우리는 바쁜 입학 담당자가 최신문헌을 따라 잡을 것으로 기대할 수 없습니다. 그러나 이 경우 피해는 단지 자원을 낭비하는 것 이상의 가치가 있다고 생각합니다. 그것은 과실에 불과합니다. 이것은 내 타이틀의 '도덕성'이 나타나는 부분입니다.

Ignorance of this substantial research may be forgivable under circumstances; after all we cannot expect busy admissions officers to also keep up with the literature. But in this case, I believe the damage amounts to more than just squandering resources; it is nothing less than negligence. This is where the ‘morality’ part of my title emerges. 

베시를 소개해 드리겠습니다. 나는 그녀를 심리학 파티에서 몇 년 만났습니다. 그녀는 막 박사 학위를 마쳤습니다. 심리학에서, 그리고 의과 대학에 가기를 희망하고 있었다. 그녀는 매력적이었고, 나가고, 분명히 매우 똑똑했습니다. 그녀는 제가 의과 대학에 연루되었다는 것을 알았 기 때문에 이야기하기 시작했습니다. 그리고 그녀는 의과 대학에 입학하려했으나 실패했습니다. 그녀는 황폐 해졌고, 왜 그녀가 그 인터뷰를 '날려 버렸는가'를 알고 있다고 생각했습니다. 그녀는 어떻게해야합니까, 그녀는 물었다. 나는 '다른 복권을 사세요'라고 대답했다. 그러나 나는 이해하지 못했다. 그녀는 인터뷰에 실패했다. 그녀에게 뭔가 잘못된 것이있었습니다. 명백한 실패를 바로 잡기 위해 할 수있는 일이 없었습니까? 나는 그것이 그녀의 잘못이 아니라는 것을 계속 강조하면서, 문제는 그녀의 성격에 있는 것이 아니라 심각하게 결함이있는 과정이라는 것을 깨닫기 시작했다. 그녀는 나의 주장을 머리로는 이해했을지 몰라도, 그녀는 실패를 내면 화하는 것을 멈출 수 없었습니다.

May I introduce you to Betsy. I met her at a Psychology party some years. She had just completed her Ph.D. in psychology, and was hoping to go to med school. She was, and is, charming, outgoing, and obviously very intelligent. We started talking because she knew I was involved in the med school, and she had just tried, and failed, to get into medical school – again. She was devastated, and thought she knew why – she had ‘blown’ the interview. What should she do, she asked. ‘Buy another lottery ticket’, I replied. But I did not understand – she had failed the interview. There was something wrong with her. Wasn’t there something she could do to remediate her obvious failings? As I continued to reiterate that it was not her fault, that it was not a character defect, that it was simply a seriously flawed process, I began to realize that, although at an intellectual level she must have understood my arguments, at another level, she could not stop internalizing her failure. 

그리고 여기에 진짜 악마가 있다. 입학 면접과 추천서는 교수 및 커뮤니티 자원의 낭비입니다. 이 자원 봉사 시간을 고려할 때 입학의 실제 비용은 엄청납니다. 더 나은 의대생을 선발하는 측면에서이 전체 과정의 이점이 매우 모호한 것은 아닙니다. 이 중 하나라도 이러한 조치의 의문없는 사용에 도전하기에 충분할 것입니다. 그러나 입학에 합당한 10 %를 선택하는 과정에서 (따라서 사회에서 존중 받고 돈이 많이 드는 곳을 보장받는) 다른 90 %에게 이렇게 말하고 있습니다. 너희들은 가치가 없다. 너희들은 충분히 좋지 않다. 너희들은 개인적으로 실패한 것이다. 

And therein lies the real evil. It is not that admissions interviews and letters are a costly waste of faculty and community resources; it is not that the real cost of admissions when you factor in this volunteer time is enormous; it is not that the benefit of this whole process in terms of selecting better medical students is highly dubious. Any one of these things would be sufficient to challenge the unquestioning use of these measures. But in the course of selecting the 10% who are worthy of admission (and hence guaranteed an esteemed and well-paid place in society), we are telling the other 90% 

that they are unworthy; 

that they are not good enough, 

that they have personal failings. 

그러나 우리가 가진 증거는 별자리 점보다 조금 나은 것 같습니다. 최소한 우리가 별자리로 판단한다면, 대부분의 사람들은 자신의 개인적인 특성이 측정되지 않는다는 사실을 깨닫지 못할 것입니다 (그리고 그들의 운세가 진실로 입학 자격이없는 것일 수도 있다고 믿는 사람들).

Yet the evidence we have is likely little better than a horoscope. At least if we judged them by a horoscope, most would not be devastated to learn that their personal qualities did not measure up (and those who did believe their horoscopes may truly be unworthy of admission!). 

왜이 시대에 최우수 의료 교육 (Best Evidence Medical Education)을 받았 는가, 왜 자서전 서신과 같은 불명예스러운 방법에 입학위원회가 집착합니까? 이들의 제한된 가치의 이미 수십 년 동안 증거가 쌓여왔다. 이 전문적인 쓰레기 촬영을 계속하기 위해 막대한 자원을 소비하는 대신, Eva의 기사에서 설명한 다중 미니 인터뷰 (Multiple Mini-Interview)와 같은 독창적 인 대안으로 자금을 전환 한 경우 이전에 문제가 해결되었을 수있었습니다.

Why, in this era, of Best Evidence Medical Education, do admissions committees cling to discredited methods like autobiographical letters? Evidence of their limited value has been available for decades. If, instead of expending enormous resources to continue this professional crap shoot, we had diverted funds to creative alternatives like the Multiple Mini-Interview, described in Eva’s article, we could have had the issue resolved a long time ago. 

우리는 할 수 있고 더 잘해야합니다. 우리는 미래의 세대의 지원자들이, 그리고 우리 자신이 그 수혜자가 될 것이다.

We can, and must do better. We owe it to future generations of applicants, and to ourselves, who may well be beneficiaries of their care.

The morality of medical school admissions.

[Indexed for MEDLINE]

도입

INTRODUCTION

국가 보건 인력인가 심사위원회 (NHPLEB)는 현재 라이센스 요구 사항으로 60-40 %의 컷오프 점수 (전체 검사의 60 %의 정확한 응답과 각 과목의 40 %의 정확한 응답을 의미 함)를 사용합니다. 이 컷오프 점수는 한국의 다양한 국가 시험에 적용되어 합리적이라고 간주됩니다. 그러나 psychometrics의 관점에서 볼 때, 특히 최소의 역량을 획득하지 못한 사람들을 구별하지 못하도록하는 면허 시험의 경우, 절취 점수를 설정하는 유효한 방법이 아닙니다.

The National Health Personnel Licensing Examination Board (NHPLEB) currently uses a cut score of 60-40% (which means 60% correct responses of overall tests and 40% correct responses of each subject) as a license requirement. These cut scores have been applied to various national examinations in Korea and are regarded as reasonable. From the perspective of psychometrics, however, it is not a valid way to set a cut score, especially for a licensing examination that is intended to discern those who acquire minimum competence from those who do not.

합격선 결정에 관한 이론

THEORIES OF SETTING CUT SCORES

절단 점수는 응시자가 건강 전문 직업을 수행하기 위해 습득해야하는 지식이나 기술의 최소 수준을 나타냅니다. 커트 점수는 후보자의 역량에 대한 직업적으로 표현 된 가치이며 관련 철학과 일치 된 의견을 반영합니다. 즉, 자르기 점수 설정은 수학적 기법이 아니라 복잡한 정책 결정 과정으로 이해해야합니다.

A cut score indicates the minimum level of knowledge or skill that a candidate must have acquired to perform health professions. Cut scores are professionally expressed value on candidates’ competency, which reflects educational philosophy and consensus among those related. This means that setting cut scores should be understood not as a mathematical technique but as a complex policy-making process.

1) 표준의 유형 결정 (절대 표준과 상대 표준), 

2) 표준 설정 방법 결정, 

3) 심사 위원 선정, 

4) 표준 설정 회의 개최, 

5) 표준 계산, 

6) 결과 확인 [1].

Setting cut scores usually progresses as follows: 

1) Deciding on the type of standard (absolute vs. relative standards), 

2) Deciding on the method for setting standards, 

3) Selecting the judges, 

4) Holding the standard setting meeting, 

5) Calculating the standard, 

6) Checking the results [1].

Angoff 방법은 1990 년대에 객관식 테스트에 사용 된 가장 보편적 인 방법이었다 [3]. 그러나 이 방법은 근본적인 단점이 있습니다. 즉, minimally acceptable person이 각 항목에 올바르게 응답 할 확률을 추정하는 것은 실제로 불가능합니다. 이 단점을 수용하기 위해 몇 가지 수정 사항이 제안되었습니다.

Angoff method had been the most popular method usedfor multiple-choice tests by the 1990s [3]. However, this method has a fundamental drawback, which is that it is practically impossible to estimate the probability that a minimally acceptable person would answer each item correctly. To accommodate this drawback, several modifications were suggested

현재의 합격선에 관한 이슈

ISSUES WITH CURRENT CUT SCORES

현재의 60-40 % 체제는 교육과 철학적 근거가없는 일제 식민 통치 하에서 임의로 설정되었습니다. 또한, 시험 어려움에 따라 유능하지 못한 사람들의 유능하고 운 좋은 패스의 불행한 실패와 같은 심각한 오 분류를 초래할 수 있습니다.

The current 60-40% system was arbitrarily set under Japanese colonial rule, with no educational and philosophical basis. In addition, it can result in gross misclassification, such as the unfortunate failure of the competent and the fortunate pass of the non-competent depending on test difficulty.

표 1은이 현상을 명확하게 보여줍니다. 표 1에서 합격률은 약 95 %이다. 그러나 2001 년과 2003 년의 합격률은 약 85 %로 다른 해보다 낮습니다.

Table 1 clearly demonstrates this phenomenon. In Table 1, the pass rate is approximately 95%. However, the pass rates of 2001 and 2003 drop to approximately 85%, lower than other years.

원칙적으로, 면허 시험과 같은 기준 참조 시험의 어려움은 최적의 합격률을 고려하여 시험 전에 조정되지 않는데 있다. 한국에서는 시험 항목의 유출에 대한 우려로 인해 사전에 난이도를 조정할 수 없습니다. 대신, 시험관은 건강 전문직을 수행하는 데 필요한 기본 지식과 기술을 요구하는 좋은 질문을해야합니다. 현재 60-40 % 기준에는이 최소 수준의 역량이 반영되어 있지 않으므로 변경해야합니다.

In principle, the difficulty of criterion-referenced test such as licensing examination is not adjusted before examination in consideration of optimal passing rate. In Korea, it is not practically possible to adjust the degree of difficulty in advance due to the drainage of test items. Instead, examiners are expected to make good questions asking basic knowledge and skill that are required to perform health professions. Since the current 60-40% criterion does not reflect this minimum level of competence, it should be changed.

요구분석 결과

RESULTS OF NEED ASSESSMENT

설문 조사는 정신 분석 계원, 의학 교육자 및 심사관으로부터 의견을 수집하기 위해 수행되었습니다. 우리는 현재의 커팅 점수가 유효한지, 왜 개선 이유가 무엇인지, 그리고 개선 이유에 대해 질문했습니다. 결과는 표 2에 나와있다.

Surveys were conducted to gather input from psychometricians, medical educators, and examiners. We asked whether and why they thought the current cut score was valid and their suggestions for improvement. The results are in Table 2.

다음은 개선을위한 제안 사항입니다. 

• 첫째, 대부분의 응답자는 절대적인 평가가 유지되어야한다고 생각했습니다. 이렇게하려면 변형 된 점수가 실행 가능한 대안이 될 수 있습니다. 
• 둘째, 시험 목적을 개발해야한다. 
• 셋째, 항목 개발을위한 교수 훈련에 대한 투자가 필요합니다. 
• 넷째, 어려움의 정도를 통제하기 위해 시험 항목을 분석하기위한 과학적이고 체계적인 방법론이 필요하다. 
• 다섯째, 항목 은행은 보다 현실적인 항목을 보유해야합니다. 
• 여섯째, 절단 점수를 설정할 때 융통성이 있어야합니다. 예를 들어, Angoff 방법은 이러한 유연성을 제공합니다. 
• 마지막으로, 절취 점수는 NHPLEB, 의료계 대표 등 이해 관계자 간의 합의하에 설정되어야합니다.

The followings are suggestions for improvement. 

• First, most of the respondents believed that absolute evaluation should be retained. To do so, transformed scores can be a viable alternative. 
• Second, examination objectives should be developed. 
• Third, investment in faculty training for the item development is required. 
• Fourth, scientific and systematic methodology is needed to analyze test items, to control the degree of difficulty. 
• Fifth, item bank should hold more realistic items. 
• Sixth, there should be flexibility in setting the cut score. For example, the Angoff method provides such flexibility. 
• Finally, the cut score should be set under the agreement among stakeholders such as NHPLEB, medical representatives, and so on.

선진국의 합격선 결정 방법

STANDARD SETTING METHODS OF THE DEVELOPED COUNTRIES

우리는 여러 선진국의 표준 설정 방법을 분석했습니다. 결과는 표 3에 요약되어있다.

We analyzed the standard setting methods of several developed countries. The results are summarized in Table 3.

그들은 절대 표준에 충실하며 합리적이고 합리적인 표준 설정 과정을 유지하는데 많은 노력을 기울입니다. 이러한 결과는 한국이 정신 분석의 과학적 방법에 기반한 표준 설정 방법을 채택해야 함을 시사한다.

they stick to absolute standards, and put much effort into keeping the process of standard setting rational and reasonable. These results suggest Korea should adopt the standard setting method based on scientific methods of psychometrics.

제언

SUGGESTIONS FOR STANDARD SETTING

북마크 [4]와 수정 된 앤 구프 (Angoff) 방법이 한국의 현 상황을 고려한 적절한 합의에 도달했습니다.

We reached the agreement that Bookmark [4] and modified Angoff methods are appropriate considering the current situation in Korea.

북마크 방법

The bookmark method

2002 년 북마크 표준 설정을 적용하여 초등 3 학년 학생들과 비교하여 기본 역량을 갖춘 사람들을 파악했습니다. 한국에서 북마크 방식의 첫 번째 응용 프로그램이었습니다. 이 방법은 표준 설정 패널을 테스트의 특성에 익숙하게하고 패널에 표준 어플리케이션의 결과를 제공합니다. 이 패널은 주제 전문가들로 구성됩니다. Bookmark 방법은 다음과 같이 진행된다 [5].

In 2002, the Bookmark standard setting was applied to discern those who achieved basic competency from those who did not among 3rd year elementary school students. It was the first application of the Bookmark method in Korea. The methodallows a standard setting panel to be accustomed to the char-acteristics of the test and provides the panel with the resultsof standard application. The panel consists of subject experts. The Bookmark method proceeds as follows [5].

a) 패널은 가장 쉬운 것부터 가장 어려운 것 순으로 난이도가 높은 항목을 나열한 주문 된 아이템 소책자 (OIB)를 받았다. OIB를 만들기 위해 항목 응답 이론 (IRT)이 적용되었고, 2/3의 정답 확률이 수험자의 능력을 나타내는 척도로 사용되었습니다.

a) The panel received an ordered item booklet (OIB), which lists items in order of difficulty, from the easiest to the hardest. To make the OIB, item response theory (IRT) was applied and 2/3 probability of correct response was used as a scale score to represent examinee ability.

b) 패널은 소그룹, 일반적으로 6 명에서 8 명으로 구성된 그룹으로 나뉘었다. 소그룹에서는 OIB의 각 항목을 검토하고 항목에 올바르게 대답하는 데 필요한 지식과 기술을 논의했습니다.

b) The panel was divided into small groups-typically groups of six to eight people. In small groups, the panel examined each item in the OIB and discussed knowledge and skills required to answer the item correctly.

c) 그룹 토의 후에, 각 패널리스트는 기초 실력 수준의 학생들이 알아야하고 할 수 있어야하는 것에 대한 자신의 판단에 따라 OIB에 북마크를 배치하여 점수를 결정합니다. 표시된 항목의 눈금 점수가 첫 번째 구분이었습니다.

c) After the group discussion, each panelist determined a cut score by placing a bookmark in the OIB based on his or her own judgment of what students with basic performance level should know and be able to do. The scale score of the marked item was the first demarcation.

d) 패널은 소그룹 토론을 통해 자신의 견해 차이를 타협했다. 패널리스트는 OIB에서 두 번째 경계였던 선택을 표시했습니다.

d) The panel engaged in the small group discussion again to compromise differences in their opinions. The panelists then marked their choice on the OIB, which was the second demarcation.

e) 한 명의 특정 개인이 작은 그룹으로 토론을 지배하지 못하도록 두 개의 소그룹을 중간 규모 그룹으로 합쳤다. 그룹 토론이 끝난 후, 패널은 자신의 선택을 변경할 수있는 또 다른 기회를 얻었고 책갈피를 OIB에 배치했습니다.

e) Two small groups were combined into a mid-sized group to prevent one specific individual from dominating the discussion in small groups. After the group discussion, the panel was given another opportunity to change their choice and placed the bookmark on the OIB.

f) 마지막으로 모든 패널 토론자가 한 곳에서 모여 북마크 선택에 대해 논의했습니다. 토론이 끝난 후, 그들은 최종 선택 기회를 부여 받았다. 그런 다음 최종 북마크를 OIB에 배치했습니다.

f) Finally, all panelists gathered in one place and discussed their choice of bookmarks. After the discussion, they were given a final opportunity to change their choice. They then placed the final bookmark on the OIB.

g) 최종 라운드의 모든 북마크 배치를 수집하고 중앙값을 계산하여 패널의 권장 절단 점수를 설정합니다.

g) All the bookmark placements in the final round were gathered and the median was calculated to set the panel’s recommended cut score.

h) 컷트 점수에 기초하여, 패널은 북마크 앞의 항목을 검사하고 기본 성능 수준의 학생들이 보여줄 수 있어야하는 지식, 기술 및 능력에 대한 요약을 나타내는 성능 수준 설명자를 작성했습니다.

h) Based on the cut score, the panel examined the items before the bookmark and wrote performance-level descriptors that represent a summary of the knowledge, skills, and abilities that students with the basic performance level must be able to demonstrate.

북마크 방법은 패널이 항목 난이도를 정확하게 예측할 수 없다는 Angoff의 방법의 단점을 보완합니다. 또한 psychometric 지식이 거의없는 사람들은 북마크 방법이 성능 수준의 설명을 제공하기 때문에 자르기 점수의 의미와 의미를 이해할 수 있습니다.

The bookmark method compensates for the drawback of the Angoff’s method, which is that the panel cannot correctly estimate item difficulty. In addition, people with little psychometric knowledge can understand the meaning and implication of the cut score because the bookmark method provides performance-level descriptors.

변형된 Angoff

Modified angoff

Angoff의 원래 방법에서는 운영 절단 점수 조사를 실행하는 방법에 대한 세부 정보가 없었습니다. 원래의 방법에서 특이성이 없기 때문에 많은 수정이 제안되었습니다. 다음은 수정 된 Angoff 메소드의 일반적인 프로세스입니다.

In the original Angoff method, there was no details of how to run an operational cut score study. Due to the lack of specificity in the original method, many modifications were suggested. The following is a general process of modified Angoff methods.

a) 패널 선택 : 일반적으로 패널은 주제 전문가, 교사, 관련 관리자 등으로 구성됩니다. 의학 면허 시험의 경우, 패널에는 기초 과학 및 클리닉의 의사 및 교수, 의료 관리자 등이 포함될 수 있습니다. 패널은 컨텐츠 전문가 여야하며 수험생의 특성을 잘 알고 있어야합니다. 적절한 패널 수에 대한 의견이 많지만 적어도 10 명 이상의 패널리스트가 필요하고 15 ~ 20 명의 패널리스트가 이상적이다 [6-9].

a) The choice of a panel: Generally, the panel consists of subject experts, teachers, related administrators, and so on. In case of medical licensing examination, the panel may include doctors and professors of basic science and clinic, medical administrators, and so on. The panel should be content experts and know well the characteristics of examinees. There are diverse opinions on the appropriate number of the panel, but at least 10 panelists are required, while 15~20 panelists are ideal [6-9].

b) Achievement Level Description (ALD) : 성취 수준 개념화는 정책 정의에서부터 시작됩니다. 교육 인적 자원부 또는 보건 복지부와 같은 정부 기관은 성취 수준에 대한 정책 정의를 제공합니다. 이 정책 정의에 기초하여 패널은 각 단계의 성과에 대해 토론하고 설명합니다. 이 설명은 각 레벨의 학생들이 지식, 기술 및 행동 측면에서 알아야 할 일과해야할 일을 지정하고 운영상의 정의를 제공합니다. 모범 사례도 제공 될 수 있습니다. 진행자는 시간을 절약하기 위해 예비 ALD를 패널에 제공하여 패널이 경계선 그룹의 특성에 대한 합의를 통해 표준을 설정하기 시작할 수 있습니다.

b) Achievement Level Description (ALD): Conceptualizing achievement level starts from policy definition. Government agency such as the Ministry of Education & Human Resources Development or the Ministry of Health & Welfare provides a policy definition of achievement levels. Based on this policy definition, the panel discusses and describes performance of each level. This description specifies what students at each level should know and be able to do in terms of knowledge, skills, and behaviors and provides an operational definition. Exemplary items can be provided as well. To save time, the facilitator may provide preliminary ALD with the panel, so that the panel starts to set the standard with some consensus on the characteristics of a borderline group.

c) 실습 : 패널은 모범적 인 항목으로 실습합니다. 유형이 다른 유형의 항목이 혼합 된 경우 각 유형의 항목으로 연습합니다. 특히 성과 항목에 대해서는 실제 성과 데이터를 제공하여 패널이 수험생의 수준을 파악할 수 있도록해야합니다.

c) Practice: The panel practices with exemplary items. In case different types of items are mixed, they practice with each type of item. Especially for performance item, actual performance data should be provided, so that the panel can get a sense of the level of examinees.

d) 첫 번째 추정 : 패널은 3 ~ 4 명으로 구성된 작은 그룹으로 나뉩니다. 패널은 시험에서 실제 항목을 해결합니다. 시험을 마친 후 올바른 답으로 답을 확인합니다. 그런 다음 각 항목에 대해 수위 그룹의 정답 확률을 계산합니다. 개별 평가 후 결과가 수집되고 절단 점수는 각 항목의 중앙값의 합계로 설정됩니다. 컷오프 점수가 게시되고 컷오프 점수 적용 결과가 제공되므로 패널은 현실적인 지 여부를 확인하고 필요한 경우 변경할 수 있습니다.

d) The first round of estimation: The panel is divided into small groups of three or four people. The panel solves actual items on the exam. After solving the exam, they check their answers with correct ones. Then, they estimate the probability of correct answers of a borderline group of examinees for each item. After individual estimation, the results are collected and the cut score is set at the sum of medians of each item. The cut score is posted and the result of cut score application is provided, so that the panel has opportunity to check whether it is realistic and change it if necessary.

e) 두 번째 추정 :이 패널은 중간 규모 그룹으로 나뉘어져있다. 첫 라운드에서 ADL과 그들의 경험을 바탕으로, 그들은 그들의 의견을 교환합니다. 그런 다음 각 항목의 경계선 그룹의 정답 확률을 계산합니다.

e) The second round of estimation: The panel is divided into mid-sized groups. Based on ADL and their experiences at the first round, they exchange their opinions. Then, they estimate the probability of correct answer of a borderline group of examinees for each item.

f) 세 번째 평가 : 모든 패널 토론자가 한 곳에서 모여 토론합니다. 초점은 큰 편차를 보이는 항목에 있습니다. 토론 후에 그들은 세 번째 추정을합니다. 결과는 수집되고 게시됩니다. 세 번째 라운드가 충분하면 세 번째 라운드에서 얻은 커트 포인트가 최종 커팅 점수가됩니다. 절단 된 점수는 척도로 변환됩니다.

f) The third round of estimation: All the panelists gather at one place and discuss. The focus is on the items showing large deviations. After the discussion, they make third estimations. The results are collected and posted. If the third round is enough, the cut point obtained at the third round becomes the final cut score. The cut score is transformed into a scale score.

g) 최소 역량에 대한 설명 : 필요한 경우, 패널은 항목 및 항목에 대한 학생들의 응답을 분석하여 각 레벨의 학생들이 할 수있는 것을 씁니다.

g) Description of minimum competency: If required, the panel writes what students at each level are able to do by analyzing items and students’ response to the items.

Bookmark vs. Modified Angoff Methods

The two methods are compared in terms of process, time and cost, and advantages and disadvantages. The results are shown in Table 4.

위 방법을 적용하는데의 현실적인 이슈

PRACTICAL ISSUES IN APPLYING THE METHODS

위원회의 필요성 : 표준을 수립하기위한 시험 위주의 접근법에서는 각 과목별로위원회가 있어야합니다. NMLE에는 3 개의 과목이 있으므로 3 개의위원회가 필요합니다. 각위원회마다 20 명의 위원이 구성되어 있다면, 60 명의 위원이 많은 비용을 부담하게됩니다. 예산 부족 및 그에 따른위원회 규모 부족으로 인해 표준을 설정하는 데 타당성이 없어 질 수 있습니다.

Need for committee: In a test-centered approach in setting the standards, there should be a committee for each subject. Since there are three subjects in NMLE, three committees are required. If twenty members are set for each committee, 60 members are in need, which would incur considerable costs. Insufficient budgeting, and consequent insufficient committee size, can lead to the loss of validity in setting the standard.

심리 측정 분석의 필요성 :이 논문에서 권고하는 두 가지 방법 모두는 심리 측정에 대한 과학적 분석을 기반으로합니다. 따라서이 방법을 적용하기 위해서는 고전적인 품목 분석과 IRT가 사전에 적용되어야한다. 예를 들어 북마크 메서드의 OIB에는 IRT를 기반으로 한 사전 분석이 필요합니다. OIB는 추가 시간과 비용이 들지만 패널의 부담을 줄여줍니다.

Need for psychometric analysis: Both methods recommended in the present paper are based on scientific analysis of psychometrics. Therefore, to apply the methods, classical item analysis and IRT should be applied in advance. For example, OIB in the Bookmark method requires pre-analysis based on IRT. The OIB costs extra time and cost, but it lessens the burden of the panel.

추가 비용의 필요성 : 과학적이며 유효한 방법을 적용하려면 추가 비용이 불가피합니다.

Need for extra cost: To apply a scientific and valid method, extra cost is inevitable.

의료법 개정 필요 없음 : 새로운 표준 설정 방법으로 의료법 개정안의 필요성에 관해 질문이 제기됩니다. 그러나 새로운 법으로도 현재 법을 유지할 수 있습니다. 그렇게하는 한 가지 방법은 척도를 척도로 변환하는 것입니다. 그림 1에서 원시 점수의 컷오프 점수는 250이며, 이는 60으로 변경됩니다. 법률 개정이 많은 논란없이 수행 될 수 있다면 현행법을 변경하는 것이 법적 문제를 처리하는 또 다른 방법입니다.

No need for amendment of medical law: A question arises as to the need for amendment of medical law with a new standard setting method. However, the current law can be maintained even with a new method. One way to do so is to transformraw scores to scale scores. In Fig. 1, the cut score of raw scores is 250, which is transformed to 60. If amendment of the law can be done without much argument, changing the current law is another way to deal with legal issues.

테스트 동등화 방법 : 일반적으로 매년 커팅 점수는 설정되지 않습니다. 대신, 통계 기술을 적용하여 다른 테스트를 비교할 수있게합니다. 이를 테스트 동등화 (test equating) [11, 12]라고합니다. 테스트가 동일한 경우 동일한 절단 점수를 연속적으로 사용할 수 있습니다. 그러나 한국에서는 시험 항목의 유출에 대한 우려로 인해 test equating method를 적용하는 것이 현실적으로 불가능합니다. 이 경우, 매년 커트라인이 설정되는 곳에서, 여러 해에 걸친 커트라인의 비교가 합리적 일 것입니다.

Test equating method: In general, the cut score is not set every year. Instead, a statistical technique is applied to make different tests comparable. This is called test equating [11, 12]. If tests are equated, the same cut score can be used continuously. However, it is not practically possible in Korea to apply test equating methods due to a drainage of test items. In this case, where the cut score is set every year, comparison of cut scores across different years would be reasonable.

결론

CONCLUSION

북마크 및 수정 된 Angoff 방법을 현재 시스템의 대안으로 사용할 수 있습니다. 이러한 새로운 방법을 적용하려면 몇 가지 문제를 미리 해결해야합니다. 

Bookmark and the modified Angoff methods as viable alternatives to the current system. To apply these new methods, several issues must be resolved beforehand. 

첫째, 면허 시험 자체의 철학적 의미를 재고해야한다. 현재의 고정 된 컷트 점수에서 라이센스 또는 인증 시험의 개념을 위반하는 합격률의 급격한 변화를 막기 위해 테스트 난이도를 미리 조정해야합니다.

First, the philosophical meaning of licensing examination itself should be reconsidered. Under the current fixed cut score, test difficulty should be adjusted in advance in order to prevent a radical change in pass rates, which violates the concept of licensing or certifying examinations.

둘째, 표준 설정에 대한 철학적 재검토가 필요합니다. 현재 60-40 %는 철학적 또는 교육적 근거없이 설정되었습니다. 따라서 우리는 면허 시험의 의미와 철학에 근거하여 절단 점수를 설정해야합니다.

Second, philosophical reconsideration of the standard setting is required. The current 60-40% was set without any philosophical or educational rationale. Therefore, we need to set the cut score based on the meaning and philosophy of license examination.

셋째, 시험 항목의 보안 및 저작권 문제를 해결해야한다. 현재, NHPLEB는 원칙적으로 시험 항목을 공개하지 않습니다. 그러나 수험생은 시험을 치른 후에 동료에게 아이템을 공개하므로 원래 테스트를 거의 복원 할 수 있습니다. 이것은 명백히 저작권 침해입니다. 그러나 한국에서는 이런 종류의 행위가 심각한 것으로 간주되지 않으며 관련된 행위는 도덕적 인 후회를 나타내지 않습니다. 가까운 장래에 이러한 표절의 관행이 통제되어야합니다.

Third, the issue of security and copyright of test items should be resolved. Currently, the NHPLEB as a rule does not release test items. However, examinees release the items to their peers after their examination, making it possible to almost restore the original test. This is obviously infringement of copyright. In Korea, however, this kind of act is not regarded as serious and those related show no moral remorse. This common practice of plagiarism should be controlled in the near future.

Reconsidering the cut score of Korean National Medical Licensing Examination.

레지던트 선발에서 USMLE Step 1 점수의 역할 재평가 권유(Acad Med, 2016)

A Plea to Reassess the Role of United States Medical Licensing Examination Step 1 Scores in Residency Selection

Charles G. Prober, MD, Joseph C. Kolars, MD, Lewis R. First, MD, and Donald E. Melnick, MD

National Board of Medical Examiners와 State Medical Boards는 "개별 면허 기관 ... 의료 면허를위한 공통 평가 제도"를 제공하기 위해 USMLE (미국 의료 면허 시험) 3 단계를 개발했습니다.

The National Board of Medical Examiners and the Federation of State Medical Boards developed the three-step United States Medical Licensing Examination (USMLE) to provide “individual medical licensing authorities … a common evaluation system for medical licensure.”1 

1 일 객관식 시험 인 USMLE 1 단계 구성 요소는 "현대 의학을 안전하고 유능하게 실천하기 위한 기초를 제공하고, 평생 학습을 통해 역량의 유지에 필요한 과학적 원리를 제공하기 위해서" 이루어진다.

The USMLE Step 1 component, a one-day multiple-choice examination, is designed to ensure “mastery of the sciences that provide a foundation for the safe and competent practice of medicine in the present, as well as the scientific principles required for maintenance of competence through lifelong learning.”1

시험 결과는 바이너리입니다. 일련의 시험에 합격 한 응시자는 주 면허증을받을 수 있습니다. 실패한 사람들은 그렇지 않습니다.

The primary consequence of the test result is binary. Candidates who pass the series of examinations are eligible for state licensure; those who fail are not.

USMLE 모델은 커다란 "전국 의학부 (National Faculty of Medicine)"에서 핵심 의학 교육 내용에 대한 국가적 합의를 이끌어 내도록 설계되었습니다. 2

미국의 의학 교육 및 의학 면허를 광범위하게 대표할 수 있는 기초의학자, 임상 교수 및 의사가 선정됩니다.

Basic scientists, clinical faculty, and practicing doctors are selected to be broadly representative of medical education and medical licensure in the United States;

면허 자격 요건을 결정하는 것 외에도 USMLE 시험 결과, 특히 1 단계 점수는 레지던트 지원자를 스크리닝하는 데 자주 사용됩니다 .8 비록 USMLE 단계의 점수는 서로 관련이 있고 USMLE 1 단계의 낮은 점수는 여러 전문과목에서 다음 단계의 실패와 관련이 있는 것으로 보고되나, 1단계 시험은 레지던트의 성공 가능성에 대한 주요 결정요인으로서 고안되지 않았습니다.

작업을위한 도구 부족

An Insufficient Tool for the Job

의도 된 목적에도 불구하고, 많은 레지던트 프로그램 디렉터들은 계속해서 인터뷰 대상 후보자를 선택하기위한 단독 또는 기본 필터로 신청자의 USMLE 1 단계 점수를 사용합니다.

Despite its intended purpose, many residency program directors continue to use applicants’ USMLE Step 1 scores as a sole or primary filter for selecting candidates to interview,10

일반적으로 레지던트 분야 (예 : 정형 외과 수술, 방사선 종양학, 피부과, 안과 및 이비인후과)의 경쟁력이 높을수록 필터를 통과해야하는 USMLE 1 단계 점수가 높아집니다.

USMLE 합격 점수는 부적절한 지식을 가진 사람들로부터 충분한 지식을 가진 사람들을 구별하여 시험 응시자 간의 지식 차이를 추론하기위한 것이 아닙니다. 그러나 USMLE 1 단계의 점수는 많은 레지던트 교육 프로그램에서 인터뷰 제공의 주요 요인으로 채택되었는데, 종종 프로그램 디렉터가 커리큘럼 및 평가의 차이로 인해 다른 의과 대학의 학생들을 비교하기가 어려워 보였기 때문입니다. 표준화 된 USMLE 1 단계 점수는 이러한 필요를 충족시키는 것으로 인식됩니다.

그러나 레지던트 선발의 1차 스크리닝에 1단계 점수를 사용하는 것은, 충분한 증거에 의해 뒷받침되지 않으며, 그러한 목적으로 설계되지 않은 시험에 의거하여 의대 졸업생에 대한 중요한 career-changing 결정을 내리는 것이다.

Acad Med. 2016 Jan;91(1):12-5. doi: 10.1097/ACM.0000000000000855.

A Plea to Reassess the Role of United States Medical Licensing Examination Step 1 Scores in Residency Selection.

새로운 도구상자를 이용해서 교육자 평가하기(Acad Med, 2014)

Evaluating Educators Using a Novel Toolbox: Applying Rigorous Criteria Flexibly Across Institutions

Maryellen E. Gusic, MD, Constance D. Baldwin, PhD, Latha Chandran, MD, MPH, Suzanne Rose, MD, MSEd, Deborah Simpson, PhD, Henry W. Strobel, PhD, Craig Timm, MD, and Ruth Marie E. Fincher, MD

Boyer (1)는 교육 기관이 scholarship of teaching을 포함하도록 scholarship 제도를 재정립해야한다고 주장하였다. 이 연구를 토대로 교육자의 인정과 승진은 방향으로 나아갔습니다 .2-4 그러나 많은 기관은 교육자의 작업을 체계적으로 평가하기위한 기준이 부족합니다 .5-7 의학 교육의 사명을 발전시키기 위해서는 AHC에서 유연하게 사용할 수있는 교육자의 성과를 평가할 수있는 특정 기준을 가진 객관적인 프로세스를 구현해야합니다.

There has been progress toward recognition and promotion of educators based on the work of Boyer,1 who argued that academic institutions should redefine scholarship to include the scholarship of teaching.2–4 However, many institutions lack defined criteria for systematically evaluating the work of educators.5–7 To further advance the medical education mission, we must implement an objective process with specific criteria for evaluating the performance of educators that can be used flexibly by academic health centers.

교육자 평가에 관한 AAMC 특별 전담 팀

AAMC Task Force on Educator Evaluation

The AAMC Task Force on Educator Evaluation은 교육에 중점을 둔 교수진을 지원하기 위해 교육 기관에서 사용할 수있는 교육자 평가를위한 객관적인 프로세스를 만들기 위해 2010 년에 소집되었습니다.

The AAMC Task Force on Educator Evaluation, in which all the authors have participated, was convened in 2010 to create an objective process for evaluating educators that can be used by institutions to support faculty whose careers focus on education.

태스크 포스의 주요 산출물은 교수진의 교육적 기여에 대한 객관적인 평가를 위하여, 명확한 기준을 포함하는 교육자 평가 도구 상자(the Toolbox for Evaluating Educators)입니다. 이 도구 상자는 MedEdPORTAL에 게시된 professional development materials 집합의 핵심이며, 승격 및 테뉴어 위원회 위원에게 성과 지표를 적용하고 특정 설정에서 사용에 대해 토론 할 수있는 실습 기회를 제공하기 위해 워크숍 형식으로 제공됩니다 .9

The task force’s principal product is the Toolbox for Evaluating Educators, which contains explicit criteria for objective evaluation of the educational contributions of faculty. The toolbox is the centerpiece of a set of professional development materials published on MedEdPORTAL, presented in workshop format to provide promotion and tenure committee members with hands-on opportunities to apply the performance indicators and discuss use in their specific setting.9

명확한 목표

Clear Goals

연구 분야에서는 academic advancement 분야에서 널리 인정되고 표준화된 자격이 있다. 여기에는 동료 검토 논문, 국가 연구 발표, 기금 지원이 주로 포함된다.11,12 우리의 목표는 이와 유사하게 잘 이해 된 기준에 근거하여 교육자의 성과의 질에 관하여 홍보위원회 및 기타 의사 결정권자가 객관적인 증거에 도달하게 하는 것이다. 

In the research arena, well-accepted, standardized qualifications for academic advancement focus on peer-reviewed publications, national presentations of scientific work, and funded grants.11,12 Our goal is to enable promotion committees and other decision makers to reach objective, evidence-based decisions about the quality of educators’ performance, based on equally well-understood criteria.

목표 1 : 교육 기관이 가치있는 교육 기부를 결정하는 것

Objective 1: To Determine What Educational Contributions Are Valued by Our Institutions

적절한 준비

Adequate preparation

전국의 의과 대학에서 교육자의 성과와 발전에 관한 의사 결정의 현재 상태를 조사하기 위해 전국 설문 조사를 통해 정보를 수집했습니다. 또한 설문지 작성 과정에서 AAMC 구성 그룹의 대표자 인 태스크 포스의 각자에게 2010 년 11 월에 개최된 annual AAMC meeting에 초대 할 그룹의 주요 구성원 이름을 제출하도록 요청 받았다. 

To examine the current state of decision making regarding educator performance and advancement at medical schools nationwide, we obtained information using a national survey. In addition, during the development of the questionnaire, each person on the task force, as a representative of an AAMC constituent group, was asked to submit names of key members of their group to be invited to a stakeholder meeting held in November 2010, at the annual AAMC meeting;

적절한 방법

Appropriate methods

AAMC의 Vovici Survey Platform을 사용하여 최종 조사 (Supplemental Digital Appendix 1, http://links.lww.com/ ACADMED / A200 참조)를 AAMC GFA의 117 명의 대표에게 미국 및 캐나다 의과 대학에서 전자 배포했습니다.

The final survey (see Supplemental Digital Appendix 1, http://links.lww.com/ ACADMED/A200) was electronically distributed using the AAMC’s Vovici Survey Platform to 117 primary representatives of the AAMC GFA at U.S. and Canadian medical schools.

중요한 결과와 효과적인 발표

Significant results and effective presentation

설문 조사 응답자는 117 명의 기본 GFA 담당자 중 77 명이 연락하여 66 %의 응답률을 보였습니다.

Survey respondents included 77 of the 117 primary GFA representatives contacted, a 66% response rate.

승진 및 진급 결정 (예 : 보조금, 교육 시간, 멘토링 영향)에서 특정 종류의 증거의 중요성에 대한 질문에 대해 거의 모든 유형의 증거가 현재 환경 (26 개 중 26 개)보다 이상적으로 중요하다고 평가되었습니다. 28 항목). 28 개 항목 중 11 개 항목 (39 %)은 현재 중요성 때문에 3.5 개 항목보다 높게 평가되었습니다. 가장 높은 평가는 교육 장학금 (평균 4.3), 교육의 질 (4.0), 교육 리더로서의 역할 (3.8), 새롭고 향상된 교과 과정 개발 (3.8), 지역 / 전국 교육 기관에서의 리더십 3.7). 응답자들은 이상적으로 "교육자의 작품의 질 결정"에 대한 가장 중요한 증거는 동료 심사를 거친 장학금, 국가 인정, 다른 곳에서의 교육자 직업의 채택 및 교육 보조금이어야한다고 믿습니다.

In response to questions about the importance of specific kinds of evidence in promotion and advancement determinations (e.g., grants, teaching hours, mentoring impact), nearly all types of evidence were rated as more important in the ideal than in the current environment (26 of 28 items). 

Eleven out of 28 items (39%) were rated over 3.5 for their current importance. The most highly rated were evidence of educational scholarship (mean = 4.3), quality of teaching (4.0), role as an educational leader (3.8), development of new/ improved curricula (3.8), and leadership in regional/national educational organizations (3.7). Respondents believed that ideally, the most important evidence for “determining the quality of an educator’s work” should be peer-reviewed scholarship, national recognition, adoption of the educator’s work elsewhere, and educational grants.

목표 2 : 엄격한 근거 중심의 틀을 사용하여 교육적 기여의 구조적 평가를위한 지침을 작성한다.

Objective 2: To Create Guidelines for the Structured Evaluation of Educational Contributions, Using a Rigorous, Evidence-Based Framework

적절한 준비

Adequate preparation

Toolbox for Evaluating Educators를 개발하면서 모든 의사 결정자 (교육자가 아닌 교사 및 교육자)가 사용할 수있는 증거 기반의 도구를 만들고 가능하면 간결하지만 다양한 교육자의 성과를 검토하는 데 유용 할 정도로 포괄적 인 도구를 만들려고했습니다 (다른 학문적 계급, 임상 또는 기초 과학).

In developing the Toolbox for Evaluating Educators, we sought to create tools that were evidence based, practical for use by all decision makers (noneducators and educators), and as succinct as possible, but sufficiently comprehensive to be useful in reviewing the performance of diverse educators (different academic ranks; clinical or basic science).

적절한 방법

Appropriate methods

GEA 2006 컨센서스 컨퍼런스, Boyer, Glassick, 10 및 다른 사람들, 13-16의 연구 결과와 우리 국가 조사에서 얻은 결과를 토대로, 5 개 영역의 각 과목별로 개발 된 태스크 포스가 평가할 구체적인 기준의 포괄적 인 세트

• 품질의 증거 (예 : 확립 된 모델의 사용, 강력한 평가, 학습 결과)

• 학술 접근법 (관련 교육 문헌 및 모범 사례에 대한 지식 적용)

• 학술활동 (다른 사람들의 적용/적응을 위해 공개적으로 보급 된 동료 심사를 거친 product를 제작하는 것).

Building on the recommendations from the GEA 2006 consensus conference,4,8 the work of Boyer,1 Glassick,10 and others,13–16 and the findings from our national survey, the task force developed for each of the five domains ofeducational activity a comprehensive set of specific criteria to assess 

• evidence of quality (e.g., use of established models, strong evaluations, learning outcomes), 

• scholarly approach (applying knowledge of the relevant education literature and best practices), and 

• scholarship (producing peer-reviewed, publicly disseminated products that are available for adoption/adaptation by others). 

중요한 결과와 효과적인 발표

Significant results and effective presentation

최종 양식의 도구 상자는 동료 검토를 거쳐 MedEdPORTAL, 9에 사용자 가이드 및 광범위한 리소스 목록과 함께 게시됩니다.

The toolbox in its final form has been peer reviewed and is published on MedEdPORTAL,9 along with a user’s guide and extensive resource list.

도구 상자에 대한 사용자 안내서는 고려해야 할 두 가지 원칙을 제공합니다. 어떤 교육자도 다섯 가지의 모든 교육자 활동 영역 모두에서 광범위한 활동을 할 것으로 예상되어서는 안됩니다. 또한 각 영역 내에서 교육자에게 모든 기준을 충족시키는 증거를 제공할 것을 요구해서도 안된다. 도구 상자의 기준 목록은 의도적으로 포괄적입니다. 다양한 보건 전문가 교육자의 작업에 적용 할 수 있으며 교육자의 진보 결정에 사용되는 기관 벤치 마크와의 통합을 용이하게 만들기 위해서 유연하게 만들었다. 개별 교육 기관은 교육자가 진보를위한 기관 차원의 기준을 충족시키기 위해 얼마나 많은 기준을 충족시켜야하는지 내부적으로 결정해야합니다.

The user’s guide for the toolbox provides two principles for consideration: No one educator should be expected to have extensive activity in all five educator activity domains; and within each domain, no educator should be expected to provide evidence to satisfy every criterion. The toolbox’s criteria lists are intentionally comprehensive: they can be applied to the work of a variety of health professions educators, and they are sufficiently flexible to facilitate incorporation with institutional benchmarks used in educator advancement decisions. Institutions must decide internally how many and which criteria should be met in order for an educator to meet institutional standards for advancement.

목표 1과 2 : 사려 깊은 비판

Objectives 1 and 2: Reflective Critique

도구 상자에는 교육 기관이 자체적 인 가치 판단을 적용 할 수있는 유연성을 제공하기 위해 평가 기준에 부합하는 지표 또는 가중치가 포함되어 있지 않습니다. 우리는 교육자의 포트폴리오에 얼마나 많은 도메인을 반영해야하는지 또는 특정 순위로 승격하기 위해 충족되어야하는 기준의 수에 대한 제안을 하지 않을 것이다.

the toolbox does not contain metrics or weights to accompany the criteria for evaluation, to allow flexibility for academic institutions to apply their own value judgments. We provide no suggestions for how many domains should be reflected in an educator’s portfolio or the number of criteria that must be met for promotion to a specific rank.

평가 기준을 개발할 때 발생할 수있는 잠재적 위험 중 하나는 의사 결정권자가 의도하지 않은 목적으로 의사 결정자를 사용할 수 있다는 것입니다. 예를 들어, 기준 목록을 체크리스트로 사용하고 "달성 된 항목의 퍼센트"를 측정하는 것은 그 목적을 오해 할 수 있습니다.

One of the potential risks of developing evaluation criteria is that decision makers may use them for unintended purposes. For example, use of the criterion lists as checklists and measuring “percent of items accomplished” would be a misinterpretation of their purpose.

이 툴박스는 주로 프로모션 프로세스 평가를위한 것이지만, 교육자의 학술 커리어에 걸쳐 종단적으로 사용할 수도 있다.

임명시 그리고 새로운 교수진 오리엔테이션 중에,

멘토링 대화 중,

새로운 직무에 대한 기대가 정의되면

연간 실적 리뷰에서.

The toolbox is intended primarily for assessment in the promotion process, but it can be used longitudinally throughout the educator’s academic career: 

at appointment and during new faculty orientation, 

during mentoring conversations, 

when expectations for new job roles are defined, and 

in annual performance reviews.

Future Directions

8 Simpson D, Fincher RM, Hafler JP, et al. Advancing educators and education: Defining the components and evidence of educational scholarship. http://tinyurl. com/7evolwy. Accessed January 4, 2014.

Acad Med. 2014 Jul;89(7):1006-11. doi: 10.1097/ACM.0000000000000233.

Evaluating educators using a novel toolbox: applying rigorous criteria flexibly acrossinstitutions.

효과적인 피드백을 통한 메타인지 발달(Med Teach, 2016)

Developing metacognition through effective feedback

Chay Hoon Tan

Fisher (1998)는 메타인지는 단지 새로운 정보와 기존의 지식을 통합하는 것이 아니라 

• 동화 된 것에주의를 집중 시키며,

• 새로운 정보와 이미 알려진 것 사이의 관계를 이해하고,

• 이를 촉진하는 프로세스를 평가하고

• 새로운 것을 실제로 배웠음을 인지하는 것.

Fisher (1998) stated that metacognition is not merely integration of new information and existing knowledge but involves 

• directing one’s attention to what has been assimilated, 

• understanding the relationship between the new information and what is already known, 

• evaluating the process which facilitates this and 

• being aware when something new has actually been learned. 

학습자의 메타인지 기술을 키울 수있는 방법 중 하나는 피드백을 장려하는 것입니다.

One of the ways to nurture learners’ metacognition skills is to encourage feedback.

구조적 참여의 수정 된 펜들턴의 규칙 (Pendleton et al., 1984)

modified Pendleton’s rules (Pendleton et al. 1984) of structured engagement,

이 규칙에 따라 우리는 건강 전문가의 학습자에 대한 효과적인 피드백을 향상시키는 간단한 5 단계 프로세스를 제안합니다.

Based on these rules, we propose a simple 5-step process to improve effective feedback for learners in health professions.

• 1 단계 - 학습자에게 무엇이 잘되었는지와 왜 (학습자의 성찰) 물어보십시오. 이것은 학습 과정을 비판적으로 재검토하기위한 것입니다.

• 2 단계 - 선생님은 잘 수행 된 것과 왜 그러한지를(선생님의 성찰) 공유 할 것입니다. 이것은 학생들의 강점을 보강하기위한 것입니다.

• 3 단계 - 학습자에게 무엇을, 어떻게 더 잘 수행 할 수 있는지(학습자의 요구 분석)를 묻는다. 이것은 학습에서의 격차를 확인하는 것입니다.

• 4 단계 - 교사는 개선을 위한 제안 (교사의 요구 분석)을 통해 더 잘할 수있는 것에 대해 의견을 나눌 것입니다.

• 5 단계 - 학습자가 개선을 위해 집중할 세 가지 영역 (행동 계획)을 제시하고 행동 계획을 검토 할 날짜를 정하도록 권장합니다.

• Step 1 – Ask the learners what was done well and why (learners’ reflections). This is to critically revisit their learning process.

• Step 2 – The teacher will share what was done well and why (teachers’ reflection). This is to reinforce students’ strengths.

• Step 3 – Ask the learners what can be done better and how (learners’ needs analysis). This is to identify their gaps in learning.

• Step 4 – The teacher will comment on what can be done better with suggestions for improvement (teachers’ needs analysis).

• Step 5 – Encourage the learners to propose three areas to focus for improvement (action plan) and set a date to review the action plan.

Med Teach. 2016 Sep;38(9):959. doi: 10.1080/0142159X.2016.1209472. Epub 2016 Aug 23.

Developing metacognition through effective feedback.

명확한 정의와 의도하지 않은 결과(Med Educ, 2017)

What’s in a name? Definitional clarity and its unintended consequences

Kevin W Eva

문제 기반 학습, 2 타당성, 3 피드백, 4 전문성, 5 통합, 6 객관적 구조 임상 시험, 7 자기 평가 및 종단 통합 사무직 9 이들의 공통점은 무엇입니까?

topics explored in our field: problem-based learning,2 validity,3 feedback,4 professionalism,5 integration,6 objective structured clinical examinations,7 self-assessment8 and longitudinal integrated clerkships.9 What do these things have in common?

필자가 생각해 왔던 한 가지 특징은 개념이나 혁신이 충분히 대중화 될 때, 누군가는 그 개념이 불충분하게 정의되거나 다양한 방식으로 사용된다고 주장하기 시작할 것입니다 .2-9 명확한 정의가 중요하다는 것은 의심의 여지가 없습니다. 그것이 없으면 상당한 오해의 위험이 있습니다. 명확한 정의가 없으면, 어떤 혁신의 영향력도 suboptimal할 것이고, 새롭게 사람들이 효과적으로 현장에 참여하는 것을 불가능하게 만듭니다. 이러한 모든 문제는 효과적인 의사 소통을 저해하기 때문에 교육 과정의 품질 향상을 어렵게 만듭니다.

최악의 시나리오는 '나는 그것에 대해 배우기 위해 충분한 시간을 쓰지 않았다.'라고 말하는 대신 '명확한 정의가 없다'라는 핑계를 대는 것이다. 모든 사람이 HPE 공동체가 사용하는 모든 개념에 진실로 정통 할 수 없기 때문에 naivety에 대해 불만하는 것은 아닙니다. 그러나 자신의 무지가 자신의 전문 지식의 영역을 넘어서서 모든 것을 undermine하게 만드느니, "나는 sensibly하게 말하기에 충분히 알지 못한다"고 말하는 것도 괜찮음을 상기시키려는 것이다.

더 중요한 것은 '사람들이 각기 다른 방식으로 용어를 사용한다. 그래서 용어 자체는 별로 의미있지 않다'라는 것을 핑계로 중요한 토론을 고의적으로 회피하는 것이다.

More concerning to me though are observations of cases in which important discussions have deliberately been brushed aside with the claim ‘different people use the term in different ways’ and the implication that, therefore, the term is not meaningful and should be banned from our lexicon altogether.

또한 다른 사람이 아이디어나 데이터를 비평가와 동일한 방식으로 사용하지 않는다는 이유로, 단순히 그 사람의 아이디어나 데이터를 무시하는 코멘트도 문제이다.

Equally troubling are comments that simply dismiss the ideas or data of others on the basis that those others appear not to use the terms in a way that aligns with the critic’s understanding of them.

세계의 모든 언어는 시간이 지남에 따라 의미가 변화하고 예측할 수없는 방식으로 진화됩니다 .10 그렇다면 왜 학계에서 사용하는 언어에 대해서만 일관성과 보편성을 기대해야합니까? 왜 우리는 용어가 현재 사용되는 방식이 '그 용어가 유래한 방식'과 다르다는 이유만으로 현재의 사용되는 방식을 무시해도 된다는 주장을 인정하는가? 용어가 변화하는 것은 그 용어를 사용한 사람이 의도적으로 추구하지 않았더라도, 어떤 목적을 수행하는 경우가 많습니다 .11

Every language in the world evolves with meaning changing over time and place in unpredictable ways.10 Why then should we expect constancy and universality in the language we use in academia? Why should we accept the argument ‘that’s not how the term originated’ as sufficient to rule out of consideration how the term is currently being used? Such changes often serve some purpose even if it is not a purpose that was deliberately pursued by the user.11

학자들은 명확함과 이해를 갈망하며, 특히 모든 것에 대해 정확하길exacting하는 바라는 성향이 있습니다.

Scholars tend to be a particularly exacting lot, desiring clarity and understanding.

그러나 우리가 사용하는 모든 용어에 대해 직접적인 합의를 이룰 수 있다는 믿음이 아니라, 단어의 특정 의미, 혁신의 구체적인 특징을 모니터링하고 명확히 함으로써 인식의 차이를 밝히는 행위가 우리를 더욱 발전시킨다.12 또한 우리는 용어에 대한 합의가 변하지 않고 항구적일 거라고 기대할 수 없으며, 그러한 정의가 존재한다면 아마도 사전에 제시된 '문자적인' 정의에 그칠 뿐이며, 그 이상은 보여주지 못한다.

It is, however, the act of uncovering differences in perception through monitoring and clarifying the specific meaning of words or the specific features of innovations that moves us forward, not the belief that we could achieve straightforward consensus on every term we use.12 Even if we could, we cannot expect such consensus to remain stable any more than the ‘literal’ definitions of words offered in a dictionary reflect anything more than current norms.10

이 노력에서 우리는 명확한 정의를 만들이 위해 계속 노력해야 한다. 그러나 동시에, 개념을 간단하게, 보편적으로, 안정적으로 정의하는 것은 복잡한 일이기 때문에, 이것에 마비되어 앞으로 나아가지 못해서도 안 된다. 셰익스피어의 견해에서, '우리가 장미를 다른 이름으로 부르더라도, 여전히 장미의 감미로운 냄새를 맡을 것입니다.' '장미'라는 이름이 수천 개의 다른 식물을 묘사하고 있기 때문에 우리의 장미를 비료에 묻지 말고, 달콤한 장미 냄새가 계속 나도록하십시오. 그 중 일부는 꽤 가시가 있습니다.

In this effort we want to continue to strive for definitional clarity. At the same time, we cannot stall in our efforts to move forward by becoming paralysed by the complexities that make the more interesting concepts difficult to simply, universally or stably define. In Shakespeare’s view, ‘that which we call a rose by any other name would smell as sweet’. Let’s make sure our roses continue to smell sweet by not burying them in manure just because the name ‘rose’ describes thousands of different plants, some of which can be quite prickly.

15 Chiavroli N. Knowing how we know: an epistemological rationale for the medical humanities. Med Educ 2017;51 (1):13–21.

16 Paradis E, Sutkin G. Beyond a good story: from Hawthorne effect to reactivity in health professions education research. Med Educ 2017;51 (1):31–9.

17 Gegenfurtner A, Kok E, van Geel K, de Bruin A, Jarodzka H, Szulewski A, van Merrie¨nboer JJG. The challenges of studying visual expertise in medical image diagnosis. Med Educ 2017;51 (1):97–104.

Med Educ. 2017 Jan;51(1):1-2. doi: 10.1111/medu.13233.

What's in a name? Definitional clarity and its unintended consequences.

Deliberate Practice와 전문적 수행능력의 획득: 일반적 관점(Acad Emerg Med. 2008)

Deliberate Practice and Acquisition of Expert Performance: A General Overview

K. Anders Ericsson, PhD

교육과 훈련은 매우 긴 역사를 가지고 있습니다. 그리스 문명 이래로, 높은 수준의 기술을 습득해야하는 일반 교육과 직업 훈련 간에는 중요한 구별이 있었습니다. 플라톤과 아리스토텔레스가 제안한 교육은 전문화를 지양했고, 사고력과 일반적인 지식을 개발하는 데 중점을 두었다. 아테네의 노예가 주로 수행한 숙련된 수작업과 관련하여, 플라톤은 초기 훈련을 시작하고 단일 기술에 대한 참여로 제한 할 것을 제안했습니다.

Education and training have a very long history. Ever since Greek civilization, there has been an important distinction made between general education and vocational training, which requires the acquisition of a high level of skill. Education, as proposed by Plato and Aristotle, discouraged specialization and focused on developing thinking skills and general knowledge. With respect to skilled manual work, primarily performed by slaves in Athens,1 Plato proposed an early start of training and restricted engagement to a single craft.2,3 

의학 전문 지식을 논의 할 때, 플라톤은 전문 의사가 환자에게 치료와 설명에 대해 사려 깊은 진단과 추론과 노예 의사가 일상적으로 적용하는 것을 대조했다. 따라서 의사 간의 역량은 우수한 지식과 다른 사람들을 가르치는 능력을 검토함으로써 가장 잘 평가 될 것으로 생각됩니다. 역량을 획득하기 위한 주요 요소는 축적 된 경험으로 여겨졌으며, 따라서 나이는 지혜와 관련이있을 것으로 기대되었습니다. 플라톤은 이상적인 의사는 많은 경험을 가진 사람이라고 보았다- 더 이상적으로는 많은 질병에서 회복하는 개인적인 경험을 가진 사람이었다고 주장했다.

When discussing medical expertise, Plato contrasted the routine application of medical procedures by a slave doctor to the thoughtful diagnosis and reasoning about treatment and explanation to the patient by an expert doctor.4 Competency among doctors was thus thought to be best assessed by examining their superior knowledge5 and ability to teach others.6 The primary additional factor to achieve competence was believed to be due to accumulated experience, and thus age was expected to be correlated with wisdom. Plato argued that the ideal doctor was one with significant experience—ideally, personal experiences of recovering from many diseases.7  

아리스토텔레스 이후로 전문 지식을 평가하고 증명하는 방법과 이론적 이해와 실제 기술 사이의 긴장이 남아 있습니다. 실무자의 전문성 수준은 길드에 의해 감시되고 최근에는 전문 기관에 의해 인증받게 되었습니다 .8 미국에서는 일반적으로 학생들은 전문 학교에서 공부하기 전에 대학 교육과 같은 일반 교육을 요구합니다. 전문 학교에서 주로 이론 교육을받은 후, 졸업생은 독립적으로 연습 할 수있는 자격 증명을 얻을 때까지 숙련 된 실무자에게 견습생으로 훈련됩니다.

Since Aristotle, the issues of how to evaluate and certify expertise and the tension between theoretical understanding and practical skill have remained. The level of expertise of practitioners has been monitored and credentialed by guilds and more recently by professional organizations.8 In the United States, students typically require a general education, such as a college education, before they can be admitted to study at professional schools. Following primarily theoretical training at professional schools, graduates are trained as apprentices to experienced practitioners until they earn the credentials to practice independently.

일반적인 이론 지식과 전문 기술의 구분에 따라, 초기의 전통적인 기술 및 전문 기술 모델은 개발 단계를 구분합니다. 첫 번째 단계 (초보자)는 교사의 지시에 따라 규칙과 절차를 단계적으로 적용합니다. 경험이 늘어남에 따라 학생은 동일한 결과를 더 빠르고 효율적으로 생성 할 수 있습니다. 광범위한 경험을 통해 개인은 전문가가 되어 신속하고 직관적으로 대응할 수 있습니다. 

Consistent with the distinction between general theoretical knowledge and professional skill, early traditional models of skill and expertise9–13 distinguish different stages of development. The first stage (novice) involves following the teachers’ instruction and applying rules and procedures step by step. With increasing experience, the student becomes more able to generate the same outcomes faster and more efficiently.  After extensive experience, individuals become experts and are able to respond rapidly and intuitively. 

차를 운전하는 것과 같은 일부 영역은 간단하며 거의 모든 초보자 [초보자]는 결국 우리가 전문가라고 부르는 수준에 도달 할 수 있습니다. 체스와 같은 좀 더 복잡한 영역에서는 최고 수준에 도달하는데 수십 년이 걸릴 수 있습니다. 일부 연구자들은 전문가의 행동과 성과가 경험이 적은 개인보다 (모든 영역에 걸쳐) 균일하게 우월해야한다는 생각을 분명히 거부합니다.

Some domains, such as driving a car, are simple and ‘‘almost all novices [beginners] can eventually reach the level we call expert.’’11 In other more complex domains, such as telegraphy and chess, it may take decades to reach the highest levels.13,14 Some researchers even explicitly reject the idea that expert behavior and performance needs to be uniformly superior to less experienced individuals.11

1980 년대에 이르러, 축적된 지식, 광범위한 전문적 경험 및 동료 지명을 기반으로 한 expertise의 정의에 대한 비판이 늘어났다. 광범위한 경험과 연장 된 교육을 갖춘 '전문가'가 덜 숙련 된 동료보다, 심지어 때로는 비서들보다 더 나은 결정을 내릴 수없는 수많은 경험적 사례가보고되었습니다 .17 초기 연구에서 보통의 의사들에 비해서 peer-nominate 된 최고 수준 의사들의 정확성이 더 높다는 것을 확립하지 못했습니다. 탁월한 수행 능력을 보이는 개인의 행동을 중재하는 인지 메커니즘에 대한 연구는, 단순한 경험의 누적으로 설명 될 수없는 복잡한 구조를 드러냈다. 이러한 비판에 대응하여 에릭슨과 스미스 (Smith, 19)는 사회적으로 인정된 전문가의 행동에 대한 연구에서 벗어나, 특정 영역에서 재현 가능한 우수한 성능을 연구하는 방향으로 연구 방향을 바꿀 것을 제안했다.

In the 1980s the definition of expertise based on accumulated knowledge, extensive professional experience, and peer nominations was becoming increasingly criticized. Numerous empirical examples were reported where ‘‘experts’’ with extensive experience and extended education were unable to make better decisions than their less skilled peers or even sometimes than their secretaries.17 Early studies were unable to establish superior accuracy of the peer-nominated best general physicians, when compared to a group of undistinguished physicians.15,16 In addition, examinations of the cognitive mechanisms that mediated the actions of individuals exhibiting consistently superior performance revealed a complex structure that could not be accounted for by a mere accumulation of experience and knowledge.19 In response to these criticisms, Ericsson and Smith19 proposed the redirection of research from studying the behavior of socially recognized experts toward the study of reproducibly superior performance in a given domain. 

전문성의 획득에 대한 과학적 연구

THE SCIENTIFIC STUDY OF EXPERT PERFORMANCE AND ITS ACQUISITION

우수한 수행능력에 관한 과학을 수립하는 것은 재현 가능한 경험적 현상의 축적으로 시작됩니다 .20 표준화 된 실험 조건 하에서 우수한 성능을 재현하는 방법이 필요합니다.

Establishing a science of superior performance starts with the accumulation of a body of reproducible empirical phenomena.20 Methods for reproducing the superior performance under standardized and experimental conditions are thus needed.

전문가들은 매일 뛰어난 결정을 내리고 축구 선수는 결정적인 목표를 세우며 과학자들은 놀라운 발견을합니다. 그러나 어떤 행동이 독특한 상황이나 행운 때문인지, 아니면 안정된 우수한 능력으로 인한 것인지 여부를 알 수 없습니다. 그리스인들은 특히 누가 가장 강한 지 또는 가장 빠른 지와 같은 군인의 행동 측면을 결정하는 데 관심이 있었으며 창 던지기 또는 원반 던지기를 가장 길게 던질 수 있습니다. 그리스인들은 표준화 된 행사로 운동 대회를 개발했습니다. 예를 들어, 달리기 선수는 자연 지형에서 한 지점에서 다른 지점으로 달리는 대신 모든 주자와 구별 할 수없는 직선의 평평한 트랙을 만들었고 주자가 정확히 같은 시간에 출발하고 동일한 마무리 선을 통과하도록하는 고안된 방법을 사용했습니다. 최근에는 전통적인 엘리트 수상자를 객관적으로 평가할 수있는 음악, 댄스 및 체스에서 경쟁이 일어나고 있습니다. 이 모든 영역에서 어떤 개인은 성취도가 낮은 개인보다 안정적으로 뛰어난 성과를 보입니다. 일상적으로 유사한 작업을 수행하는 많은 전문가 그룹이 있습니다.

Every day, professionals make superior decisions;soccer players make the deciding goal, and scientists make amazing discoveries. However, it is impossible to know if a singular action was due to unique circumstances , luck, or a handle to stable superior ability such situations. The Greeks were particularly interested in determining aspects of soldiers’ performance, such as who is the strongest or the fastest and can throw a javelin or discus the longest. The Greeks developed athletic competitions with standardized events. For example, rather than having athletes run from one point to another in natural terrain, they built straight, flat tracks that were indistinguishable for all runners and devised methods to force runners to start at the exact same time and cross the same finishing line. More recently, there have emerged competitions in music, dance, and chess that have objective performance measures to identify the traditional elite winners. In all of these domains, individuals reliably outperform less accomplished individuals. There are many groups of professionals who, on a daily basis, perform similar tasks.

전문가, 음악가, 체스 마스터, 간호사 또는 의사는 새로운 작업 요구에 대응할 수 있어야합니다. 

• 전문 연주자는 상대적으로 제한된 준비로도 거의 언제든지 연주할 수 있어야 한다. 

• 엘리트 선수는 경기가 악천후로 인해 몇 시간 또는 하루라도 지연 되더라도 경쟁 할 준비가되어 있어야합니다. 

• 마찬가지로, 응급 의사 (EP)는 병원이나 고령자에게 고통받는 환자를 만날 수 있고 도움을 줄 수있을 것으로 기대됩니다.

An expert athlete, musician, chess master, nurse, or medical doctor is expected to be able respond to emerging task demands. 

• It is part of the definition of an expert performer that they are able to perform at virtually any time with relatively limited preparation. 

• Elite athletes must be ready to compete, even if the competition is delayed for a few hours, or even a day, because of bad weather. 

• Similarly, an emergency physician (EP) is expected to be able and ready to help when they encounter a distressed patient in the clinic or even in public.

에릭슨 (Ericsson)과 스미스 (Smith)는 주어진 영역에서 전문 지식의 본질을 포착하기 위해 자연 발생적 사건을 어떻게 사용할 수 있는지 제안했다. 예를 들어 주치의의 의사 결정 및 의사 결정 과정에서 시나리오를 촬영하여 실제 임상 상황을 재현 할 수 있습니다.

Ericsson and Smith19 proposed how naturally occurring events can be used to capture the essence of expertise in a given domain. For example, it would be possible to re-create an actual clinical situation by filming a scenario from the responsible doctor’s perspective and decision-making process.

환자에게 해가되지 않는 하나 또는 몇 가지 적절한 조치가 있는 시나리오를 골라서, 의사의 행동과 의사 결정 및 시간 제한적 상황에서 필수 요소를 평가하는 능력을 평가할 수 있습니다. 중요한 사건를 고르는 선구자적인 작업은 Groot21이 체스 영역에서 도입했습니다. 드 그 루트 (De Groot)는 체스 마스터들 사이의 게임에서 결정적 상황을 추출한 다음 체스 플레이어가 관련 위치를 순차적으로 제시하는 통제된 실험실 상황을 설정했습니다 (그림 1 참조).

By selecting scenarios where there is only one or a couple of appropriate actions that are not detrimental to the patient, it is possible to evaluate the doctor’s actions and decisions and their ability to assess the essential factors in the time-constrained situation. The pioneering work of selecting critical events was introduced by de Groot21 in the domain of chess. De Groot extracted critical situations in games between chess masters and then set up a controlled laboratory situation where chess players were sequentially presented with the associated positions (see Figure 1).

또 다른 예로, 타이핑에 대한 전문 기술이 어떤 자료에서도 일반화되어야하기 때문에 모든 타이피스트는 동일한 텍스트를 제공하여 가능한 한 빠르고 정확하게 입력해야합니다. 그림 1의 마지막 예는 악보를 읽는 기술을 보여 주며, 반주자는 음악을 제공 받고 미리 준비 할 기회없이 가수와 동행하도록 요청합니다. 음악 악보에서 가능한 한 많은 음을 정확하게 연주 할 수 있는지가 숙련된 반주자와 다른 피아니스트를 구별해주는 능력이다. 지난 수십 년 동안, 체스, 골프 및 스크래블 (Scrabble)의 토너먼트 성과와 같이 실제 상황에서의 수행능력과 높은 상관 관계를 갖는 능력을 한 시간 내에 평가할 수있는 표준화된 테스트 상황이 다수 개발되었습니다. 음악 경연 대회에서의 공연; 의료 진단 등등.

In another example, since expertise in typing should generalize to any material, all typists may be provided with the same text to type as fast and accurately as possible. The final example given in Figure 1 illustrates the skill of sight reading, where an accompanist is presented with a sheet of music and asked to accompany a singer without having a chance to prepare in advance. The ability of accurately playing as many notes as possible from the music score is what differentiates skilled accompanists from other pianists. Over the past few decades, standardized test situations, where performance can be assessed within an hour, have been developed that are highly correlated to real-world performance, such as tournament performance in chess, golf, and Scrabble; performance in music competitions; and medical diagnosis.23–25

이러한 발견은 어떤 영역에서의 전문성에는 근본적인 요인이 존재한다는 가설과 일치하며, 대부분의 과제는 난이도에 따라 연속적으로 구분될 수 있습니다 .26 전문 분야의 많은 분야에서 난이도에 따른 순위가 있습니다. 예를 들어, 다이브는 난이도 점수가 주어지며 음악은 숙달 전에 요구되는 학습 년수로 평가됩니다.

These findings are consistent with the hypothesis that there is an underlying factor of attained expertise in a domain, where the majority of the tasks can be ordered on a continuum of difficulty.26 In many domains of expertise, there is a rank ordering of difficulty for mastery of different tasks. For example, dives are given a difficulty score, and music pieces are rated in the number of years of study required before mastery.

요약하면, 주어진 영역에서 전문 기술의 핵심을 포착하는 대표 작업을 식별한다면, 이것을 가지고 수행능력을 객관적으로 측정하는데 사용할 수 있으며, 이것은 통제되고 표준화된 조건하에 모든 참가자에게 시행될 수 ​​있다.

In sum, a collection of representative tasks that capture the essence of expertise in a given domain may be identified and administered to all participants under controlled and standardized conditions to objectively measure performance.

한편으로는 많은 전문 분야에서 경험과 객관적인 성과 사이의 관계가 존재하지 않는다는 사실과 높은 수준의 성과를 달성하기 위해 수년간 혹은 수십 년 간의 풀 타임 참여의 필요성을 조정하기 위해, 제 동료와 나는 성과 개선에 필요한 도메인 관련 활동을 파악하고 이를 의도적인 실행 (DP)으로 분류했다.

To reconcile the virtual absence of a relation between amount of experience and objective performance in many professional domains on the one hand, and the necessity of many years or even decades of full-time engagement in training for reaching high levels of performance, my colleagues and I31 tried to identify those domain-related activities necessary for improving performance and classified them as deliberate practice (DP).

기술 습득에 대한 연구를 토대로, 우리는 연습이 성과 개선과 일정하게 관련되어있는 일련의 조건을 확인했습니다. 개인이 

• 1) 잘 정의 된 목표를 가진 과제를 부여 받았을 때, 

• 2) 개선 동기가 있을 때, 

• 3) 피드백이 제공될 때, 

• 4) 반복적인 성과 및 점진적 개선을위한 충분한 기회가 제공되었을 때 

...성과가 크게 개선되었습니다. 현재 수준을 넘어선 성과를 향상시키려는 의도적인 노력은 집중을 요구하며, 종종 문제 해결과 더 나은 업무 수행 방법을 필요로합니다.

Based on a review of research on skill acquisition, we31 identified a set of conditions where practice had been uniformly associated with improved performance. Significant improvements in performance were realized when individuals were 1) given a task with a well-defined goal, 2) motivated to improve, 3) provided with feedback, and 4) provided with ample opportunities for repetition and gradual refinements of their performance. Deliberate efforts to improve one’s performance beyond its current level demands full concentration and often requires problem-solving and better methods of performing the tasks.31

• 사람들이 새로운 직업, 스포츠 또는 게임과 같은 익숙하지 않은 활동을 하게 되면, 그들은 충분히 빨리 반응하지 못하거나 기능적 조치를 취할 수없는 상황에 자주 접하게되고 명백한 실패가 발생합니다. 

• 시간이 지남에 따라 그들은 연습, 문제 해결, 시행 착오 또는 감독자, 교사 또는 동료의 도움을 받아 적절한 대응을 파악할 수 있습니다. 

• 경험이 더 많아지면 그림 3의 하단에 나와있는 것처럼 (전문 기술 및 기술 습득의 전통적인 이론과 같이) 작고 적은 노력으로 신속하고 적절한 조치를 취할 수있게됩니다.

• When people are introduced to an unfamiliar domain of activity, such as a new job, sport, or game, they frequently encounter situations where they cannot react fast enough or where they are unable to produce functional actions, resulting in obvious failures. 

• Over time, they are able to figure out adequate responses by practice, problem-solving, and trial-and-error or with help from supervisors, teachers, or colleagues. 

• With further experience they become increasingly able to generate rapid adequate actions with less and less effort—consistent with the traditional theories of expertise and skill acquisition11,12 as is illustrated at the lower arm in Figure 3.

일부 제한된 훈련과 경험(레크리에이션 활동, 스키, 테니스, 자동차 운전과 같은 대부분 경우에는 50 시간 미만이 필요함)을 통해 개인의 성과는 일반적인 상황의 요구에 맞춰지고, 점점 더 자동화되고, 행동의 양상에 대한 의식적인 통제를 잃고, 더 이상 구체적인 의도적 인 조정을 할 수 없습니다. 예를 들어, 사람들은 신발 끈을 묶는 방법이나 의자에 서서 일어서는 방식이 automated 되어있다. 수행능력이 automate되어 손쉬운 실행 수준에 이르면, 추가적인 경험은 행동의 정확성을 향상시키지 않으며, 조정 메커니즘의 구조를 다듬지 않는다. 그 결과, 결과적으로 경험이 더 누적되더라도 더 높은 수준의 성과로 이어지지 않는다.

After some limited training and most experience—frequently less than 50 hours for and such as recreational activities, skiing, tennis, driving a car—an individual’s performance is adapted to the typical situational demands and is increasingly automated, and they lose conscious control over their aspects of behavior and are no longer able to make specific intentional adjustments. For example, people have automated how they tie their shoelaces or how they stand up from sitting in a chair. When performance has reached this level of automaticity and effortless execution, additional experience will not improve the accuracy of behavior nor refine the structure of the mediating mechanisms, and consequently, the amount of accumulated experience will not be related to higher levels of performance.

이와 대조적으로 aspiring한 전문가는 DP를 활용하여, 더 많은 경험을 바탕으로 성능을 지속적으로 향상시킵니다. 더 높은 수행능력을 목표로 하는 전문가의 핵심 과제는 자동 성과 관련된 arrested development 을 피하는 것입니다. 이 개인들은 의도적으로 새로운 목표와 높은 성과 기준을 적극적으로 설정함으로써 자동화 성향을 중화해야 한다. 그림 3의 상단 부분에 표시된 것처럼 속도, 정확성 및 행동 제어를 향상시켜야합니다. 현재의 안정적인 성과 수준을 초과하는 목표를 달성하기 위해서는 전문가는 의식적으로 훈련 상황을 구성하고 찾아내야 한다.