교육 근거를 진지하게 수용하면 어떤 일이 발생할 것인가? (Perspect Med Educ, 2014)

What would happen to education if we take education evidence seriously?

C. P. M. van der Vleuten • E. W. Driessen

"여전히 강의는 대부분의 의대에서 가장 지배적이며, 가장 많이 사용되는 수업방식이다. 우리는 흔히 '정보 전달(information delivery)'이 - 특히 전문가로부터의 정보전달이 - 좋은 학습결과(good learning)를 낳을 것이라고 가정하기 때문이다. 하지만 교육에 관한 근거를 모아보면, 이러한 생각이 얼마나 순진한지 알 수 있다."

학습(learning)은 '정보 전달'의 문제가 아니라 '정보 처리'의 문제이기 때문이다. 좋은 교육은 바로 이 '정보 처리'를 촉진할 수 있어야 한다. 물론 정보 전달은 학습의 일부이다. 그러나 말 그대로 '일부'이다."

"여태껏 의과대학에서는 '정보 처리' 과정의 대부분을 그저 학습자에게 맡겨두었고, 거기에 대한 서포트는 거의 하지 않았다." "우리는 '정보 전달'에 들어가는 시간과 자원을 더 줄이는 대신, 학습 과정(process of learning)을 서포트하기 위한 교육 전략에 더 많은 시간을 투자해야 한다."

"만약 우리가 교육에 근거를 사용하지 않는다면, 근거는 다락방에 둔 미술품에 지나지 않을 것이다"

도입

Introduction

21세기의 교육은 18세기의 교육과 크게 다르지 않다. 대부분의 교육은 선생님들이 학습자에게 정보를 전달하는 것에 크게 의존한다. 대조적으로, 20세기 의학의 실행은 18세기 의학과 상당히 다르다.

Education in the twenty-first century is not that different from education in the eighteenth century. Most education relies heavily on teachers transmitting information to learners. In sharp contrast, the practice of medicine in the twenty first century is quite different from medicine in the eighteenth century.

우리는 대부분의 의대나 다른 보건 과학 프로그램들이 여전히 가장 지배적인 형태의 수업방식으로서 강의에 크게 의존하고 있다고 주장할 것이다. 학습에 대한 우리의 공통된 개념에서 우리는 [정보 전달, 특히 전문가로부터 기인할 때 좋은 학습으로 이어진다고 가정]한다. 교육에 관한 모든 증거들이 우리가 가지고 있는 것처럼, 교육에 대한 이러한 견해는 다소 순진하다. 우리의 중심 주장은 학습은 정보 전달의 문제가 아니라 정보 처리의 문제라는 것이다. 좋은 교육은 이러한 정보 처리를 용이하게 하기 위한 전략을 제공한다. 당연히, 정보 전달은 학습의 일부일 뿐이지만, 매우 제한적인 부분이다. 우리는 (학습의) 많은 과정을 그저 학습자에게 맡긴다. 그리고 학습자에게 맡겨진 학습 과정의 그 부분에 대한 서포트는 정말 없다.

we would argue that most schools of medicine or other health sciences programmes in university still rely heavily on the lecture as the most dominant form of instruction. In our common conception of learning we assume that information delivery, particularly when stemming from an expert, leads to good learning. With all the evidence on education as we have it, this viewon education is rather naive. Our central argument is that learning is not so much a matter of information delivery, but of information processing. Good education provides strategies to facilitate this processing of information. Naturally, information delivery is part of learning, yet only a very limited part. A lot of the processing we simply leave to the learner. We do not really support that part of the learning process.

사람들은 또한 두 가지 건강관리 시스템의 효과에 대해 물어볼 수 있다; "건강관리 시스템은 또한 의미 있게 비교되기에는 너무 복잡하다"라고 말한다. 이렇게 큰 비교에 관한 자료를 모으는 것이 불가능하다고 말하는 것은 아니다. 당연히 PBL을 중심으로 데이터를 모았지만(그래서 합리적으로 PBL의 효과를 보여줌) [1], 이러한 비교에는 주요한 방법론적 문제가 있으며, 왜 PBL이 효과가 있는지에 대한 해답은 없다[3].

One might also ask about the effectiveness of two health care systems; health care systems are also too complex to be compared meaningfully. This is not to say that it is not possible to assemble data on such large comparisons. Naturally such data have been assembled around problem-based learning (reasonably showing its effectiveness) [1], but there are major methodological problems in these comparisons and it does not answer why problem-based learning works [3].

우리는 큰 단위의 교육 시스템의 (작은) 구성 요소들에 대한 증거가 필요하며, 어떤 것이 왜, 어떤 조건에서 작용하는지를 설명해야 한다[4]. 그러므로 교육에서의 증거는 교육 연구와 다른 관련 영역에서 기인하는 경험적 증거에서 나온 통찰력 그 이상이다. 경험적 증거에 근거한 이론도 포함하고 있다. 이론은 왜 어떤 것이 교육에 효과가 있는지 설명해준다.

We need evidence on the building blocks of the larger educational system, preferably also explaining why things work under which conditions [4]. Evidence in education is therefore more than insights from empirical evidence stemming from educational research and other related domains. It also includes theories that are based on empirical evidence. Theories provide explanations why things may work in education.

근거의 영역

Areas of evidence

설명하기

Elaboration

인지과학은 교육과 학습에 대한 엄청난 함의와 함께 심리학[6]에 혁명이 되어 왔다. 그것은 우리의 기억이 어떻게 작동하는지, 그리고 우리가 정보를 어떻게 장기 기억 속에 저장하고 회수하는지를 연구한다.

Cognitive science has been a revolution to psychology [6] with massive implications for education and learning. It studies how our memory works and how we store and retrieve information in long-term memory.

인지심리학은 학습자가 정보를 처리할 때 학습이 촉진된다는 것을 알려준다. 학습은 정보를 소비하는 것이 아니라 학습자가 정보를 적극적으로 처리하는 것이다. 정교화라는 용어는 이러한 현상을 설명하기 위해 사용된다 [7, 8].

Cognitive psychology tells us that learning is facilitated when the learner processes the information. Learning is not so much a matter of consuming information but of active processing of the information by the learner. The term elaboration is used to describe this phenomenon [7, 8].

정교한 작업은 여러 가지 방법으로 할 수 있다. 학습자가 정보를 사용할 수 있는 모든 활동은 유용하다. 정교화를 촉진하기 위한 무한한 전략이 있다. 예를 들어, 다른 사람과 토론하거나, 도식화하거나, 요약하거나, 자신의 말로 말하거나, 다른 상황이나 문제에 정보를 적용함으로써 정교화가 촉진된다. 학습자가 수동적으로 정보를 소비할 때 정교화가 방해된다. 순수하게 전통적인 강의 기반 시스템에서는, 대부분의 학습 컨텐츠에 대한 정교화 작업이 강의 수업강의실이 아닌 다른 곳에서 이루어질 것이다.

Elaboration can be done in many various ways. Any activity that allows learners to use the information is useful. There are infinite strategies to promote elaboration. For example, elaboration is facilitated by discussing with others, by schematizing, by summarizing, by verbalizing it in one’s own words, or by applying the information to another situation or problem. Elaboration is hindered when the learner passively consumes the information. In purely traditional lecture- based systems, most elaboration on learning content will not take place in the lecture theatre but elsewhere.

아마도, 가장 많은 정교화는 학습자가 과정을 마칠 때 시험을 준비해야 할 때 일어날 것이다. 학습자가 직접 상세히 설명할 것이다.

In all probability, most elaboration will occur when the learner needs to prepare for the exam at the end of the course. The learner will elaborate by him or herself.

결론적으로, 정보를 가지고 일하는 것working with은 정보를 이해하고 배우기 위해 매우 중요하다.

In conclusion, working with information is very important for understanding and learning the information.

협동학습

Cooperative learning

타인과 협력하여 배우는 것이 혼자 배우는 것보다 훨씬 더 효과적이라는 것을 보여주는 풍부한 증거가 있다[9]. 우리는 또한 다른 사람들과 함께 배우는 것이 가장 생산적인 조건도 알고 있다. 이러한 조건에는 

• 참여의 평등, 

• 개인의 책임을 지는 구성원, 

• 상호 긍정적 상호의존성이 요구되는 과제, 그리고 

• 협력적 학습을 촉진하는 동시에 이루어지는 상호작용이 포함된다[9].

There is a wealth of evidence showing that learning in cooperation with others is much more effective than learning alone [9]. We also know the conditions under which learning with others is most productive. These conditions include 

• equality in participation, 

• members carrying individual responsibility, 

• tasks that require mutual positive interdependence, and 

• finally simultaneous interactions promoting cooperative learning [9].

대부분의 전통적인 교육 제도에서, 우리는 개인 학습자에게 매우 의존한다. 어떤 형태로든 협력적 학습을 사용하지 않음으로써, 우리는 교육을 실제처럼 효과적으로 만들지 못하고 있다. 게다가, 전문직업적 삶에서는 사실상 모든 일이 팀 기반이다. 그러므로 다른 사람들과 협력하는 것은 더 효과적인 교육으로 이어질 뿐만 아니라, 바람직한 학습 성과, 즉 다른 사람들과 함께 일하는 능력을 나타낼 수도 있다.

In most traditional educational systems, we highly rely on the individual learner. By not using cooperative learning in some form, we are not making education as effective as it could actually be. Moreover, in later professional life virtually all work is team-based. Working in cooperation with others will therefore not only lead to more effective education, it may also represent a desirable learning outcome: the ability to work with others.

피드백

Feedback

거의 상투적인 것처럼 보이지만, 피드백은 효과가 있다[10]. 학습에 피드백보다 더 강력한 것은 거의 없다.

It almost seems like a platitude, but feedback works [10]. There is hardly anything that is more powerful to learning than feedback.

피드백 출처의 신뢰성, 관심의 초점(사람 지향적이기 보다는 관심의 초점), 그리고 환경에서의 피드백 문화. 또 다른 매우 효과적인 전략은 [피드백에 대한 후속 조치가 f/u되고, 도움과 지원이 제공되는 대화]를 중심으로 피드백 대화를 만드는 것이다 [13].

the credibility of the source, the focus of attention (task oriented rather than person oriented), and the feedback culture in the environment. Another very effective strategy is to create a dialogue around feedback, a dialogue in which follow-up on the feedback is promoted and where help and support is being provided [13].

학습에 대한 피드백의 효과성은 상투적으로 보일 수 있지만, 우리는 그것을 교육실무에서 극적으로 저용하고 있다. 많은 교육 관행은 피드백을 다소 환원주의적 방식으로 취급한다. 대부분의 전통적인 시스템에서 학생들이 받는 피드백은 종종 평가의 결과, 종종 성적의 형태로 제한된다. 성적은 어떻게 보면 피드백의 가장 빈약한 형태다[10]. 학습에 대한 서술적 피드백의 중요성에 대한 설득력 있는 증거가 있지만, 동일한 연구는 그것이 의학 교육에서 덜 사용되고 있다는 것을 보여준다[14]. 더욱이, 직장에서의 학습 피드백은 종종 암묵적으로 남거나 아예 주어지지 않는다[15].

The effectiveness of feedback for learning may seem a platitude, but we underuse it dramatically in educational practice. A lot of educational practices treat feedback in a rather reductionist way. In most traditional systems the feedback that students receive is often restricted to the outcomes of assessments, often in the formof grades. Grades are in a way the poorest formof feedback one can get [10]. Although there is convincing evidence for the importance of narrative feedback for learning, the same research tells us that it is underused in medical education [14]. Furthermore, in workplace learning feedback is often left implicit or not given at all [15].

멘토링

Mentoring

우리는 이미 앞 단락에서 학습 정보를 다른 사람과 공유하는 가치에 대해 암시했다. 멘토링을 둘러싼 연구는 정말 긍정적이다. 피드백 사용 증가, 전문성 개발 개선, 경력 준비 및 성공(더 높은 (임상) 생산, 더 높은 직위 포함), 그리고 예를 들어 번아웃을 통한 생산 손실 방지[17]와 관련이 있다. 스포츠나 음악과 같은 다른 많은 영역[18]에서는 학습자와 지속적인 개인적 관계가 존재하며, 이는 종종 의학교육 훈련 프로그램에 결여되어 있다.

We already hinted in the previous paragraph at the value of sharing learning information with someone else. The research around mentoring is really very positive. It is associated with increased use of feedback, improved professional development, career preparation and success (including higher (clinical) production, higher positions) and prevention of production loss such as for example through burnout [17]. In many other domains, such as sports or music [18], enduring personal relationships exist with learners, which are often lacking in our educational training programmes.

멘토들은 학습자의 자율성을 지원해야 한다. 예를 들어, 학생들의 관점을 듣고 인정하며 학생들이 무엇을 원하는지 탐색해야 한다[20]. 따라서 멘토의 임무는 주로 코칭이며, 답을 주기보다는 질문을 하는 것이다. 우리는 학습에 감정이 개입될 때 멘토링 프로그램을 가장 잘 계획할 수 있다. Transition은 전형적으로 감정과 스트레스의 순간일 뿐만 아니라 직장 같은 내재된 감정이 풍부한 학습 환경이다[23]. 아니면 우리가 가장 필요로 하는 사람들을 위해 그것을 사용할 수도 있다.

Mentors should support learners autonomy, e.g. listening to and acknowledging student’s perspectives, enquiring what students want [20]. The task of the mentor is thus primarily coaching, and to ask questions rather than give answers. We could schedule mentoring programmes best when emotions come into play in learning. Transitions are typically moments of emotions and stress [21, 22], as well as inherent emotion-laden learning environments such as workplaces [23]. Or we could use it for those who need it most.

그래서 멘토링의 장점이 널리 인정받고 있음에도 불구하고, 멘토링은 의학 교육에서 크게 활용되지 않고 있다: 의대생과 전고의의 50% 미만이 멘토를 가지고 있다. 더욱 놀라운 것은 잘 표현되지 않은 소수민족 거주자들과 여성들이 그들의 동료들보다 멘토를 가질 가능성이 적다는 것이다 [24].

So even though the benefits of mentoring are widely acknowledged, mentoring is largely underused in medical education: less than 50 % of medical students and residents have a mentor. What is even more striking is that underrepresented minority residents and females are less likely to have a mentor than their peers [24].

멘토링의 활용 부족은 몇 가지 요인 때문일 수 있다[17, 25, 26]. 

• 첫 번째 요인은 교사에 대한 수업 시간과 인센티브의 부족이다[25, 26]. 

• 두 번째 요인은 짧은 로테이션에 대한 임상 훈련의 구조화인데, 이것은 학생과 교사 사이의 더 많은 종적 관계를 방해한다. 

• 멘토링의 낮은 활용 대한 세 번째 설명은 공식적인 멘토링 프로그램의 부족과 때때로 멘토를 찾는 것이 나약함의 표시로 보여지는 문화, 그리고 학생이나 거주자가 스스로 멘토를 찾을 수 없다는 것이다.

The underuse of mentoring could be due to several factors [17, 25, 26]. A first factor is the lack of teaching time and incentives for teachers [25, 26]. A second factor is the structuring of clinical training in short rotations, which hampers more longitudinal relationships between students and teachers. A third explanation for the underuse of mentoring is a lack of formal mentoring programmes, in combination with a culture in which looking for a mentor is sometimes seen as a sign of weakness, and the inability of students or residents to find mentors by themselves.

어떤 상황에서 멘토링이 효과적인가? 성공적인 멘토링 관계는 상호주의, 개인적 연결, 상호 존중, 공유된 가치와 분명한 기대감으로 특징지어진다. 멘토링은 멘토가 멘티를 착취하거나, 멘토가 학생이 해야 할 선택에 대해 선입견을 가지고 있을 때 기능하지 않는다[27]. 멘토는 멘티들이 무엇을 선택해야 할지 조언하고 문제에 대한 해결책을 제시하는 대신, (멘토는) 질문을 하고 멘티들이 자신의 선택에 대해 성찰할 수 있도록 도와야 한다. 멘토는 성찰에 의문을 제기하고 격려함으로써 멘티가 스스로 결정을 내리고 자신만의 해결책에 도달할 수 있도록 한다.

Under which circumstances is mentoring effective? Successful mentoring relationships are marked by reciprocity, personal connection, mutual respect, shared values and clear expectations. Mentoring is dysfunctional when the mentor takes advantage of the mentee or when the mentor has preconceived ideas about the choices students should make [27]. A mentor should ask questions and help mentees reflect on their choices, instead of advising them what to choose and offering solutions to their problems. By questioning and encouraging reflection the mentor enables the mentee to make their own decisions and arrive at their own solutions.

멘토링을 효과적으로 하기 위해서는 멘티가 적극적으로 나서 멘토에게 자신의 (학습) 필요와 기대를 알려 멘토링의 소유권을 가져가야 한다[29]. 이를 위해서는 멘티가 자유롭게 자신의 멘토와 자신의 발전을 자유롭게 토론할 수 있는 분위기[30]가 필수적이다.

In order to make mentoring effective, a mentee should be active and take ownership of the mentoring by informing the mentor about their (learning) needs and expectations [29]. To do this, a safe environment is essential, an atmosphere in which the mentees feel free to discuss in an open manner their development with their mentor [30].

참여

Engagement

참여는 활력, 헌신, 흡수력이 특징으로 하며, employee의 만족도가 가장 높은 상태를 말한다[33]. Engagement는 어떻게 보면 소진과는 정반대의 상태를 말한다.

Engagement is a state of highest satisfaction in employees that is characterized by vitality, dedication and absorption [33]. Engagement is, in a way, the opposite to burnout.

참여는 자율성, 자기 통제, 사회적 지원과 코칭, 끊임없는 변화, 다양성, 팀워크, 흥미로운 도전 등을 통해 연관되고 촉진된다. 외부통제, 규정된 업무, 지루함, 개성 등과 정반대다. Work Engagement Theory는 우리가 이미 언급한 자기 결정과 본질적 또는 외적 동기 부여[36]를 둘러싼 작업과 강하게 공명하며 교육에도 강한 영향을 미친다[20].

Engagement is associated and promoted through autonomy, self-control, social support and coaching, constant change, diversity, teamwork, interesting challenges, etc. It is the opposite from external control, prescribed tasks, boredom, individuality, etc. Work engagement theory resonates strongly with the work around self-determination and intrinsic or extrinsic motivation [36] that we have already mentioned and also has strong repercussions for education [20].

우리의 교육 관행은 외부 통제, 지루한 과제(수시간 교사의 말을 듣는 것), 지루하고 불안한 시험, 제한적인(조직화된) 사회적 지원, 모든 (불량) 학습을 지배하는 완전한 종합 시험 시스템 등으로 가득 차 있다. 우리는 학습자들이 매우 외부적으로 동기부여가 되어있다는 것이나 학습자로서의 역할에 관여하지 않는다는 사실에 놀라서는 안 된다. 교사 중심 프로그램은 열악한 학습 환경과 더 우울한 시스템 및 소모량과 관련이 있다[37]. 직장 내 학습자도 마찬가지다[38]. 직장 등 매우 잠재적으로 challenging한 교육 환경에서도, 그저 반복적인 학습 과제를 수행하는 비활성 학습자는 disengage된다.

Our education practices are full of external control, boring tasks (listening to teachers for hours), dull and anxious exams, limited (organized) social support, complete summative exam systems dominating all (poor) learning, etc. We should not be surprised that our learners are so externally motivated or are not engaged in their role as a learner. Teacher-centred programmes are associated with a poorer learning climate and more depressive systems and burnout [37]. The same is true for learners in the workplace [38]. Even in very potentially challenging education environments such as workplaces, inactive learners doing very repetitive learning tasks become disengaged.

학습자는 소속감을 경험하는 의료팀의 일원으로서 실제로 (감독된) 책임감을 가지고 작업에 참여할 때 [39] 가장 잘 배운다[40]. 우리의 교육은 의무와 최소한의 기준을 이행하는 것이 아니라 참여와 우수성에 맞춰져야 한다. 학습자에게 도전적인 과제를 제공해야 한다. 예를 들어, 종이 환자 문제가 문제 기반 학습 환경에서 실제 환자 접촉으로 대체되었을 때, 학생들의 동기는 엄청나게 증가되었다[41]. 학습자들은 더 많은 신뢰와 책임감과 자율성을 받아야 한다. 요컨대, 근로자들이 작업 환경에 어떻게 관여하게 되는가는 학습자들이 어떻게 학습 환경에 관여하게 되는가와 매우 유사하다.

Learners learn best when they actually participate in the work with their own (supervised) responsibility [39], as part of the health care team where they experience a sense of belonging [40]. Our education should be geared to engagement and excellence, not to fulfilling obligations and minimum standards. It should provide learners challenging tasks. For example, when paper patient problems were replaced by real patient encounters in a problem-based learning setting, the motivation of students was tremendously boosted [41]. Our learners should receive more trust, responsibility and autonomy. In sum, how workers become engaged in a work environment is very similar to how learners become engaged in a learning environment.

사회적 맥락에서 배우기

Learning in a social context

최근 몇 년 동안 의미 있는 사회적 관계와 실천의 맥락에서 배우는 것은 매우 중요한 것으로 간주된다[42]. Situated Learning은 사회문화적 학습 이론 중 하나이며 [견습]이라는 고전적 개념을 [관찰과 모방에 의한 학습]에서 [전문가 커뮤니티에서 능동적인 참여 학습]으로 확장한다[43].

In recent years learning from the context of meaningful social relationships and practices is considered to be very important [42]. Situated learning is one of the social cultural learning theories and extends the classic notion of apprenticeship as learning by observation and imitation through to active participation learning in a community of professionals [43].

의료 훈련 프로그램의 임상 단계는 전형적으로 견습-학습 모델을 따른다. 학생들은 정해진 과별 로테이션을 한다. 로테이션에서 transition이 많은 것은 학습에 해로운 것으로 보인다 [21]. Attachment의 수와 기간은 종종 관성적으로 결정되며, 또한 종종 개별 분야의 상태에 대한 치열한 논쟁의 결과이기도 하다.

The clinical phase of medical training programmes typically follows the classic through of apprenticeship-learning model. Students rotate a set disciplinary rotations. Creating many transitions in workplace rotations seems to be harmful to learning [21]. The number of disciplines and the time of duration of the attachments is often historically determined and also often a result of fierce debates on the status of individual disciplines.

사회 학습 이론은 임상 로테이션에 대한 새로운 접근법에 영감을 주었다.

Social learning theories have inspired newer approaches to clinical rotations.

한 가지 예는 학습자가 더 오랜 기간 동안 임상 환경에 몰입하는 LIC의 촉진이다[44–46]. 이러한 임상실습에서는 짧은 전통 버전보다 더 많은 연속성과 책임감이 있다.

One example is the recent promotion of longitudinally integrated clerkships where a learner is immersed in a clinical environment for a longer period of time [44–46]. There is more continuity and responsibility in these clerkships than in the shorter traditional versions of them.

사회문화학습 이론이 영향을 미치는 또 다른 예는 최근 업무 기반 평가에 대한 관심이다[48]. 그 목적은 직장에서 관련된 전문가[49]로부터 학습자에게 보다 의미 있는 피드백을 제공함으로써 학습을 지도하기 위한 지속적 관계에서 존경 받는 감독자와의 대화를 통해 자기주도적 학습을 유도하는 것이다[13].

Another example of where sociocultural learning theory is influential is the recent attention to work- based assessment [48]. The intent is to provide more meaningful feedback to the learners from the professionals involved in the workplace [49], to drive self- directed learning through the use of reflection and dialogues with respected supervisors in enduring relationships to guide learning [13].

이론에서 실천으로: 덜 함으로써 더 하기

From theory to practice: do more with less

포괄적이 되려는 시도조차 실제로 포괄적이지 않고 빠르게 시대에 뒤떨어진다. 이것은 교육 연구가 어떻게 진화하고 있는지를 보여준다. 증거의 대표성보다 더 중요한 것은 증거와 교육 관행의 괴리다. 만약 우리가 이 6개 정도의 임의적인 증거 영역만을 진지하게 받아들인다면, 우리는 기존의 관행을 근본적으로 바꿀 수 있을 것이다!

Even attempts to be comprehensive [50] are not really comprehensive and become quickly outdated. This shows how research in education is evolving. More important than the representativeness of the evidence is the gap between the evidence and educational practice. If we would only take these six more or less arbitrary areas of evidence seriously, we could radically change existing practices!

우리는 독자의 생각을 쉽게 짐작할 수 있다. 이것들은 값비싼 제안들이야! 이 모든 것의 비용은 얼마인가? 경제적 어려움의 시기에 누가 그것을 감당할 수 있을까? 우리의 주장은 우리가 자원을 잘못 쓴다는 것이다. 대부분의 커리큘럼에서 우리는 대부분의 시간과 노력을 실제로 정보 전달에 소비한다. 대부분의 전통적인 프로그램(아마도 여전히 세계 대부분의 프로그램)에서는 정보 전송이나 전달에 20시간에서 30시간을 쉽게 소비한다. 위에서 분명히 알 수 있듯이, 정보 전달은 좋은 학습에서 아주 작은 부분만을 차지한다.

We can easily guess the thoughts of the reader. These are expensive suggestions! What is the cost of all this? Who can afford that in times of economic hardship? Our argument would be that we spend our resources incorrectly. In most of our curricula we spend most time and effort actually on information delivery. In the most conventional programmes—probably still the vast majority of programmes in the world—20 to 30 h is easily spent on information transfer or delivery. As is clear from the above, good learning is considerably more than information delivery.

위의 학습 증거를 따른다면, 우리는 자원의 상당 부분을 전달에 소비하는 것을 중단해야 한다. 우리는 컴퓨터에 모든 정보 전달을 캡처하여 웹을 통해 배포하는 것을 제안할 것이다. MOOCs(Modern Online Open Course)와 온라인 콘텐츠를 갖춘 온라인 아카데미와 같은 이니셔티브가 세계를 정복하고 있다[51]. 일부는 심지어 학계의 파괴를 두려워한다[52]. 호주의 해부학과 교수가 캐나다의 해부학과 교수와 같은 정보를 다루는 것은 어느 정도 부끄러운 일이다. 정보를 포착해 매력적인 영상 자료를 부록이나 서면 자료의 대체물로 만드는 것이 어떨까?

With the above evidence on learning we should stop spending substantial parts of our resources on delivery. We would propose to capture all information delivery on the computer and distribute that through the web. Initiatives such as Modern Online Open Courses (MOOCs) and online academies with online content are conquering the world [51]. Some even fear the destruction of academia [52]. To some extent it is a shame that a professor in for example anatomy in Australia covers the same information as the anatomy professor in Canada. Why don’t we capture the information and construct attractive video material as an addendum or replacement to written materials?

일단 정보 전달이 가능하게 되면, 아마도 공개적으로라도, 우리는 학습 과정을 지원하기 위해 모든 노력을 기울일 수 있다. 프로그램의 질은 최고의 교사들로부터 최고의 정보를 어떻게 제공하는가에 달려 있는 것이 아니라, 교사로서 우리가 학습 과정을 최대한 용이하게 할 수 있는 방법에 달려 있다. 그리고 나서 우리는 작은 규모의 상황에서 그리고 학습자들과 긴밀한 상호작용으로 내용을 토론할 시간을 갖는다. 우리는 학습자 성과에 대해 적절한 피드백을 줄 수 있을 것이며, 프로그램을 진행하는 동안 그들을 지도하고 조언하는 시간을 가질 것이다. 학습자는 engage하게 된다. 재미는 학습자와 교사 모두에게 필수적인 요소가 될 것이다. 탁월함도 그렇다.

Once the information delivery is available, perhaps even publically, we can put all our efforts into supporting the learning process. The quality of programmes will not depend on howto give the best information fromthe best teachers, but on the way we as teachers are able to scaffold the learning process that maximally facilitates that learning. Then we have time to discuss content in small-scale situations and in close interaction with our learners. We will be able to give appropriate feedback on learner performance, and we will have time to guide and mentor them throughout a programme. Learners will become engaged. Fun will be an essential element for both learners and teachers. So is excellence.

고찰

Discussion

코스 내용을 배포하고 학생 중심의 학습에 집중한다는 발상은 새로운 것이 아니다. 프로버와 히스는 이 접근법을 '극장 없는 강당'이라고 불렀다[53]. 보다 일반적인 용어는 '거꾸로 교실'[54]이며, 우리는 보건 교육 프로그램에서 이러한 아이디어를 구현하기 위한 보고서와 첫 번째 시도를 기록한다[55]. 이것들은 위대한 이니셔티브들이다. 우리는 학습자의 학습 과정을 지원하는 교육 전략에 초점을 맞출 필요가 있다. [연구에 근거한 전략]과 [어떤 것이 어떤 상황에서 교육에서 효과가 있는지 설명하는 이론]에 초점을 둬야 한다.

The idea of distributing course content and focussing on student-centred learning is not new. Prober and Heath have called the approach ‘lecture halls without theatres’ [53]. A more common term is ‘flipped classroom’ [54] and we note reports and first attempts on implementing these ideas in health education programmes [55]. These are great initiatives. We need to focus on education strategies that support the learning process of the learner. Strategies that are based on research information and theories that explain why things work in education under which circumstances.

그렇게 함으로써 우리는 커리큘럼 X와 Y를 비교하는 것을 잊어야 한다. 대신에 우리는 교육과학의 증거와 이론을 숙지해야 하며, 아마도 참여해서 학술적인 작업에 기여해야 할 것이다. 그렇다면 이론부터 교육실무로 이어지는 [최적화된 translation을 만드는 교육전략]을 창의적으로 설계하는 데 참여해야 한다.

In doing so we should forget about comparing curriculum X versus Y to see which is superior. Instead we should acquaint ourselves with evidence and theory from the educational sciences, perhaps even participate and contribute to the scholarly work. Then we should engage ourselves in creatively designing educational strategies that make optimized translations from theory to education practice.

교육에 대한 이러한 접근방식에서 필수적인 것은 연구 정보에 입각한 [56] 교육 전략의 창의적 설계와 우리가 그것들을 실행하는 방법이다. Implementation은 종종 커리큘럼의 궁극적인 품질을 결정하지만, 동시에 종종 무시된다. [57]실행 실패 때문에 제대로 작동하지 않는 문제 기반 학습 커리큘럼의 구현을 보았다[58]. 변화에 대한 교수진의 참여가 성공의 열쇠다. 교육과학에 대한 연구는 [(부분적으로는 무의식적인) 학습에 대한 교사의 인식과 학습에 대한 신념 체계]가 교육실무에서 행동하는 방식을 결정한다는 것을 보여준다[59]. 이는 계획된 행동[60]에서 심리학의 광범위한 이론에서 비롯되며, planned behavior에 관한 이론은 건강 관련 행동을 변화시키는데 종종 사용된다[61]. 행동을 바꾸는 것은 어떤 전문 분야에서도 도전적인 일이다. 의사들이 최근의 증거를 사용하도록 설득하기 위한 시도가 이루어지고 있는 지속적인 전문가 개발에 대한 연구에 따르면, 전문가들로 하여금 어떻게 해야 할지를 설명하도록 하는 가장 일반적인 접근법은 가장 효과적이지 않다[62]. 의사의 요구에 밀접하게 부합하는 다중모드 접근법이 가장 잘 작동하는 것 같다[63].

Essential in this approach to education is the research-informed [56] creative design of instructional strategies and the way we implement them. Implementation often determines the ultimate quality of curricula and is often neglected. [57]We have seen implementations of problem-based learning curricula that did not work properly, simply because the implementation failed [58]. Buy-in from faculty about change is key to any success. Research in the educational sciences tells us that teachers’ perceptions on learning and their belief system on learning, partly being unconscious, determines the way they act in education practice [59]. This stems from a wider theory in psychology in planned behaviour [60], often used for changing health-related behaviours [61]. Changing behaviours is a challenging task in any professional field. In the research on Continuous Professional Development, where attempts are being made to convince doctors to use recent evidence, the most common approach of having experts explain what to do is least effective [62]. A multimodal approach closely aligned to the needs of the doctor seems to work best [63].

그러므로 학생 학습자에 대한 학습 증거가 선생님들에게도 똑같이 적용된다. 단순히 교수들에게 변화하라고 말하는 것만이 재앙을 낳는 가장 좋은 방법이 될 것이다. 우리는 그들을 참여시키고, 그들이 다른 방식으로 일하는 것을 경험할 수 있도록 해야 할 것이다. 변화를 이끄는 리더나 매니저가 있어서, 신뢰받고, 코칭하고, 도움을 줘야 할 것이다. 이것을 잘 한다면 교사들도 참여하게 될 것이고 이것은 변화 과정에 기름을 부을 것이다. 학습에 관한 증거를 참작하면서 교수개발 및 변화 관리 전략의 설계에 [변화 이론[57]]을 translate하기 위해서는 동일한 창의성이 필요하다.

We would therefore argue that the learning evidence on student learners equally applies to our teachers. Simply by telling them to change will be the best recipe for disaster. We will need to involve them, allow them to experience working in different ways, having a change leader or manager who is entrusted, who coaches, who helps. By doing this well, teachers will also become engaged and this will fuel the change process. We need the same creativity to translate the theory of change [57] to designs of faculty development and change management strategies, while taking the evidence on learning into account.

우리는 교육에서 증거의 사용에 대한 관점을 스케치했기를 바란다. 우리는 정보 전달에 더 적은 시간과 자원을 소비해야 한다, 그러나 학습 과정을 더 잘 지원하는 교육 전략에 더 많은 시간을 투자해야 한다. 우리는 전체 커리큘럼의 맹목적인 비교를 하는 것에 신중해야 한다. 왜 교육전략이 작동하는지, 어떤 조건에서 어떤 조건에서 교육전략이 작동하는지 설명하는 교육증거를 찾거나 기여해야 한다.

We hope to have sketched a perspective on the use of evidence in education. We should spend less time and resources on information delivery, but rather on educational strategies that better support the process of learning. We should be cautious doing rather blind comparisons of full curricula. We should seek or contribute to education evidence that explains why educational strategies work and under which conditions.

우리는 [단순히 전통과 직관에 근거하여 계속할 것인지], 아니면 [우리의 미래 교육 관행을 형성하기 위해 증거를 사용할 것인지]를 결정해야 한다. 만약 우리가 교육에 증거를 사용하지 않는다면, 그 증거는 다락방의 미술에 지나지 않는다.

We have a choice to simply continue based on tradition and intuition, or we could use the evidence to shape our future educational practices. Alternatively, if we do not use evidence in education, than the evidence is no more than fine art in the attic.

필수사항

Essentials

• 교육 관행 및 교육 연구가 잘못 조정됨

• Educational practice and educational research are misaligned.

• 효과적이지 않은 instruction에 너무 많은 노력을 기울인다.

• Too much effort is given to instruction which is not effective.

• 학습자에 대한 정보 전달은 웹으로 배포되어야 한다.

• Information delivery to learners should be web-distributed.

• 연구 증거는 학습을 지원하는 보다 효과적인 접근법에 대한 영감을 제공한다.

• Research evidence provides inspiration for more effective approaches supporting learning.

• 연구 증거는 교육 전략이 작동하는 이유를 설명하는 방향을 추구해야 한다.

• Research evidence should be directed on explaining why an education strategy works.

프로그램평가 데이터를 질적연구에 활용하기 (J Grad Med Educ, 2016)

Using Data From Program Evaluations for Qualitative Research

Dorene F. Balmer, PhD Jennifer A. Rama, MD, MEd Maria Athina (Tina) Martimianakis, PhD Terese Stenfors-Hayes, PhD

도전

The Challenge

질적 연구자들에게 제기되는 일반적인 질문은 ''우리 프로그램의 평가에서 수집한 자유 텍스트 항목으로 질적 연구를 할 수 있는가? 거기에는 좋은 피드백이 있다!'라고 말했다. 하지만, 과정 종료 또는 로테이션 종료 평가에 자유 텍스트 항목으로서 풍부하고 건설적인 데이터가 있을 수 있지만, 그 텍스트를 연구를 위한 데이터로 사용하는 것은 프로그램 평가 목적으로 수집될 때 문제를 일으킬 수 있다.

A common question posed to qualitative researchers is, ‘‘Can I do qualitative research with the free-text entries from our program’s evaluations? There’s good feedback in there!’’ While there may be rich, constructive data as free-text entries on end-of-course or end-of-rotation evaluations, using that text as data for research can present problems when it is collected for program evaluation purposes.

알려진 내용(또는 토론된 내용)

What Is Known (or Debated)

연구와 프로그램 평가 모두 철저하고 체계적인 질의지만, 다음과 같은 오랜 논쟁이 있다. 연구와 프로그램 평가는 이론적으로 구별되는가, 실질적으로 구별되는가, 아니면 같은 것인가? 이 둘의 구분은, (만약 이 둘의 구분이 존재한다면) 프로그램 평가를 위한 설문조사에 대한 주관식 서술 항목과 같이 질적인 데이터를 이용가능한 상황에서 이 둘의 구별은 덜 명확해진다. 교육 프로그램은 일반적으로 동적 구성요소로 구성되며 복잡하고 예측 불가능한 맥락에서 펼쳐지기 때문에, 프로그램 평가는 프로그램 목표가 명확해지거나 개입이 새로운 학습에 길을 내줄 때 시간이 지남에 따라 적응해야 할 수 있다.2,3

Although research and program evaluation are both thorough, systematic inquiries, there is a long-standing debate: Are research and program evaluation theoretically distinct, practically distinct, or one-and-the-same?1 The distinction, if it exists, becomes less clear when available data are qualitative in nature, as when the data are free-text entries on surveys intended for program evaluation. Because educational programs typically consist of dynamic components and unfold in complex, unpredictable contexts, program evaluation may have to adapt over time as program goals are clarified or as interventions give way to new learning.2,3

그러나 연구와 프로그램 평가 사이에는 핵심적인 차이가 있다. 이 글에서 우리는 이러한 질의는 

(1) 이 둘이 다루는 문제, 

(2) 의도된 범위, 

(3) 일반적으로 Work의 질을 판단하기 위해 사용하는 표준(특히 데이터)

However, there are key differences between research and program evaluation. In this article, we propose that these inquiries are distinct in (1) the issues they address; (2) their intended scope; and (3) the standards they use to judge the quality of the work in general, and the data in particular.

이슈와 스콥

Issues and Scope

질적 연구는 대개 이론적인 문제를 다루며 "왜 이런 일이 생기는가?"와 같은 질문을 던진다.

Qualitative research usually addresses theoretical issues, asking questions such as, ‘‘Why is this happening?’’

반대로, 프로그램 평가는 대개 실제적인 문제를 다루고 "실제로 무슨 일이 일어나고 있는가?" 또는 "무슨 일이 일어나야 하는가?"와 같은 질문을 던진다. 이러한 질문에 대한 답은 [(연구 결과를) 다른 맥락으로 transfer할 수 있다는 엄격한 주장보다는], 프로그램 개선전략이나 프로그램의 가치에 대한 판단을 로컬하게 알리는 것을 목표로 한다.

Conversely, program evaluation usually addresses practical issues and asks questions such as, ‘‘What is actually happening’’ or ‘‘What should be happening?’’ Answers to these questions aim to inform strategies for program improvement or judgments about the worth of a program locally, without stringent claims for transferability to other contexts.

질적 연구에서도 때때로 "무슨 일이 일어나야 하는가?"라고 질문할 수 있고 프로그램 평가에서도 "왜 이런 일이 일어나는가?"를 다룰 수 있다. 그러나, 일반적인 문제들과 프로젝트의 범위는 다르다.

Qualitative research may occasionally ask, ‘‘What should be happening?’’ and program evaluation may address, ‘‘Why is this happening?’’ However, the general issues addressed and the project’s scope are different (TABLE).

품질판단기준

Standards for Judging Quality

정성적 연구의 방법론적 엄격성에 대한 표준은 다음을 포함한다. 

• 신뢰할 수 있는 데이터(내부 타당성을 위한 프록시), 

• 양도 가능한 데이터(외부 타당성을 위한 프록시), 

• 신뢰할 수 있는 데이터(신뢰성을 위한 프록시), 

• 확인 가능한 데이터(객관성을 위한 프록시)가 있는가?5

Standards for methodological rigor in qualitative research include the following: Are the data 

• credible (a proxy for internal validity), 

• transferable (a proxy for external validity), 

• dependable (a proxy for reliability), and 

• confirmable (a proxy for objectivity)?5

프로그램 평가(의 질 판단)를 위한 표준은 실제 관심사에 대한 방법론적 초점이 다르다. 데이터가 의사결정에 유용한가?, 데이터를 수집할 수 있는가?, 이해관계자 관점을 정확히 대표하고 있는가?6

Standards for program evaluation have a different methodological focus on practical concerns: Are the data useful for informing decisions, feasible to collect, and accurate representations of stakeholder perspectives?6

연구에서 차이가 중요한 이유

Why Differences Matter in Scholarship

의학 교육자들은 프로그램 평가를 위해 수집된 자유 텍스트 질문에 대한 응답을 후향적으로 질적 연구 기준에 맞추려고 애쓸 수 있다. 이것은 보통 학술지에 논문을 출판하고자 하는 욕구와 함께 일어날 수 있다.

Medical educators may try, inadvisably, to retrospectively fit responses to free-text questions collected for program evaluation into rigorous standards for qualitative research. This may occur with the desire to disseminate their work in academic journals.

예를 들어, 로테이션 평가에 대한 자유 텍스트 항목의 정보가 교육 프로그램을 refine하기 위해 어떻게 사용되었는지 설명하기 보다는(프로그램 평가자가 관심이 있음), 그들은 데이터의 풍부함과 신뢰성에 초점을 맞춘다(연구자가 관심이 있음). 마찬가지로, 교수진과의 인터뷰를 통해 수집된 데이터가 평가자에게 중요한 온라인 CME 프로그램의 국지적local 가치를 확립하는 데 어떻게 도움이 되었는지에 대해 걱정하기보다는, 편의 샘플링 전략을 사용한 것이 다른 연구자들에게 어떻게 보여질지에 대해 걱정한다.

For example, rather than describing how information in free-text entries on end-of-rotation evaluations was used to refine an educational program, which would be of interest to evaluators, they focus instead on abundance and credibility of data, of interest to researchers. Similarly, rather than discussing how data collected from interviews with faculty members helped establish the local worth of an online continuing medical education program, which would be of concern to evaluators, they fret about their convenience sampling strategy, of concern to researchers.

그렇다고 해서 프로그램 평가가 연구보다 체계적이거나 생각적으로 덜 진행되어야 한다는 뜻은 아니다. 오히려, 요점은 각 프로젝트에 대한 초기 결정은 (비록 유일하진 않지만) 서로 다르다는 점이다: 주로 이론적인 문제를 다룰 것이냐(연구)나 실제적인 문제를 다룰 것이냐(프로그램 평가)

This is not to say that program evaluation should be conducted less systematically or thoughtfully than research. Rather, the point is that initial decisions about each project will be guided differently: primarily, although not solely, by theoretical issues (research) or by practical issues (program evaluation).

선을 흐리게 하는 것으로 돌아가기

Back to Blurring the Lines

최근 일부 의학 교육 학자들은 (학습자가 배우는 방법과 같은) 교육 과정을 뒷받침하는 메커니즘을 이해하는 것이 프로그램 평가와 유사하다고 제안했다.2 이러한 관점에서, 인간의 작용 과정human process을 이해하기 위해서는 연구의 방법론적 엄격성이 요구된다.

Recently, some medical education scholars have proposed that understanding mechanisms underpinning educational processes, such as how learners learn, is akin to program evaluation.2 From this point of view, methodological rigor of research is required to understand the human processes at play.

오늘 시작할 수 있는 것

How You Can Start TODAY

1. 프로젝트 시작 시 질적 데이터가 관련될 때(예: 자유 텍스트 항목) 그 목적에 대해 명확히 하십시오. 질적 연구를 위한 표준과 프로그램 평가를 위한 표준 중 어떤 표준을 제시하는가?

1. Be clear at the start of your project about its purpose when qualitative data are involved (eg, free-text entries). Which standards are indicated: those for qualitative research or those for program evaluation?

2. 프로젝트의 목적이 명확해지면 적절한 기준에 따르십시오.

2. Once the purpose of your project is clear, attend to the appropriate standards.

3. 질적 연구와 프로그램 평가가 충족시켜야 할 기준의 세트가 서로 다르다는 것을 안다.

3. Expect qualitative research to meet one set of standards and program evaluation to meet another.

장기적으로 할 수 있는 것

What You Can Do LONG TERM

1. 활용 중심의 평가, 개발 평가, 현실주의 평가 등 질적탐구에 잘 맞는 프로그램 평가 모델을 숙지한다.1–3

1. Become familiar with models of program evaluation that fit well with qualitative inquiry such as utilization-focused evaluation, developmental evaluation, or realist evaluation.1–3

2. 프로그램 평가 작업을 배포할 때, 청중에게 데이터의 품질을 판단하는 데 사용한 표준을 알려야 한다. 이 기준은 질적 연구와는 다르지만 여전히 중요하다.

2. When disseminating your program evaluation work, inform your audience of the standards you used to judge the quality of your data, standards which are as important as, but different from, qualitative research.

3. 의학교육에서 표준적합성 질적 연구와 표준적합성 프로그램 평가를 모두 보급할 수 있는 추가 장소를 지지한다.

3. Advocate for additional venues in which to disseminate both standard-conforming qualitative research and standard-conforming program evaluation in medical education.

Using Data From Program Evaluations for Qualitative Research

• PMID: 28018547
 
• PMCID: PMC5180537
 
• DOI: 10.4300/JGME-D-16-00540.1

의학교육에서 4C/ID: 어떻게 전-과제 학습 기반의 교육프로그램을 설계할 것인가?(AMEE Guide No. 93) (Med Teach, 2015)

4C/ID in medical education: How to design an educational program based on whole-task learning: AMEE Guide No. 93

MIEKE VANDEWAETERE1, DOMINIQUE MANHAEVE1, BERT AERTGEERTS1, GERALDINE CLAREBOUT1, JEROEN J. G. VAN MERRIE¨ NBOER2 & ANN ROEX1

1University of Leuven, Belgium, 2Maastricht University, the Netherlands

도입

Introduction

의학 커리큘럼은 결과 및 역량 기반이어야 한다는 일반적인 합의가 있다(Fernandez et al. 2012). 이는 현대 의학의 일차적인 목표가 학생들이 역량있는 의사가 되도록 훈련시키는 것임을 암시한다(역량 기반 의료 교육 또는 CBME).

There is a general agreement that medical curricula should be outcome- and competency-based (Fernandez et al. 2012). This implies that the primary goal of modern medical education is to train students to become competent physicians (competency-based medical education or CBME).

전문가를 위한 캐나다 의학 교육 지침(CanMEDS; Frank & Danoff 2007), 대학원 의학 교육 인증 위원회(Swing 2007), 던디 성과(Davis 2003),

Canadian Medical Education Directives for Specialists (CanMEDS; Frank & Danoff 2007), Accreditation Council for Graduate Medical Education (Swing 2007) and the Dundee Outcomes (Davis 2003),

현실에서, CanMEDS 프레임워크에 기술된 역할은 [의사들의 일상적인 활동을 반영하여 매끄러운 전체로 통합]되어야 한다. 따라서, 의사(이 경우, 일반 개업의)가 일상에서 성공적인 수행을 하기 위해서는, 예를 들어 당뇨병에 대한 지식과 통찰력을 갖는 것만으로는 충분하지 않다.

In practice, the roles as described in the CanMEDS framework have to be integrated into a seamless whole, reflecting the daily activities of the physician. Hence, for a physician’s (in this case, a general practitioner) successful performance in daily practice, it is not sufficient just to have the knowledge about and insight in, for example, diabetes.

따라서 CanMEDS 프레임워크와 그 구체적 구현은 의학교육이 지식, 기술 및 태도의 통합적 획득을 촉진하는 교육 및 학습 환경에서 이익을 얻을 수 있음을 의미한다. 프랭크(2005)와 반 헤르와든 외 (2009년) 보건 전문가들이 다루어야 할 진짜real, 진짜authentic 업무에 집중하는 것이 그러한 통합 학습을 뒷받침할 것이라고 주장한다. 그렇게 함으로써, 그들은 복잡한 학습 또는 전과제 학습이라고 불리는 것을 가리킨다(박스 1).

Consequently, the CanMEDS framework and its specific implementations imply that medical education may benefit from instruction and learning environments that foster the integrated acquisition of knowledge, skills and attitudes. Frank (2005) and van Herwaarden et al. (2009) argue that focusing on the real, authentic tasks that health professionals need to deal with will support such integrated learning. By doing so, they refer to what is called complex learning or whole-task learning (Box 1).

의학교육에서 전과제 학습

Whole-task learning in medical education

의학 교육에서 복잡한 학습이나 전과제 학습의 접근법을 사용하는 데는 두 가지 설득력 있는 이유가 있다.

There are two compelling reasons for using the approach of complex or whole-task learning in medical education.

첫째, 전과제 모델은 가변적이고 복잡한 환경에서 학생들의 기능을 육성하는 학습 활동의 개발을 위한 탄탄한 틀을 제공한다(Yardley et al. 2013). 전과업 접근법을 사용한 결과, 풍부한 정신 모델과 인지 전략의 개발이 촉진되어, 학생들이 다양한 건강 관리 상황에서 효율적인 문제 해결 전략을 사용할 수 있다. 실제의 진실한 과제를 사용함으로써, 복잡한 학습이 지원되고, 따라서 커리큘럼에서 직장으로의 이전이 더욱 실현가능해진다(2010년 시장, 반 메리 ̈nboer & 스위블러 2010).

First, whole-task models provide a solid framework for the development of learning activities that foster students’ functioning in variable and complex settings (Yardley et al. 2013). As a result of using a whole-task approach, the development of a rich set of mental models and cognitive strategies is facilitated, allowing students to use efficient problem solving strategies in various health care situations. By using real-life authentic tasks, complex learning is supported and hence the transfer from the curriculum to the workplace becomes more feasible (Mayer 2010; van Merrie¨nboer & Sweller 2010).

둘째, 전과제 학습 모델은 의학교육에서 근거기반 원칙을 보다 명시적으로 사용해야 한다는 요구를 충족할 수 있다(Gibbs et al. 2011). 역량 기반 커리큘럼CBME의 핵심 측면에 대한 일반적인 합의가 있지만, 그것의 실제 구현은 과학적인 기반이 거의 없었다.

Second, models of whole task learning may meet the call for a more explicit use of evidence-based principles in the practice of medical education (Gibbs et al. 2011). Although there is a general agreement on the key aspects of competency-based curricula, its practical implementation has had little scientific underpinning.

4가지 구성요소의 교육적 설계 모델(4C/ID모델; 상자 2) (반 메리 nnboer & Kirschner 2007, 2013; 반 메리 nnboer & 스웨터 2010)은 전과업 학습 환경의 설계 및 개발 프로세스를 지원하는 증거 기반 교육적 설계 모델이다. 그것은 구체적인 지침과 사용 가능한 설계를 제공함으로써 그렇게 한다(Hogveld et al. 2011). 이 모델은 복잡한 기술을 습득하기 위해 이미 여러 영역에 적용되었다.

The four-component instructional design model (4C/ID model; Box 2) (van Merrie¨nboer & Kirschner 2007, 2013; van Merrie¨nboer & Sweller 2010) is an evidence-based instructional design model that supports the design and development process of whole-task learning environments. It does so by providing concrete guidelines and usable designs (Hoogveld et al. 2011). This model has already been applied in several domains for the acquisition of complex skills

4C/ID 모델: 이론에서 실천으로

The 4C/ID model: From theory to practice

모델은 네 가지 주요 구성 요소로 구성된다(그림 1 참조).

the model comprises four major components, (see Figure 1).

4가지 구성요소는 

• (1) 학습 과제, 

• (2) 지원 정보(이론), 

• (3) 절차 정보(how to's) 및 

• (4) 파트태스크 실습(초점 반복 연습 또는 '드릴')

The four components that are identified are as follows: (1) learning tasks; (2) supportive information (the theory); (3) procedural information (the how to’s) and (4) part-task practice (focused repetitive practice or ‘‘drill’’).

• 그림 1에서 학습 과제는 원으로 표시된다. 그들은 교육 프로그램의 근간을 제공한다. 직장에서 수행되는 학습 과제를 훈련training 과제라고 한다. 학습자가 학습 과제를 수행할 때 종종 지원 및 안내가 제공되기도 한다. 이는 원을 채우는 것으로 표시된다. 학습자가 더 많은 전문 지식을 습득함에 따라 지원 및 지침support and guidance은 일반적으로 감소할 것이다. 게다가 학습자들은 종종 그들의 과제 수행의 질에 대해 성찰을 요구받게 되는데, 커다란 원과 연결된 다이아몬드로 표시되어있다.

In Figure 1, the learning tasks are indicated by the circles. They provide the backbone of the educational program. Learning tasks that are performed in the workplace are called training tasks. Often, learners will receive support and guidance when they are working on the learning tasks; this is indicated by the filling of the circles. Support and guidance will typically decrease as learners acquire more expertise. Moreover, learners will often be asked to reflect on the quality of their task performance, which is indicated by the diamonds connected to the large circles.

• 지원 정보는 L자형으로 표시된다. 이 정보는 학습자가 학습 과제, 즉 문제 해결, 추론 및 의사결정이 필요한 측면을 수행하도록 돕는다.

The supportive information is indicated by the L-shaped figure. This information helps learners to perform non-routine aspects of learning tasks, that is, aspects that require problem solving, reasoning and decision making.

• 절차 정보 또는 적시 정보는 위쪽 화살표가 있는 직사각형으로 표시된다. 이 정보는 과제 레벨에서 제공되며 학습자에게 학습 과제의 '반복적recurrent' 요소를 수행하는 방법을 알려준다. 즉 교육 프로그램이 완료된 후 일상적으로 수행해야 하는 측면에 대해 알려준다.

The procedural information or just-in-time is indicated by the rectangle with upward information pointing arrows. This information is offered at the task-level and informs learners on how to perform ‘‘recurrent’’ aspects of learning tasks, that is, aspects to be performed as routines after the educational program has been completed.

• 마지막 구성 요소는 직사각형으로 그룹화된 작은 원으로 표시되는 파트 작업 관행이다. 파트-태스크 연습은 많은 반복적인 연습을 포함하며, 작업의 특정 반복적인 측면에 대해 매우 높은 수준의 자동화가 필요할 때 제공된다. 더욱이, 부분과제part-task 연습은 연습 시리즈(다이아몬드로 표시)의 마지막에 성찰 과제를 수반할 수 있다. 목적은 스키마 자동화를 강화하는 것이며, 따라서 일반적으로 연장된 반복 연습이 필요하다.

The last component is the part-task practice, indicated by the small circles grouped in a rectangle. Part-task practice involves a lot of repetitive practice and is provided when a very high level of automaticity is required for a particular recurrent aspect of the task. Furthermore, part-task practice can be accompanied by a reflection task at the end of the practice series (indicated by a diamond). The aim is to strengthen schema automation, and hence it typically involves extended repetitive practice.

• 그림 1에 표시된 마지막 요소는 테스트(우측 화살표로 표시됨)이다. 이 시험은 학생의 이미 이용할 수 있는 관련 지식을 평가하는 것 이상의 것으로, 학생들에게 수행 기준에 대해 알리고 학습 과제의 주제와 복잡성을 소개한다.

A last element that is represented in Figure 1 is the test (indicated by the right-pointing arrow). More than assessing a students’ already available relevant knowledge, this test informs students about the performance standards and introduces them to the topic and complexity of the learning tasks.

네 가지 구성요소를 확인하는 것은 설계 프로세스의 한 부분일 뿐이다. 4C/ID 기반 학습 환경의 우수한 설계를 지원하는 추가적인 보조 활동이 있다.

identifying the four components is only one part of the design process. There are additional, auxiliary activities that support the good design of a 4C/ID-based learning environment.

이 활동들은 함께 설계 과정을 구성하는 10단계(전 과업 코스 개발로) 또는 10단계(반 메리 nnboer & Kirschner 2013)로 기술된다.

Together, these activities are described as the 10 steps (to whole-task course development) or the 10 activities that make up the design process (van Merrie¨nboer & Kirschner 2013).

전과제 기반 의료 코스의 내용 개발 10단계

Ten steps to develop the content of the whole-task based medical course

구성 요소 1: 학습 태스크

Component 1: Learning tasks

첫 번째 요소(그림의 순서 1에서 큰 원으로 표시됨)는 학습 과제(반 메리 nnboer & 반 데르 벨루텐 2012)로 구성되며, 이는 의사의 전문적인 과제를 더 많이 반영한다. 그것들은 세 단계로 요약될 수 있다.

The first component (indicated with large circles in Figure sequence 1) comprises a of learning tasks (van Merrie¨nboer & van der Vleuten 2012), which more or less mirrors the physician’s professional tasks. They can be concretized in three steps.

1단계: 학습 과제 설계

Step 1: Design learning tasks

학습과제는 의사들이 일하는 것을 대표할represent 수 있는 방법으로 선택된다. 이른바 ‘전체적인 과제’나 복잡한 문제다. 더 높은 학습 전달에 기여하기 위해, 실제 상황에서처럼, 과제마다 서로 다르다.

The learning tasks are chosen in such a way that they are representative for the physicians work. They are so-called ‘‘whole tasks’’ or complex problems. In order to contribute to a higher transfer of learning, the tasks vary from one another as they would in a real-life situation.

예를 들어 당뇨병 환자의 발을 평가하는 법을 배울 때, 과제는 간단하고 복잡한 상황, 신경증이나 궤양이 없거나 없는 발 평가, 환자의 건강 상태에 대한 거의 또는 많은 정보를 갖는 것 등에 초점을 맞출 수 있다. 이 '연습의 가변성'은 지식, 기술 및 태도가 익숙하지 않은 다른 상황에 전이transfer되는 데 크게 기여한다(Norman 2009).

For example, when learning to assess the diabetic patient’s foot, tasks can focus on simple and complex situations; assessing the foot without or with neuropathy or ulcers; having little or much information about a patient’s health condition, and so forth. This ‘‘variability of practice’’ greatly contributes to the transfer of knowledge, skills and attitudes to other, non-familiar situations (Norman 2009).

대부분의 학습 과제에는 일상적 측면과 비 루틴적 측면이 모두 포함된다. 

• 일상적인 측면은 예를 들어, 병력 청취 중 일련의 질문을 하거나 당뇨병 환자의 발을 임상적으로 검사하는 것으로, 학생들이 교육 프로그램을 완료한 후 일상적으로 수행될 것임을 나타내기 위해 '반복적recurrent' 측면이라고도 한다. 

• 비루틴적인 측면은 학생들에게 다소 생소하고, 노력이 필요하며, 특정한 결과를 가지고 있는 행동이다; 그것들은 학생들이 교육 프로그램을 마친 후에도 여전히 문제 해결, 추론 또는 의식적인 의사결정을 요구한다는 것을 나타내기 위해 '비반복적인' 측면이라고도 불린다.

Most learning tasks include both routine and non-routine aspects. 

• Routine aspects are, for example, asking a sequence of questions during history taking or a clinical examination of the diabetic’s foot; they are also called ‘‘recurrent’’ aspects, in order to indicate that they will be performed as routine after students have completed the educational program. 

• Non-routine aspects are actions that are rather new to students, require effort and have a problem specific outcome; they are also called ‘‘non-recurrent’’ aspects to indicate that they still require problem solving, reasoning or conscious decision making after students have finished the educational program.

예를 들어, 다양한 출처의 정보(병력 청취, 임상 검사 및 혈액 검사 결과)를 결합하는 것은 문제 해결 행동과 인지 전략의 적용에 참여하기 위해 인지 스키마타의 조합을 필요로 하는 비반복적 기술이다(van Merrie bonboer et al. 2002).

For example, combining information from various sources (history taking, clinical examination and blood test results) is a non-recurrent skill that requires the combination of cognitive schemata in order to engage in problem-solving behavior and the application of cognitive strategies (van Merrie¨nboer et al. 2002).

과제마다 내용과 제시방식에 차이가 있을 뿐 아니라, 과제마다 instruction이 다를 수 있다. 또한, 학생이 프로그램을 진행함에 따라 지원 및 지침이 감소하고(그림 1의 원 채우기 참조), 특정 과제에 대해서는 과제 완료 후 학생들이 성찰이 요구된다(그림 1의 줄무늬 다이아몬드 참조).

Besides varying in their content and presentation, tasks may also vary in their instruction. Moreover, there is a decrease in support and guidance as the student proceeds through the program (see the filling of the circles in Figure 1) and for particular tasks, students are invited to reflect after task completion (see striped diamonds in Figure 1).

제공되는 방법에 대한 표시가 있는 모든 유형의 학습 과제는 부록 A http://informahealthcare.com/journal/mte에서 보충 자료로 제공된다.

All types of learning tasks with indications on how they can be offered are listed in Appendix A, available as Supplemental Material at http://informahealthcare.com/journal/mte.

학습 과제의 또 다른 다양성은 [과정 중에 완료할 수 있는 과제]와 [직장 기반 학습 과제]의 구별이다. 그러한 과제의 예는 다음과 같다: 병력청취를 관찰하고 성찰하는 것, 다원적 팀 회의에 참여하는 것, 처방전을 작성하는 것, 그리고 의사나 인턴십 트레이너로부터 피드백을 요청하는 것.

Another variation in learning tasks is the distinction between tasks that can be completed during the course and workplace-based learning tasks. Examples of such tasks are as follows: observing and reflecting on history taking; participating in a multidisciplinary team meeting, writing prescriptions and asking feedback from the physician or internship trainer.

2단계: 평가 도구 개발

Step 2: Develop assessment instruments

다른 역량 기반 커리큘럼에서와 같이 평가 도구는 복잡한 학습 과정에서 중요한 요소다.

As in any other competency-based curriculum, assessment instruments are crucial elements in the process of complex learning.

4C/ID 모델에서 주요 목표는 지식, 구성 기술 및 태도의 통합과 조정을 필요로 하는 일련의 '전체 과제whole task'를 성공적으로 완료하는 것이다. 모든 구성적 기술이 평가 도구에서 표현되도록 하기 위해, 모든 업무, (구성적) 기술 및 그 기술 사이의 상호 관계를 나타내는 평가 매트릭스를 개발할 수 있다.

In the 4C/ID model, the main objective is the successful completion of a set of ‘‘whole tasks’’, which requires the integration and coordination of knowledge, constituent skills and attitudes. To ensure that all constituent skills are represented in the assessment instruments, one could develop an assessment matrix representing whole tasks, (constituent) skills and interrelations between those skills.

목표의 일부는 [허용 가능한 수행능력에 대한 표준]이다. 이 표준에는 관련 기준(예: 오류 없이 10분 이내), 값(예: 당뇨병 관리에 대한 최근 지침을 고려하고 전자 건강 기록에 따라) 및 (예: 치료에 대한 관련 태도를 제시하고 대화에서 능동적인 청취 기법을 사용하는)이 포함된다.

Parts of the objectives are standards for acceptable performance. These standards include relevant criteria (e.g. without error and within 10 minutes), values (e.g. taking into account the recent guidelines for diabetes management and in accordance with the electronic health record) and (e.g. giving relevant attitudes arguments for treatment and using active listening techniques in a conversation).

학생들에게 성능 기준에 대해 알리기 위해 학습 모듈 시작 시 [자기 평가 퀴즈]를 제공할 수 있다.

To inform students about the performance standards, one could offer a self-assessment quiz at the beginning of a learning module.

이 시험은 학생들의 선행지식을 활성화시키는 반면, 학생들은 그들의 성과를 평가할 기준에 익숙해진다.

this test activates a students’ prior knowledge (Merrill 2002); while on the other hand, students become familiar with the standards by which their performance will be evaluated.

학생들에게 전문적 행동과 연계된 원하는 수행 기준을 알려주는 한 가지 방법은 worked example를 사용하는 것이다. 작업한 예worked example는 상담 비디오, 환자로부터 동기부여 면접을 받기 위한 단계별 접근, 모범적 해결책(부분)을 제공함으로써 학생이 가장 적절하거나 정확한 답을 얻는 지식 테스트 등의 형태를 취할 수 있다. Worked example의 핵심은 전문가의 행동인 '황금기준'을 보여주는 것이다. 이와 같이, 업무 예제 업무는 해결책뿐만 아니라 해결책까지 나올 수 있는 모델링 작업이 된다. 이것은 학생들이 허용 가능한 성과에 대한 표준을 인식하고 결과에 도달하기 위해 적절히 행동하도록 돕는다.

One way to inform students about the performance desired standards linked to the professional behavior (to what standards will their performance be compared?) is to use worked examples. A worked example can take the form of a video of a consultation, a step-by-step approach for taking a motivational interview from a patient, a knowledge test where the student is guided toward the most appropriate or correct answer by offering (parts of) a model solution and so forth. Central in a worked example is that it reflects the ‘‘golden standard’’, the expert behavior. As such, a worked example task becomes a modeling task where not only the solution is offered but also the process to come to the solution. This helps students to recognize the standards for acceptable performance and to act accordingly to reach the outcomes.

그러나 우리는 모든 학생들이 기초적인 기준을 인식할 수 있거나, 전문가의 행동에서 중요한 것과 그렇지 않은 것을 구별할 수 있다고 가정할 수는 없다. 따라서 학생들은 과제를 완료하는 동안 또는 완료 후에 평가될 허용 가능한 성과에 대한 기준에 따라 전문가의 성과를 평가하도록 요청받을 수 있다(Gulikers et al. 2008, Fastre et al. 2010). 그렇게 함으로써, 수행 목표와 표준은 실제적인 맥락에서 학생들에게 소개된다. worked example는 지원 정보의 일부로 제공되어서, 필요할 때 사용할 수 있도록 유지하는 것이 이상적이다(그림 1의 가장 낮은 막대 표시, 우리는 작업 예를 나타낸다). 이로서 학생들은 자기주도적 방식으로 worked example과 그에 딸린 표준을 참조할 수 있다.

However, we cannot assume that all students are able to recognize the underlying standards, or that they can distinguish what is crucial in the expert’s behavior and what is not. Therefore, students can be asked to evaluate the performance of the expert according to the standards for acceptable performance by which they will be evaluated during or after task completion (Gulikers et al. 2008, Fastre´ et al. 2010). By doing so, performance objectives and standards are introduced to students in a real context. A worked example ideally stays available as part of the supportive information (indicated by the lowest bar in Figure 1; WE stands for worked example). Students are thus able to consult the worked example and its accompanying standards on a self-directed basis.

자기주도학습 촉진에 발맞추어 의학교육 설정에서 두 가지 유형의 평가를 적용할 수 있다(반 메리  dernboer & 반 데르 블뤼텐 2012): 

In line with promoting self-directed learning, two types of assessments can be applied in the setting of medical education (van Merrie¨nboer & van der Vleuten 2012): 

(1) Supported assessment: 모든 보조교재를 이용할 수 있는 상태, 상담이 제공되는 상태에서 학생을 평가.

(1) supported assessment in which students are assessed while all supporting materials are available and can be consulted in the learning environment

(2) Unsupported assessment: 학습환경에서 더 이상 지원을 받을 수 없고 학생이 정규 의료실무와 같이 자기주도적인 기준으로 정보를 찾아야 하는 상태에서 평가

(2) unsupported assessment in which support is no longer available in the learning environment and students have to seek information on a self-directed basis as in regular medical practice.

필요한 경우, 학생들에게 작업 중 [작은 부분의 자동화]를 촉진하기 위한 파트타임 실습 교육을 받는다. (예: 동기부여 커뮤니케이션 기술 연습). 학생들은 전반적인 업무 성과를 개선하기 위해 과제의 일부에 대한 이해를 깊게 할 수 있다 (예: 환자와의 동기부여 대화에서 여러 단계를 구별하는 방법). 즉각적인 피드백이 제공되며, 파트-태스크 연습과 작업의 작은 부분을 반복적으로 수행할 수 있는 기회가 제공된다.

If necessary, students are instructed with part-task practice to foster automation of smaller parts of the task (e.g. practicing motivational communication skills) to deepen the understanding of parts of the task (e.g. how to distinguish the different phases in a motivational conversation with the patient) in order to improve their overall task performance. Furthermore, immediate feedback is provided as well as the opportunity to repeatedly perform the part-task practice and smaller parts of the task.

3단계: 학습 태스크 순서배열

Step 3: Sequence learning tasks

위에서 기술한 바와 같이, 일련의 다양한 업무들이 학습 환경의 중추를 형성한다. 이는 지식, 기술 및 태도의 통합을 촉진하며, 따라서 Merrie ̈nboer 역량 획득(van der & van Vleuten 2012)을 촉진한다. 따라서, 4C/ID 모델은 이른바 과제 수업에서 유사한 복잡성 수준과 유사한 필수 지식을 가진 [학습 과제를 그룹화]할 것으로 예측한다. 교육 프로그램 전체에 걸쳐 학습자는 [쉽고 간단한 작업 수업에서 점점 더 어렵고 복잡한 작업]으로 안내될 것이다.

As described above, a sequence of varying tasks forms the backbone of the learning environment. This facilitates the integration of knowledge, skills and attitudes, hence the Merrie¨nboer acquisition of competences (van der & van Vleuten 2012). Therewith, the 4C/ID model foresees to group learning tasks that have a similar complexity level and similar required knowledge in so-called task classes. Throughout the training program, learners will be guided from easy and simpler task classes to increasingly more difficult and complex task classes.

태스크 클래스는 성공적 수행을 위해 다른 지식이나 보다 정교한 지식을 요구하는 다른 복잡도 수준의 과제를 구성한다는 점에서 서로 다르다. 단, 한 업무 클래스 내의 업무는 복잡성과 관련하여 유사하지만, 다른 여러 측면에서는 서로 다를 수 있다. [태스크 클래스 내에서 태스크의 가변성을 보장]함으로써, 학습자가 스키마 기반 학습 전송을 허용하는 풍부한 인지 스키마를 개발할 수 있다(Paas & van Merrie ̈nboer 1994).

Task classes differ from each other in that they comprise tasks of a different complexity level requesting different knowledge or more elaborated knowledge for their successful performance. However, although tasks within one task class are similar with respect to complexity, they may differ from each other on many other aspects. Ensuring task variability within a task class, should enable learners to develop rich cognitive schemata, which allow for schema-based transfer of learning (Paas & van Merrie¨nboer 1994).

따라서 한 태스크 클래스 내의 여러 태스크는 현실의 가변성을 보여줘야 하며, 태스크와 관련된 지원 또는 지침의 양도 달라야 한다. 태스크 클래스 내에서 학습자에게 제공되는 지원은 점차 줄여나가야 한다: 첫 번째 태스크는 최대 지원을 수반하는 반면 마지막 태스크는 추가 지원이 없거나 최소한의 지원만 있어야 한다(그림 1의 원 채움으로 표시됨). 후속 작업 클래스에서 다시 한 번, 첫 번째 작업에는 최대 지원이 수반된다.

Tasks within a task class should therefore show variability of practice and, differ in the amount of support or guidance that is associated with the tasks. Within a task class, there is a decrease in the support offered to the learner: the first task is accompanied by maximal support, while the last task has no or minimal additional support (indicated by the filling of the circles in Figure 1). In the subsequent task class, then again, the first task is accompanied by maximal support.

표 1은 학습 과제 개발을 위한 관련 원칙을 요약한 것이다.

Table 1 summarizes the relevant principles for the development of learning tasks

삽화

Illustration

학습 모듈. 본 가이드에서는, KU Leuven General Practice 부서에서 개발한 "당뇨병 환자"와 "열병을 앓고 있는 어린 아이"라는 모듈을 사용하여 4C/ID 기반 학습 환경을 개발하고 구축할 수 있는 방법을 설명한다.

Learning modules. Within this Guide, the modules ‘‘Patient with diabetes’’ and ‘‘The young child with fever’’, both developed at the KU Leuven General Practice Department, are used to illustrate how one can develop and structure a 4C/ ID-based learning environment.

태스크 클래스. 학습 모듈에 들어가면 모듈의 구조(과제 수업)와 과제의 양에 대한 개요를 받을 뿐만 아니라, 과제 수업당 성과목표(과제수업을 마친 후 무엇을 할 수 있을 것인가), 시기 및 마감시간, 퀘스트시 누구에게 연락할 것인가에 대해서도 알려준다.내용에 관한 토막글

Task classes. When students enter the learning module, they not only receive an overview of the structure of the module (task classes) and the amount of tasks but they are also informed about the performance objectives per task class (i.e. what they will be able to do after finishing the task class), the timing and deadlines and who to contact in case of questions about the content.

학습 모듈. '당뇨병 환자'에서는 4개의 과제 클래스로 과제를 지시하는데, 모두 학습 모듈의 메인 화면을 그림 2에 그래픽으로 표시하였다. 각 태스크 클래스는 CanMEDS 역할 중 하나에 추가로 초점을 맞추고 있으며 이전 태스크 클래스보다 더 복잡하다. 학습 모듈의 첫 번째 과제 클래스는 당뇨병에 대한 선언적 지식(진단 및 치료 등)에 초점을 맞춘 과제와 사례 연구로 구성된다. 2차 과업수업도 진단과 치료에 대한 과제를 제공하지만 연습의 초점을 당뇨병 환자의 관리로 옮겨 협업자 및 전문가로서의 의사의 역할을 강조한다. 그 후 세 번째 과제수업은 관리자의 역할을 강조하는 과제를 제공하고, 네 번째(그리고 마지막) 과제수업은 통신자의 역할을 강조한다. 한 태스크 클래스에서 다른 태스크 클래스에 포커스(각각 더 많은 도메인 지식의 획득을 의미한다)를 추가함으로써 복잡성은 점차 증가한다.

In the learning module ‘‘Patient with diabetes’’, the tasks are ordered in four task classes, all presented graphically in Figure 2 showing the main screen of the learning module. Each task class focuses additionally on one of the CanMEDS roles and is more complex than a previous task class. The first task class of the learning module comprises tasks and case studies focusing on the declarative knowledge about diabetes (like diagnosis and treatment). The second task class also provides tasks on diagnosis and treatment but shifts the focus of the exercises to management of patients with diabetes, hence stressing the role of the doctor as a collaborator and professional. The third task class then provides tasks emphasizing the role of manager, while the fourth (and last) task class stresses the communicator’s role. By adding foci (which each imply the acquisition of more domain knowledge) from one task class to the other, the complexity gradually increases.

과제. 학습 환경에서는 몇 가지 과제가 제공된다. 표 2는 다양한 유형의 작업에 대한 아이콘을 제공한다.

Tasks. Several tasks are offered in the learning environment. Table 2 provides the icons for different types of tasks.

학생이 완료할 수 있는 첫 번째 과제(그림 3 파트 A 참조)는 문제 기반 지식 테스트의 실무 예다. 이 시험의 질문에 답함으로써 학생들은 자신의 지식에 대한 정보를 얻고, 그들의 답에 대한 피드백을 받고, 질문에 대한 전문가의 대답과 답을 얻기 위한 추리 과정을 제공받는다. 또한, 태스크 클래스의 내용과 허용 가능한 성능에 대한 표준이 무엇인지에 대해 소개된다. 따라서 학생들은 과제수업을 마친 후에 어떤 지식, 기술 및 태도를 보여줄 것으로 예상되는지(즉, 성과목표).

The first task (the large circle, see Figure 3, part A) for students to complete is a worked example, in this case, a problem-based knowledge test. By answering the questions on this test, students obtain information about their knowledge, receive feedback on their answers and are provided with the expert’s answer to the question and the reasoning process to come to the answer. Furthermore, they are introduced to the content of the task class and what the standards are for acceptable performance. Hence, students are informed about what knowledge, skills and attitudes they are expected to demonstrate after completing the task class (i.e. the performance objectives).

두 번째 과제(책 아이콘이 있는 사각형, 그림 3, 파트 B 참조)는 전체 작업 클래스에 대한 지원 정보를 나타낸다. 학생들은 이 과제를 완료하기 위해 자료를 읽도록 지시 받는다. 이것들은 이론적 개요와 과정 장에 초점을 맞춘 문서와 웹 링크에 의해 제공된다. 이 지원 정보는 모든 업무에서 이용할 수 있다. 이것은 또한 가장 낮은 막대로 시각적으로 표시된다(그림 3 파트 F 참조). 다음 절에서는 지원 정보의 설계에 대해 좀 더 자세히 설명한다.

The second task (the square with the book icon, see Figure 3, part B) represents the supportive information for the whole task class. Students are instructed to read the materials as to complete this task. These are provided by documents and web links focusing on theoretical overviews and course chapters. This supportive information is available throughout all tasks. This is also visually presented by the lowest bar (see Figure 3, part F). In the next section, the design of the supportive information is described in more detail.

학생이 두 번째 과제의 일부로 지원 정보 문서를 읽은 후에는 몇 가지 과제가 제공된다(큰 원들에 의해 제시됨, 그림 3, 파트 C 참조). 예를 들어, 모듈 "당뇨병 환자"의 두 번째 작업 클래스는 관리에 초점을 맞추었다. 이 과업수업에서 두 번째 과제는 당뇨병에 걸린 환자의 관리 및 치료의 최적화 및 업데이트에 보다 구체적으로 초점을 맞추었다. 이 과제를 완료하기 위해 학생들은 10개의 질문에 다른 형식으로 답해야 했다(복수 답변, 정렬, 즉 빈칸 채우기, 완료 등). 그림 4는 끌어서 놓기 형식으로 질문의 예를 보여준다.

After a student has read the supportive information documents as part of the second task, several tasks are offered (presented by the large circles, see Figure 3, part C). For example, the second task class in the module ‘‘Patient with Diabetes’’ focused on management. The second task in this task class more specifically focused on the optimization and update of management and treatment for patients with diabetes. To complete this task, students had to answer 10 questions in different formats (multiple answer, sort, fill-in-the-blank, complete, etc.). Figure 4 presents an example of a question in drag-and-drop format.

이 과제에 포함된 모든 질문들은 동일한 구조를 가지고 있었다. 즉, 환자 사례를 제시하거나 (이전 질문에 비해) 더 상세하게 제시하거나 (이전의 치료와 같이) 고려해야 할 더 많은 요소를 제시한다.

All questions in this task had the same structure: a patient case is presented, or is presented in more detail (as compared to a previous question), or is presented with more elements to take into account (like previous treatments).

과제의 대다수는 개별적인 완료를 목표로 하고 있지만, 다른 과업은 수업시간에 완료되거나 논의되는 그룹 과제나 과업이다. 이것은 사람 아이콘이 있는 원으로 표시된다(그림 3, 부분 D, 마지막 원 참조). 이러한 그룹 과제의 예는 다음과 같다: 수업시간 동안 그룹 토론이 뒤따른 환자 사례의 온라인 준비, 강의 시간 동안 피드백을 제공하는 강사와의 토론 포럼에서 환자 사례의 그룹 토론, 치료 계획의 공동 작성 등이다.

While the majority of tasks aim for individual completion, other tasks are group tasks or tasks that are completed or discussed during class hours. This is indicated by the circle with a people icon within (see Figure 3, part D, last circle). Examples of such group tasks are as follows: the online preparation of a patient case followed by a group discussion during class hours, the group discussion of a patient case on the discussion forums with the instructor providing feedback during class hours, a collaborative writing of a treatment plan, and so forth.

그림 3 (E부)에 묘사된 마지막 아이콘은 대면 클래스다. 이 수업에서 강사는 학습 모듈의 학습 결과에 대한 피드백을 제공할 수 있다. 강사는 컴퓨터 기반 환경에서 과제 완료 학습 중에 지식, 기술 또는 태도의 차이가 확인되면 추가 정보를 제공할 수 있다(작업의 컴퓨터 기반 수정에 기반함).학습 모듈에서 논의된 특정 주제에 대한 광석(포럼 게시물 및 토론 스레드 기준) 또한 대면 수업 아이콘은 언제 학생들이 과제를 완료할 것으로 예상되는지를 나타낸다. 즉, 수업이 구성되기 전, 수업 전후 또는 후에 말이다.

A last icon that is depicted in Figure 3 (part E) is the face-to-face classes. During these classes, instructors can provide feedback on students’ learning outcomes of the learning module; they can provide additional information if any gaps in knowledge, skills or attitudes were identified during task completion learning in the computer-based environment (based on computer-based correction of tasks); and they can elaborate more on certain topics that were discussed in the learning module (based on forum posts and discussion threads). also The face-to-face class icon indicates when students are expected to complete the tasks: before, around or after the class is organized.

마지막 유형의 업무는 훈련 또는 직장에 기반한 업무와 관련된다. 예를 들어, 학습 모듈 "노인을 위한 관리"의 교육 과제 중 하나는 다음과 같다: " 인턴 기간 동안 당신은 나이든 환자들을 만나게 될 것이다. 해당 환자 중 한 명의 이니셜을 기록하고 이 환자를 훈련 감독관과 상의하십시오. 노인을 위한 장기적인 건강관리 계획을 어떻게 수립하십니까? 당신이 자신의 일반적인 관행에서 할 수 있는 일은 무엇인가? 주의가 필요한 포인트는 무엇인가? '노인을 위한 돌봄' 3급으로 보고서를 가지고 오십시오. 과제 수업 내 업무의 복잡성이 증가함에 따라 학생은 노인 의료에 대한 모든 지식과 기술을 통합해야 하며, 일반 개업의(의료 전문가, 환자, 가족, 간호사, 동료, 건강과의 커뮤니케이션 및 협업자)로서 의사로서 그리고 좀 더 구체적으로 여러 역할을 수행할 수 있어야 한다. 환자 및 관리 및 계획에 관한 전문가)를 대상으로 교육 또는 작업 공간 작업을 완료한다. 더욱이 훈련 과제에는 지원되지 않는 평가가 수반된다(반 메리 ̈nboer & 반 데르 벨루텐 2012). 모든 지원 자료를 이용할 수 있고 업무에 대한 지원의 양이 점차 줄어든 컴퓨터 기반 학습 환경에서 과제 완료 중 (지원) 평가와 달리, 학생들은 이제 자신의 미래 의료 관행에서도 정보를 찾아야 하기 때문에 자기 주도적인 기준으로 정보를 찾아야 한다. 이는 업무수업 내에서 업무에 대한 지원 및 지침의 양을 줄이는 원칙과 일치한다. 마지막 과제 집합에는 기본 제공 지원이 없으므로 학생들에게 최소한의 지원이나 지원을 제공하지 않는다. '자신의 의술에서 할 수 있는 일이 무엇인가?'와 같은 질문들은 학생들이 고의적인 연습을 하고 그들 자신의 (미래) 수행을 반성하도록 장려한다. 또한, 학생들은 훈련 감독관( 인턴 기간 중)과 강사(수업 시간 중)로부터 피드백을 받고, 다시 의도적인 실천을 도모한다. 학생들의 인턴십을 학습 과정의 연장선상으로 명시적으로 고려함으로써, 교실 학습과 인턴십 학습 사이의 이전(그리고 그 반대).

A last type of tasks pertains to training or workplace-based tasks. For example, one of the training tasks in the learning module ‘‘Care for the elderly’’ is the following: ‘‘During your internship you will meet older patients. Note the initials of one of those patients and discuss this patient with your training supervisor. How do you set up a long-term healthcare plan for the elderly? What is possible for you to do in your own general practice? What are the points that need attention? Please bring your report with you to class 3 of ‘Care for the elderly’’’. Because of the increasing complexity of tasks within a task class, a student needs to integrate all knowledge and skills about elderly healthcare and should be able to take multiple roles as physician and more specifically, as a general practitioner (medical expert; communicator to and collaborator with patients, family, nurses, colleagues; health promoter towards patients and professional with respect to management and planning) to complete the training or workplace tasks. Moreover, the training tasks are accompanied with unsupported assessment (van Merrie¨nboer & van der Vleuten 2012). Unlike the (supported) assessment during task completion in the computer-based learning environment where all support materials were available and where the amount of support decreased gradually over tasks, students now have to seek information on a self-directed basis as they also should seek information in their future medical practice. This is in line with the principle of decreasing the amount of support and guidance for tasks within a task class. The last set of tasks has no built-in support hence providing minimal or no support to students. Questions such as: ‘‘What is possible for you to do in your own medical practice?’’ encourage students to engage in deliberate practice and to reflect on their own (future) performance. Moreover, students receive feedback from both the training supervisor (during internship) and the instructor (during class hours), again fostering deliberate practice. By explicitly considering the students’ internship as the extension of their learning process, transfer between classroom learning and internship learning (and the other way around) is increased.

구성 요소 2: 지원 정보

Component 2: Supportive information

전통적으로 '이론'이라고 불리는 지원 정보는 학습자들이 학습 과제의 문제 해결과 추론적인 측면을 이해하는데 도움을 준다. 일반적으로, 지원 정보는 학습 과제의 비반복적 측면, 즉 교육 프로그램의 완료 후에도 문제 해결, 추론 또는 의식적인 의사결정이 필요한 측면의 결실을 맺기 위해 중요하다.

Supportive information, traditionally called ‘‘the theory’’, helps learners with the problem solving and reasoning aspects of the learning tasks. Typically, supportive information is important for the fruitful completion of non-recurrent aspects of learning tasks, that is, those aspects that require problem solving, reasoning or conscious decision making even after the completion of the educational program.

그림 3

Figure 3,

4-6단계: 설계 지원 정보

Steps 4–6: Design supportive information

지원 정보는 학습자에게 학습 과제의 [비루틴적 측면]을 완료하는 데 필요한 새로운 정보를 제공한다. 따라서 제공된 지원 정보는 각 태스크 클래스의 내용에 맞춰 조정되며, 학습자는 필요에 따라 액세스할 수 있다. 지원 정보는 학습자가 [인지 스키마](예: 임상 추론이나 의사결정을 위한 질병 스크립트, 치료 프로토콜, 체계적인 접근법 및 규칙)를 구성하도록 도울 뿐만 아니라, 학습자가 자신의 스키마를 전문가 또는 동료 학생의 스키마와 비판적으로 비교하고 대조하도록 유도하여 [인지적 피드백]을 제공할 수 있다.

The supportive information provides the learner with new information that is needed to complete the non-routine aspects of learning tasks. The provided supportive information is hence tailored to the content of each task class and can be accessed in accordance with the learners’ needs (already existing and yet to be acquired knowledge). It helps learners to construct cognitive schema (e.g. illness scripts, treatment protocols, systematic approaches and rules-of-thumb for clinical reasoning or decision making), but it can also provide cognitive feedback, inviting the learners to critically compare and contrast their own schema with those of experts or peer students.

지원 정보에 의해 반영되는 [인지적 스키마]는 두 가지 형태로 나타난다.

The cognitive schema, as reflected by the supportive information, come in two forms.

첫째, 인지 전략(5단계)이 있으며, 휴리스틱스 및 일반 규칙과 같은 이 영역에서 문제 해결에 대한 체계적인 접근법을 제공한다.

First, there are the cognitive strategies (step 5), providing systematic approaches to problem solving in this domain, like heuristics and rules-of-thumb

둘째, 학습영역이 어떻게 구성되어 있는지를 반영하는, 학습영역 내에서 추론을 가능하게 하는 정신적 모델(6단계)이 있다.

second, there are the mental models (step 6) that reflect how the learning domain is organized and hence allow for reasoning within the learning domain.

예를 들어 당뇨병 환자에 대한 치료 계획은 내과의사에게 당뇨병 환자의 치료와 추적에 대한 체계적인 접근법을 제공한다. 반면에 멘탈 모델은 적극적으로 만들어지고 비슷한 상황을 겪은 이전의 경험에 의해 알려지는 개인적인 이론으로 묘사될 수 있다.

For example, treatment plans for patients with diabetes provide physicians with a systematic approach toward treatment and follow-up of patients with diabetes. Mental models, on the other hand, can be described as personal theories that are actively created and are informed by previous experiences with similar situations.

태스크 클래스 내의 서로 다른 태스크에 대한 이 지원 정보의 관련성을 고려할 때, 지원 정보는 태스크 클래스의 시작 부분에서 제공되며 태스크 클래스의 작업 동안 계속 사용할 수 있어야 한다. 새로운 태스크 클래스는 조금 다르거나 더 정교한 지원정보를 필요로 할 것이다.

Given the relevance of this supportive information for the different tasks within a task class, this information is offered at the beginning of a task class and should stay available during the work in a task class. A new task class will also request (partly) different or more elaborated supportive information.

정신 모델과 인지 전략을 제공하는 것 외에, 지원 정보도 [인지적 피드백]을 제공한다. 이러한 유형의 피드백은 비반복적인 퍼포먼스 측면에 대해 제공된다(van Merrie rienboer et al. 2002). 수행의 비반복적인 측면은 단순히 '올바른' 또는 '잘못된' 것으로 평가될 수 없기 때문에, 인지적 피드백은 학습자가 문제 해결 과정에 대한 접근방식의 퀄리티를 성찰하도록 자극한다. 이는 세션, 동료 또는 전문가 비평 및 그룹 토론에 의해 수행될 수 있다(van Merrie nnboer et al. 2002). 이와 같이 인지 피드백은 학습자가 일련의 과제를 완료했거나 전체 과제 수업을 마친 후에 가장 잘 제공된다(Ban Merrie ̈nboer et al. 2002).

Next to the provision of mental models and cognitive strategies, supportive information also encompasses cognitive feedback. This type of feedback is provided on the quality of non-recurrent aspects of performance (van Merrie¨nboer et al. 2002). Because non-recurrent aspects of performance cannot simply be rated as ‘‘correct’’ or ‘‘incorrect’’, but rather as ‘‘more or less effective’’, cognitive feedback stimulates learners to reflect on the quality of their approach to the problem-solving process. This can be done by debriefing sessions, peer or expert critiques and group discussions (van Merrie¨nboer et al. 2002). As such, cognitive feedback is best offered after learners have completed a series of tasks or have finished a whole task class (van Merrie¨nboer et al. 2002).

요약하면, 지원 정보는 학습자가 학습 과제를 완료하는 동안 문제 해결, 추론 및 의사 결정과 관련된 비복구적 또는 비루틴적 측면을 수행하는 데 도움이 된다. 지원 정보의 단위는 태스크 클래스 수준에서 정의된다(단일 태스크 레벨이 아님).

Summarizing, supportive information helps the learner to carry out the non-recurrent or non-routine aspects related to problem solving, reasoning and decision making while completing the learning tasks. Units of supportive information are defined at the level of a task class (not at the level of single tasks).

표 3에는 지원 정보를 명시하기 위해 수행해야 할 단계가 요약되어 있다.

Table 3 summarizes the steps to be undertaken to specify the supportive information.

삽화

Illustration

지원 정보(그림 3, 파트 F)는 여러 가지 방법으로 제공된다. 첫째, 과제수업을 시작할 때, 학생들은 과제수업을 위해 설정된 성과목표(즉, 학습과제를 완료한 후에 무엇을 할 수 있을 것인가)와 성과기준(예: 허용가능한 성과를 기술하는 기준, 가치관, 태도)에 대해 알게 된다.

Supportive information (Figure 3, part F) is offered in several ways. First, at the start of the task class, students are informed about the performance objectives that are set for the task class (i.e. what they will be able to do after completing the learning tasks), and performance standards (i.e. criteria, values, attitudes that describe acceptable performance).

' 당뇨 환자와의 상담에 대비하여, 학생은 증거 기반 문헌을 집중적으로 검색하고, 관련 결론을 도출하며, 이를 사용하여 당뇨병 환자의 더 나은 진료 품질을 목표로 하며, 지배적 의료 정책과 일치하는 관리 계획을 도출할 수 있다.'

‘‘In preparation for a consultation with a diabetic patient, the student is able to perform a focused search for evidence-based literature, to faultlessly draw relevant conclusions, to use these to draw a management plan that aims at a better quality of care for his diabetic patient and that is in line with the ruling healthcare policy’’.

또한 첫 번째 과제(예제) 동안 학생들은 그들의 답에 대한 피드백을 받고 질문에 대한 전문가의 대답과 가장 적절하거나 수용 가능한 답에 도달하는 추론 과정을 제공한다. 이와 같이 학생들은 전문가들이 사용하는 인지전략과 정신모델에 대해 성찰하고, 도메인이 어떻게 구성되어 있는지에 대한 자신의 모델과 도메인 내 업무에 체계적으로 접근하는 방법을 강화할 수 있다.

Furthermore, during the first task (worked example) students get feedback on their answer and are provided with the expert’s answer to the question and the reasoning process to come to the most appropriate or acceptable answer. In this way, students are encouraged to reflect on the cognitive strategies and mental models that are used by experts and they can strengthen their own models of how the domain is organized and strategies of how to systematically approach tasks in the domain.

작업 예제(첫 번째 과제)를 완료한 후 학생들은 지원 자료를 읽게 된다. 전형적으로 이러한 자료들은 이론에 초점을 맞추고, 당뇨병 환자의 치료에 관련된 이론적이고 실용적인 통찰력에 초점을 맞춘 강의, 서술적 발표, 과정 문서와 연구 기사로 구성되어 있다. 이 정보는 필수 정보(즉, 학생은 모든 문서를 읽도록 강력히 권장됨)와 옵션 정보(즉, 학생은 나중에 과제수업과 학습 모듈의 과제를 진행하면서 문서를 읽을 수 있다)로 나뉜다.

After completing the worked example (first task), students are instructed to read a selection of supportive materials. Typically, these materials focus on the theory and comprise a lecture, a narrative presentation, course documents and research articles focusing on theoretical and practical insights that are relevant in the treatment of patients with diabetes. This information is divided into compulsory information (i.e. the student is strongly encouraged to read all documents) and optional information (i.e. the student can read the documents at a later time, while progressing through the tasks in the task class and learning module).

학생들에게 지원 정보를 제공하는 마지막 방법은 과제 수행에 대한 [인지적 피드백]을 제공하는 것이다. 이러한 유형의 피드백은 학생들에게 [정답을 제공하고 (가장) 적절한 답에 도달하기 위한 문제 해결 접근법을 제시]함으로써 학생들의 대답과 솔루션에 대한 정교한 피드백을 포함한다. 이와 같이, 이 피드백은 기존의 [정신 모델과 관련될 수 있는 정보]와 [문제 해결을 위한 학생의 인지 전략(이론적인 통찰력, 배제 및 포함 기준 등)]에 연결되며, 궁극적으로는 학생들에게 지원 정보를 consult or re-consult하도록 제안한다.

A last way by which supportive information is offered to students is by providing them cognitive feedback on task performance. This type of feedback comprises elaborated feedback on students’ answers and solutions by providing the student with the correct answer and by presenting the problem solving approach to reach the (most) appropriate answer. As such, this feedback links to information that can be related to existing mental models and to a students’ cognitive strategies for problem solving (like theoretical insights, exclusion and inclusion criteria) and eventually suggests students to consult or re-consult the supportive information.

과제 수행에 대한 [인지적 피드백]의 구체적인 형태는 '성찰 촉진자prompt'에 의해 제공된다. 이러한 프롬프트를 사용하면 학생들이 전문가나 동료의 성과를 반성하거나 자신의 성과에 대해 스스로 성찰하도록 촉구할 수 있다(Paas & van Gog 2009). 실제적인 관점에서, 성찰 프롬프트는 [강사가 제공한 토론 주제 또는 동료가 제공한 과제 솔루션에 대하여 협력적으로 토론]하도록 권장하는 보조과제로 주어질 수 있다. 동료들로부터의 이러한 피드백을 바탕으로, 학생들 스스로도 다시 그들의 성과를 성찰하도록 유도되어, 의도적인 연습 기술의 개발을 장려한다.

A specific form of cognitive feedback on task performance is provided by ‘‘reflection prompts’’. The use of such prompts can urge students to reflect on experts’ or peers’ performance or to self-reflect on their own performance (Paas & van Gog 2009). From a practical point of view, reflection prompts can be given as side-tasks where students are encouraged to collaboratively discuss topics provided by the instructor or task solutions provided by peers. Based on this feedback from peers, students themselves are again prompted to reflect on their performance, encouraging the development of deliberate practice skills.

구성요소 3: 절차 정보

Component 3: Procedural information

과제의 비-루틴적인 측면에 초점을 맞춘 지원 정보와는 대조적으로, 절차적 정보 또는 '적시 정보'는 [학습자가 학습 과제의 반복적 측면을 어떻게 수행해야 하는가], 즉 교육 프로그램이 완료된 후 일상적으로 수행해야 하는 측면에 대한 정보를 제공한다.

In contrast to supportive information that focuses on non-routine aspects of tasks, procedural information or ‘‘just-in-time information’’ provides information on how to perform recurrent aspects of learning tasks, that is, those aspects that need to be performed by the learner as routines after the educational program has been completed.

제시된 절차 정보는 [스키마 자동화]를 촉진해야 하며, 그렇게 하기 위해서는 작업 중에 스키마 자동화를 가장 잘 이용할 수 있어야 한다. 이것은 학습자가 과제를 수행하는 동안 필요한 정보로서, 따라서 과제를 수행하는 데 처음 필요할 때 정확히 주어지는 것이 가장 좋다(즉, 정확 and 적시). 이러한 유형의 정보는 절차를 수행하는 데 필요한 절차와 규칙, 사실 및 개념을 구성하므로 단계별로 제공된다.

The presentation of procedural information should facilitate schema automation and in order to do so, it should best be available during working on the task. This is information that learners need while performing a task, and hence it is best given exactly when they first need it to perform a task (i.e. precisely and just-in-time). This type of information is given step-by-step, since it constitutes the procedures and rules, facts and concepts needed to perform the routine;

이 정보는 전체 과제에 걸쳐 언제나 이용할 수 있으며, 학습자의 기술이 증가함에 따라 점차 사라지거나 줄여나가야 한다. 절차 정보를 제공하는 한 가지 방법은 교정적 피드백이다. 학습자가 효과적인 수행을 기술하는 규칙을 올바르게 적용하지 않으면 오류를 범한다고 지적하는 것이다. 이처럼 잘못된 규칙 적용이 감지된 직후, 교정적 피드백을 제시해야 한다(반 메리 ̈nboer & Kirschner 2013).

The information is available throughout the whole task and gradually disappears or fades away as the learner’s skill increases. One way to offer procedural information is corrective feedback. When learners do not correctly apply the rules that describe effective performance, it is said that they make an error. Immediately after such a misapplication of a rule is detected, corrective feedback should be presented (van Merrie¨nboer & Kirschner 2013).

7–9단계: 설계 절차 정보

Steps 7–9: Design procedural information

지원 정보의 개발에서와 같이 이미 유용한 지침 자료(예: 매뉴얼, 체크리스트, 빠른 참조 가이드 및 직무 지원서)가 있는 경우, 추가 개발이 필요 없으며, 해당 자료를 적절한 학습 과제와 연계할 수 있다. 그러나 새로운 절차 정보가 개발되어야 한다면 8단계와 9단계가 도움이 될 수 있다.

As in the development of supportive information, if there are already useful instructional materials available (e.g. manuals, checklists, quick reference guides and job aids), then no further development is required, and the materials can be linked to the appropriate learning tasks. However, if new procedural information needs to be developed, then steps 8 and 9 can be helpful.

표 4에는 절차 정보와 관련된 단계가 요약되어 있다.

Table 4 summarizes the steps related to the procedural information.

삽화

Illustration

절차 정보(그림 3, 파트 G)는 개별 과제의 수준에서 제공되며, 학습 과제의 일상적인 측면을 수행하는 방법에 초점을 맞추고, 따라서 적시에 제공하는 것이 가장 좋다. 이 절차 정보를 제시하기 위한 바람직한 방법은 단계별 지시다.

Procedural information (Figure 3, part G) is offered at the level of individual tasks, focuses on how to perform routine aspects of learning tasks and is therefore best provided just-in-time. A preferable way to present this procedural information is step-by-step instruction.

예를 들어 당뇨병 학습 모듈에서 첫 번째 과제는 상담의 일상적인 단계를 통해 학생들을 단계별로 지도하는 데 집중한다. 과제들은 '방문의 이유가 무엇인가?' '역사에서 가장 중요한 질문은 무엇인가?' '진단 가능성이 가장 높은 것은 무엇인가' '어떤 것이 가장 적절한 치료법인가?'와 같은 질문들에 초점을 맞추었다.

For example, in the Diabetes learning module, the first tasks concentrate on guiding the students stepwise through the routine steps of a consultation. Tasks focused on questions like ‘‘what is the reason for the visit?’’; ‘‘what is the key question in the history taking?’’; ‘‘what is the most likely diagnosis?’’; ‘‘what is the most suitable treatment?’’

절차 정보는 작업 수행 중 또는 작업 수행 후 교정적 피드백의 형태로 제공될 수도 있다. 업무는 몇 가지 연습이나 항목으로 나눌 수 있는데, 이는 업무에서 덜 효과적이거나 비효율적인 수행으로 이어질 수 있는 규칙의 오용을 즉각적으로 감지할 수 있다. 결과적으로, 학생들이 과제 내에서 해결한 모든 운동이나 항목 후에 교정 피드백을 제공할 수 있다.

Procedural information can also be offered in the form of corrective feedback during or after task performance. Tasks can be split up in several exercises or items as to be able to immediately detect misapplications of rules that could lead to less effective or non-effective performance on tasks. Consequently, corrective feedback can be offered after every exercise or item students solved within a task.

구성 요소 4: 부분과제 연습

Component 4: Part-task practice

직무의 특정 반복적인 측면에 대해 매우 높은 수준의 자동화가 요구되는 경우, 파트-태스크(부분과제) 연습이 도움이 될 수 있다. 목적은 스키마 자동화를 강화하는 것이며, 따라서 일반적으로 반복적인 연습을 많이 포함한다(표 5 참조). 부품 작업 연습이 항상 학습 환경의 일부인 것은 아니다.

Part-task practice may be helpful when a very high level of automaticity is required for a particular recurrent aspect of the task. The aimis to strengthen schema automation, and hence it typically involves a lot of repetitive practice (see Table 5). Part task practice is not always part of the learning environment,

10단계: 파트-태스크 실습 설계

Step 10: Design part-task practice

의료 교육에서 부분과제 연습은 일반적으로 임상 기술(혈압 측정, 간 팔팔 측정 및 근육 강화)과 기술 기술(예: 정맥주사, 봉합, 심폐소생술)뿐만 아니라 현장 진단 실습에도 초점을 맞춘다. 열이 있는 아동과 상담하여 학습 환경을 설계할 때 소아 전염병의 프로토타입적 예(스폿 진단) 진단에 대한 부분과제를 선택할 수 있다. 올바른 스폿 진단을 수행하는 이 기술은 매우 자동화될 필요가 있다. 학생이 관련 증상을 빠르게 인식하고, 무관한 증상을 배제하고, 진단 추론 과정을 완료하기 위한 다음 단계를 식별할 수 있어야 하기 때문이다. 모든 질문에 대한 사진과 즉각적인 피드백이 포함된 온라인 퀴즈가 좋은 선택이 될 것이다.

Within medical education, part-task practice typically will focus on to-be-automatized parts of a consultation not only like clinical skills (measuring blood pressure, liver palpation and auscultation) and technical skills (e.g. venipuncture, suturing and CPR) but also practicing spot diagnoses. When designing a learning environment on the consultation with a child with fever, one may choose to offer part-task practice on the diagnosis of prototypical examples of childhood infectious diseases (spot diagnosis). This skill of performing a correct spot diagnosis needs to be highly automatized because it requires that a student is able to quickly recognize the relevant symptoms, to exclude irrelevant symptoms and to identify the next steps for completing the diagnostic reasoning process. An online quiz with photos and immediate feedback on every question would be a good option.

삽화

Illustration

그림 5는 복수 선택 형식의 일련의 파트타임 연습에 대한 개요를 제공한다.

Figure 5 provides an overview of a set of part-task practice exercises in the multiple-choice format.

구현 전략 및 관리 계획

Implementation strategy and management plan

(4C/ID 모델과 같이) 전체 작업 모델의 개발과 구현은 많은 실용적, 이론적 및 기술적 문제에 의해 억제되거나 심지어 억제되는 경우가 많다. 따라서 실행전략과 관리계획을 수립하는 것이 바람직하다.

the development and implementation of whole-task models (like the 4C/ID model) is often inhibited, even restrained, by many practical, theoretical and technical issues. Therefore, it is advisable to have an implementation strategy and management plan.

kotter(1995)가 제시하고 Steinert 등이 의학 교육에 적용한 변화를 선도하는 모델을 사용할 수 있다. (2007). kotter(1995)는 변화 과정에서 자주 발생하는 8가지 오류를 제시하고 성공적인 변화의 기회를 늘리기 위해 동일한 수의 조치를 제안했다. 표 6에서는 Kotter(1995년)가 설명한 바와 같이 의료 교육에서 혼합된 전체 직무 학습을 지향하는 변경 주기에서 취해야 할 추가 단계와 함께 그 조치가 나열되어 있다.

one could use a model for leading change, presented by Kotter (1995) and applied in medical education by Steinert et al. (2007). Kotter (1995) presented eight frequently made errors in the process of change and suggested an equal number of actions in order to increase the chance for successful change. In Table 6, the actions, as described by Kotter (1995), are listed together with additional steps to be taken in the change cycle toward blended, whole-task learning in medical education.

조치 1: 긴박감 설정

Action 1: Establish a sense of urgency

(의료) 교육의 어떤 관행을 개선할 수 있는지 정의하라. 단기 및 장기적 개선 사항 정의 

Define what practices of (medical) education can an dshould be improved. Define short-term and long-term improvements 

우리의 경우 이론과 실천의 통합이 충분하지 않고, 수업 중에 배운 것에서 인턴십 중에 본 것(그리고 그 반대로)으로 이전하는 것도 부족하다는 관측이 있었다. 그러나, 의학 교육이 복수의 역량의 통합적 획득을 점점 더 강조함에 따라, [학생들에게 교육을 제공하는 방법]과 [의학의 교육 목표] 사이에는 차이가 있었다. 이것은 교육 관행을 더 높은 수준으로 조정할 필요성에 대한 인식을 높였다. 

In our case, there was the observation that there was not sufficient integration of theory and practice and that there was also a lack of transfer from what had been learned during classes to what was seen during internship (and the other way around). However, as medical education increasingly stresses the integrated acquisition of multiple competences, there was a discrepancy between the way instruction was offered to students and the goals of medical education. This led to a raised awareness for adjusting the educational practice toward a higher standard. 

액션 2: 강력한 유도 연합 구성

Action 2: Form a powerful guiding coalition

이해관계자를 정의하라: 학습 환경의 최종 사용자, 학습 환경에 익숙한 교육 전문가, 콘텐츠 개발자, 교사 및 관리

Define the stakeholders: end-users of the learning environment, educational specialists familiar with (blended) learning environments, content developers,teachers and management

돌만스 외 연구진(2013년)이 제공하는 팁에 따라 이 과정에서 가장 중요한 것은 다음과 같다. 

• (1) 여러 의료 분야(통신 전문가, 당뇨병 전문가 및 의료 영상 전문가)와 교육 디자이너로 구성된 다분야 팀을 구성한다. 

• (2) 팀원이 서로 다른 역할(의료전문가, 콘텐츠 제작자, 콘텐츠 리바이저, 교육업무 감독자 등)을 수행하고, 교육방법에 대해 성찰할 수 있도록 준비 및 동기 부여한다. 

In line with the tips that Dolmans et al. (2013) provide, it is of utmost importance in this process to 

• (1) form multidisciplinary teams comprising several medical disciplines (like communication experts, diabetes experts and medical imaging experts)and instructional designers, and 

• (2) prepare and motivate team members to fulfill different roles (medical expert, content creator, content reviser, supervisor for training tasks, etc.) and to reflect on their methods of instruction. 

• 전자는 Authentic한 과제의 다양한 측면을 통합하는 균형 잡힌 전체 과제의 개발에 중요하다. 

• 후자는 학습 환경의 개발, 성공적인 구현 및 후속 조치에 있어 부가 가치가 있다.

The first is crucial for the development of balanced, whole-tasks that integrate different aspects of authentic tasks; 

the latter is of added value when it comes to the development, successful implementation and follow-up of the learning environment.

예를 들어, 학습 환경의 재/개발을 지원하기 위해 ID 모델을 사용하기로 결정하면 이해관계자는 모델의 모든 요소를 자산 가치asset value에 맞게 평가할 필요가 있다. 이를 설명하기 위해, 일반 사례 4C/ID 모델에서 일부 학습 모듈에서는 선택한 작업 측면에 대한 높은 수준의 자동성이 특정 학습 모듈의 목표의 일부가 아니기 때문에 파트 작업 관행의 구성요소를 제외했다. 강력한 guiding coalition은 [모델의 모든 요소를 자산으로 간주하는 교육설계자]와 [쉽고 실용적인 요소만을 고려하는 교사 및 콘텐츠 개발자] 사이에서 균형을 잡아준다.

For example, once decided to use an instructional design model to support the re/development of a learning environment, the stakeholders need to assess every element of the model to its asset value. To illustrate this, in the General Practice 4C/ID model, the component of part-task practice was left out in some learning modules because high levels of automaticity for selected task aspects were not part of the objectives of that specific learning module. A powerful guiding coalition forms a counterbalance for instructional designers that consider all elements in the model as assets (‘‘it is a validated model, after all’’), and for teachers and content developers that consider only those elements that are easy and practical to implement.

조치 3: 비전 생성

Action 3: Create a vision

증거 기반 원칙을 적용하라

Apply evidence-based principles

의학 교육 연구는 교육 디자인 연구로부터 경험적으로 타당한 원리를 조사하고 적용함으로써 진화할 수 있다. 예를 들어 인지 심리 연구는 의학 교육에 큰 가치가 있을 수 있다(2010년 추월). 이 값의 예시는 반 메리 nnboer & 스웨터(2010)가 보건 전문 교육에 인지 부하 이론을 적용할 수 있는 방법을 논의하는 데 있다. 이러한 맥락에서 매우 목적적합한 한 가지 원칙은 [초보 학습자에게 잘 적용되는 원칙이 항상 유익하지는 않으며 심지어 더 진보된 학습자에게 해로울 수 있음]을 나타내는 expertise reversal effect다.

Medical education research can genuinely evolve by investigating and applying empirically sound principles from instructional design research. Cognitive psychological research, for example, can be of great value for medical education (Schuwirth 2010). An illustration of this value is given by van Merrie¨nboer & Sweller (2010) discussing how cognitive load theory can be applied in health professional education. One principle that is highly relevant in this context is the expertise reversal effect indicating that principles that work well for novice learners are not always beneficial, and can even be detrimental, for more advanced learners.

예를 들어, 태스크 클래스의 시작 부분에서 제공되는 worked example는 이미 지식이 충분한 학습자에게는 불필요하다. Worked example는 [주의 깊은 학습을 필요로하는 완전한 해결책]을 제공하여 (novice) 학습자의 인지 부하를 줄이기 위해 도입되었다. 학습자는 해결책을 생성하기 위해 노력을 기울이는 대신, 전문적인 해결책을 연구하고 예를 상세히 설명하는데 모든 노력을 투자할 수 있다. 교육 혁신에 대한 비전을 정의하기 위해 어떤 교육적 설계 원칙이 사용되는지에 관계없이, 그들은 대개 기술 혁신의 설계, 개발 및 구현에서 내려야 할 선택을 정의할 것이다. 따라서, 이러한 비전과 그 기본 원칙을 설명하고 전달하는 것은 모든 이해관계자들이 교육 혁신 과정에 진정으로 기여할 수 있도록 지원할 것이다.

For example, a worked example that is offered at the beginning of a task class becomes redundant for more knowledgeable learners. Worked initially examples are introduced to reduce a (novice) learner’s cognitive load by providing a full solution that needs to be studied carefully. Instead of investing effort in trying to generate a solution, learners can invest all effort to studying the expert solution and elaborating on the example. Irrespective of what instructional design principles are used to define the vision towards educational innovation, they will largely define the choices to be made in the design, development and implementation of the innovation. Hence, explaining and communicating this vision and its underlying principles will support all stakeholders to genuinely contribute in the process of educational innovation.

조치 4: 비전 전달

Action 4: Communicate the vision

모든 이해관계자와 교육적 접근 방식 논의

Discuss the instructional approach with all stakeholders

이 조치는 비전과 그 기본 원칙을 모든 이해관계자에게 명확히 하기 위한 것이다. 초기 회의에서는 교육 설계 방법(본 연구에서는 4C/ID모델)을 도입하여 교육 변경에 관련된 강사 및 콘텐츠 개발자와 논의할 수 있다. 원래 4C/ID 모델에서 시작할 수 있지만, 초기 미팅에서 주어진 이해관계자의 피드백을 바탕으로 수정할 필요가 있을 수 있다. 우리의 구체적인 사례에서, 선생님들과 학생들은 4C/ID 모델에서 구성요소의 구조와 표현이 그들에게 완전히 명확하지 않다는 것을 나타냈다. 결과적으로, 모델의 시각적 표시는 의학 교육에 4C/ID 모델을 적용하기 위해 특별히 개발된 아이콘으로 더 명확해졌다.

This action is intended to make the vision, and its underlying principles, clear toward all stakeholders. In an initial meeting, the instructional design method (in this study, the 4C/IDmodel) can be introduced to and discussed with the instructors and content developers involved in the educational change. One can start from the original 4C/ID model but may need to make modifications based on the feedback of the stakeholders that is given during the initial meeting. In our specific case, teachers and students indicated that the structure and wording of the components in the 4C/ID model was not entirely clear to them. Consequently, the visual presentation of the model was made clearer with icons that were specifically developed for this application of the 4C/ID model in medical education.

결과적으로 이러한 아이콘을 사용하여 작업, 지원 및 절차 정보, 작업 예제 등에 라벨을 붙임으로써, 학생, 강사 및 콘텐츠 개발자는 학습 환경의 구조에 익숙해졌고, 쉽게 자신의 길을 찾고 과제와 과제 수업을 탐색할 수 있었다. 또한 과제물의 총 집합을 표시하고 과제수업을 통해 학생들의 진행상황을 알려줌으로써 학생들은 과제와 과제수업 완료를 쉽게 관리할 수 있었다. 접근법을 보다 명확하게 하기 위해 아이콘을 추가하는 것은 초기 단계에서 이해관계자들과 비전에 대해 토론한 결과였다.

By consequently using these icons to label tasks, supportive and procedural information, worked examples and so forth, students, instructors as well as content developers became familiar with the structure of the learning environment and could easily find their way and navigate through tasks and task classes. Furthermore, by indicating the total set of tasks and informing students of their progress through the taskclasses, students could easily manage the completion of tasks and tasks classes. Adding icons to make the approach more clear was a consequence of discussing the vision with the stakeholders at an early stage.

조치 5: 다른 사람이 비전에 따라 행동할 수 있도록 권한 부여

Action 5: Empower others to act on the vision

선생님들을 교육한다.

Teach the teachers

로드맵이나 템플릿은 콘텐츠 개발자에게 개발 과정을 단계적으로 안내하며, 태스크 클래스별로 필요한 요소를 중심으로 구축되어 요소별 추가 정보를 제공한다. 로드맵을 도입하기 위해, 교육적 접근방식이 실제 사례와 함께 설명되는 교사와 콘텐츠 개발자를 위한 실습 세션을 구성할 수 있다. General Practice 4C/ID 모델 개발에 사용된 로드맵은 부록 B에 제시되어 있으며, 부록 B에 보충 자료로 제공되어 있다.

Roadmaps or templates guide the content developers stepwise through the development process and are built around the elements that are required per task class, providing additional information per element. To introduce the roadmap, one could organize a hands-on session for teachers and content developers wherein the instructional approach is illustrated with practical examples. The roadmap as used for the development of the General Practice 4C/ID model is provided in Appendix B, available as Supplemental Material at http:// informahealthcare.com/journal/mte.

조치 6: 단기 성공을 계획하고 이루기

Action 6: Plan for and create short-term wins

단기적 성공을 향한 계획: 고품질의 학습 자료 사용 또는 재사용

Plan for short-term wins: use or reuse learning materials of high quality

의학적 지식, 기술 및 태도의 습득을 위한 (컴퓨터 기반) 학습 환경의 개발에서, 이용 가능한 모든 학습 콘텐츠는 다음 세 가지 각도에서 보아야 한다.

In the development of a (computer-based) learning environment for the acquisition of medical knowledge, skills and attitudes; all available learning content should be viewed at from three angles:

(1) 기존 학습자료는 의사들이 임상현장에서 갖춰야 하는 다양한 역할을 고려하여, 지식, 기술 및 태도의 통합적 개발을 촉진하기에 충분한 양질의 학습자료가 되는가?

(1) Are the existing learning materials of sufficient high quality to foster the integrated development of knowledge, skills and attitudes, taking into account the different roles a physician should be able to take in his/her practice?

(2) 학습 모듈 내에 과제 유형과 상호작용의 변동이 충분한가? 높은 변동성과 다양한 상호작용성을 보장하기 위해, 기존 학습 자료는 이미 존재하는 변동성과 상호작용성의 정도를 식별하여 분류해볼 수 있다. 다양성과 다양한 형태의 상호작용을 촉진하기 위해, 여러 유형의 학습 과제를 개괄적으로 작성하고, 유형을 나타낼 수 있다. 

• 어떤 컨텍스트를 제공할 수 있는지(인턴트 교육 과정에서의 과제, 온라인 텍스트 질문, 온라인 비디오) 

• 어떤 상호작용이 가능했는가(학생, 학생 환경, 학생 강사, 학생 수업) 및 

• 어떻게 학생 성과를 평가하는지(2단계: 평가 도구 개발)

(2) Is there sufficient variability in task type and interactivity within the learning modules? To assure high variability and a range of interactivity, existing learning materials can be categorized into the way they are presented (see roadmap in Appendix B, available as Supplemental Material at http://informahealthcare.com/journal/mte) as to identify the degree of variability and interactivity that is already present. 

To foster variability and different forms of interactivity, one could create an overview of several types of learning tasks (see Appendix A, available as Supplemental Material at http://informahealthcare.com/ journal/mte), and indicate for all types in 

• what context the task can be offered (training task in internship, task in course class, online text questions, online video), 

• what interactivity was possible (student–student; student–environment; student–instructor; student–class) and 

• how student performance could be evaluated (step 2: develop assessment instruments).

(3) (기존) 학습자료가 컴퓨터 기반 교육을 통해 제공될 수 있을 정도로 적합한가? 이 질문은 온라인 콘텐츠 관리 시스템에서 이 콘텐츠를 학습 환경의 인프라로 제공할 때 종이와 연필을 사용하여 얻은 효과와 효율성이 반드시 유지되는 것은 아니라는 개념에서 비롯된다. 이는 학습 자료의 특성뿐만 아니라 내용이 제공되는 환경의 기술적 특성과 제한에도 기인한다.

(3) Are the (existing) learning materials suitable enough to be offered via computer-based instruction? This question stems from the notion that the effectiveness and efficiency as obtained by the use of paper-and-pencil materials does not necessarily hold when this content is offered in an online content management system as the infrastructure for the learning environment. Not only is this due to the nature of the learning materials but also to the technical characteristics and restrictions of the environment in which the content is offered.

단기적인 승리 창출: 최종 사용자를 통한 프로토타입 테스트

Create short-term wins: prototype testing with end-users

환경의 장단점에 대한 피드백을 받을 때 [미래의 최종 사용자로서의 학생과 교사의 기여는] 과소평가되어서는 안 된다(Dolmans et al. 2013). 설계, 개발 및 시험 단계의 주요 함정은 미래 사용자의 통찰력을 이용하지 않는 것이다. 이 경우, 강사와 학생 모두 학습 환경의 최종 사용자로 간주되었고, 이미 그들은 학습 환경의 요소를 비판적으로 반영하기 위해 참여하였다. 혁신적인 전과제 접근방식의 이면에 있는 아이디어를 설명하자는 돌만스 외 연구진(2013)의 제안에 따라, 학습 환경의 원칙과 구조를 제시하고 논의하는 사용자 그룹을 구성하였다. 사용자 그룹의 논의는 학습 환경을 더욱 세분화하기 위한 귀중한 정보를 제공했다. 설계와 개발 과정에 사용자를 지속적으로 참여시킴으로써, 첫눈에 중요한 사용자는 새로운 접근법의 최고의 옹호자가 될 수 있다. 게다가, 학생들은 교육 방법과 기대되는 학습 접근법에 익숙해진다.

The contribution of students and teachers as future end-users should not be underestimated when it comes to receiving feedback on the environment’s strengths and weaknesses (Dolmans et al. 2013). A major pitfall in the design, development and testing phases is not making use of future users’ insights. In this case, both instructors and students were considered as end-users of the learning environment and already in the conceptual design phase they were involved to critically reflect on the elements in the learning environment. In line with the suggestion by Dolmans et al. (2013) to explain the ideas behind the innovative whole-task approach, user groups were organized in which the principles and structure of the learning environment were presented and discussed. The discussions in the user groups provided valuable information to further refine the learning environment. By continuously involving the users in the process of design and development, at first sight, critical users may become the best advocates of the new approach. Moreover, students become familiar with the instructional methods and the expected learning approaches.

조치 7: 개선 사항 통합 및 더 많은 변화 창출

Action 7: Consolidate improvements and produce still more change

미래지향적 작업

Work future-oriented

향후의 학습 환경의 발전과 지속가능성에 관해서는, 학습자료에 메타데이터를 접목시킬 수 있다. 메타데이터는 학습 자료를 [주제, 교육 수준, 성과 목표, 의도된 사용자, 통합할 역할 수] 등의 값을 활용하여 라벨링할 수 있다. 메타데이터가 있을 경우 필수 기준에 맞는 콘텐츠를 찾기 위해 학습 자료의 저장소 검색이 가능해지는 장점이 있으며(Ellaway & Masters 2008) 다른 환경에서 학습 자료의 재사용도 촉진할 수 있다. 본 가이드에서는 학습 자료를 분류하는 기준과 그 매개변수를 기술함으로써 메타데이터 개요에 대한 첫 번째 시도를 제안했다.

With respect to future development and sustainability of the learning environment, learning materials can be provided with metadata. Metadata can label learning materials with values for subject, education level, performance objectives, intended users, number of roles to integrate, and so forth. The added value of metadata is that they allow for searching repositories of learning materials in order to find content that meets the required criteria (Ellaway & Masters 2008), but they also foster reuse of learning materials in other environments. In this Guide, we have proposed a first attempt to a metadata overview by describing the criteria and their parameters by which learning materials are categorized.

모든 최종 사용자와 함께 평가

Evaluate with all end-users

학생들이 학습 환경에서 모든 과제를 완료한 후( 인턴십 과제를 포함), 질적 평가와 양적 평가를 모두 수행할 수 있다. 세 개의 최종 사용자 그룹이 평가에 참여해야 한다: 

• 학습 환경의 주요 최종 사용자로 간주될 수 있는 학생, 

• 교육 관행의 도구로 학습 환경을 사용한 교사, 그리고 

• 미래의 혁신 사이클에서 다루어질 필요가 있는 기술적, 실제적인 문제에 직면할 가능성이 있는 개발자 또는 교육 전문가.

평가는 콘텐츠의 품질뿐만 아니라 사용자 친화성과 학습 환경의 기능성에 초점을 맞출 수 있다.

After students complete all tasks in the learning environment (including internship tasks), both qualitative and quantitative evaluations can be performed. Three end-user groups need to take part in the evaluations: 

• students as they can be considered as the primary end-users of the learning environment; 

• teachers as they have used the learning environment as a tool in their educational practice; and 

• developers or educational specialists as they likely have encountered technical and practical issues that need to be dealt with in a future cycle of innovation. 

Evaluations may focus on the quality of the content as well as on the user-friendliness and functionality of the learning environment.

문서화

Document

학습 환경을 개발하고 구현하는 점진적인 프로세스에서, 무엇이 개발되었는지, 어떤 단계가 취했는지, 어떤 문제가 처리되었는지, 그리고 어떻게 하면 모든 팀 구성원이 존재하는 흐름을 방해하는 다소 불안한 작업으로 보일 수 있다. 그러나, 문서화는 다음 번 성공적인 교육 혁신의 백본 중 하나이기 때문에 큰 이점을 제공한다.

In the progressive process of developing and implementing a learning environment, documenting what has been developed, what steps have been taken, what issues have been dealt with and how may seem like a rather disturbing task that interrupts the flow wherein all team members are. However, documenting offers great advantages as it is one of the backbones of the next successful educational innovation.

문서 작성에 충분한 시간을 할애하기로 결정할 수 있는 여러 가지 이유가 있다. 

• 모든 팀 구성원을 궤도에 올리고, 이해관계자에게 알린다. 

• 팀 구성원에게 백업을 제공하고 명확성과 추적성을 제공한다. 

• 그것은 보급의 출발점을 제공하고 좋은 문서로 교사를 지원하고 훈련시키는 데 필요한 시간을 줄인다.

There are a number of reasons why one could decide to spend enough time on documenting: 

• it keeps all team members on track, it keeps the stakeholders informed; 

• it provides a back-up for the team members; it provides clarity and traceability; 

• it provides a starting point for dissemination and with good documentation, the time needed to support and train teachers is reduced.

문서화할 항목을 결정할 때 다음 요소를 포함해야 한다. 

• 직면했던 위험 및 기술적 문제, 그리고 그 문제가 어떻게 처리되었는지

• 아이콘, 비디오, 사진 등 재사용 가능한 모든 자료 

• 웹 사이트의 교육 자료 식별 

• 개발 및 구현에 대한 보고서 

• 소규모 사용자 그룹의 테스트에 대한 보고서 

• 이해관계자의 제안 

• 학습 환경의 미래 최종 사용자를 위해 '할 것'과 '하지 말아야 할 것'이 열거된 문서

When deciding what to document the following elements should be included: 

• risks and technical issues that were encountered and how they were dealt with; 

• all re-usable materials like icons, videos, pictures; 

• identification of educational materials on websites; 

• reports on development and implementation; 

• reports on testing by small user groups; 

• suggestions made by stakeholders and 

• a separate document where do’s and don’ts are listed for future end-users of the learning environment.

조치 8: 새로운 접근법 제도화

Action 8: Institutionalize new approaches

배포하고 토론

Disseminate and discuss

변경 과정의 마지막 단계로서, Steinert 등. (2007)은 새로운 접근방식을 기관의 문화에 정착시킬 것을 제안했다. 이러한 앵커링을 위해서는 의료 커리큘럼에서 새로운 접근방식을 지지하기 위한 광범위한 지원을 창출하기 위해 보급이 필요하다. 개발 및 구현 과정을 보급함으로써 동료 연구자, 동료 교사 및 동료 설계자로부터 피드백을 받아 현재와 미래의 학습 환경을 최적화하기 위한 input으로 다시 사용한다. 게다가, dissemination은 의학교육의 혁신을 더욱 촉진하기 위해서, 변화 과정의 어떤 성공적인 요소들이 의료 커리큘럼의 다른 부분으로 이전될 수 있는지에 대해 논의할 수 있게 한다.

As a last step in the change process, Steinert et al. (2007) suggested to anchor the new approaches in the culture of the institution. For this anchoring, dissemination is needed in order to create a widespread support for endorsement of the new approach in the medical curriculum. By disseminating the process of development and implementation, one gets feedback from peer researchers, peer teachers and peer designers, which again provides input for optimization of the current and future learning environments. Moreover, dissemination allows to discuss what successful elements in the change process can be transferred to other parts of the medical curriculum as to further stimulate innovation in medical education.

결론

Conclusion

4C/ID 모델은 교육 설계, 인지 심리학 및 정보 처리 이론에 대한 연구로부터 광범위한 증거 기반 원칙에 기초한다. 따라서 밴 메리 ̈nboer & Kirschner(2013)에 의해 설명된 단계에 따라 모델의 일부를 구현하면 지침 설계가 개선될 가능성이 있다.

The 4C/ID model is based on a broad range of evidence-based principles from research on instructional design, cognitive psychology and information processing theories, hence implementing parts of the model in accordance with the steps as described by van Merrie¨nboer & Kirschner (2013) and in this Guide, is likely to improve the instructional design.

교육환경평가도구(ECI): 전임상과 임상단계에서 의과대학생의 인식 측정(Acad Med, 2017)

The Educational Climate Inventory: Measuring Students’ Perceptions of the Preclerkship and Clerkship Settings

Edward Krupat, PhD, Nicole J. Borges, PhD, Richard D. Brower, MD, Paul M. Haidet, MD, MPH, W. Scott Schroth, MD, MPH, Thomas J. Fleenor Jr, MEd, and Sebastian Uijtdehaage, PhD

초등학교부터 레지던트까지의 환경에서는 학습환경에 대한 학생들의 긍정적 인식이 학습 의욕 증가, 성취도 향상, 피로감 감소 등 다양한 결과와 연관되어 있음을 입증했다.1 66 이와 일관되게 미국과 캐나다에서는 의료교육연락위원회7과 캐나다 의과대학 인가위원회8은 긍정적인 환경이 존재함을 보장한다는 목표를 가지고 의과대학이 학습환경을 감시할 것을 명시적으로 요구한다.

In settings from elementary school through residency, it has been demonstrated that students’ perceptions of the learning environment as positive are associated with a variety of outcomes such as greater motivation for learning, higher levels of achievement, and lower levels of burnout.1–6 Consistent with this, in the United States and Canada, the Liaison Committee on Medical Education7 and the Committee on Accreditation of Canadian Medical Schools8 explicitly require medical schools to monitor their learning environments, with the goal of ensuring that a positive environment exists.

의과대학 학습환경을 평가하기 위한 여러 척도가 존재하며, 졸업후의학교육환경을 평가하는 도구도 등장하기 시작하고 있다.10 그러나, 최근 2014,11,12, 2010,13에 발표된 의과대학 기울기 환경기구에 대한 세 가지 체계적인 리뷰는 이러한 계측기 대부분이 적절한 심리측정적 표준을 충족하지 않음을 보여준다.

Several instruments exist to assess the medical school learning environment, and instruments that assess the graduate medical education environment are beginning to appear.10 However, three recent systematic reviews of medical school leaning environment instruments, published in 2014,11 2012,12 and 2010,13 indicated that most of these instruments do not meet appropriate psychometric standards.

환경 심리학자들이 지적한 바와 같이 "환경"은 여러 가지 방법으로 특징 지을 수 있다.14,15 의과대학 환경을 평가하는 대부분의 기구들은 여러 가지 관점에서 폭넓게 고려한다. 전세계적으로 널리 사용되고 있는 던디 레디 교육 환경 측정 16,17은 4요소 구조를 가지고 있다. 의대 학습환경조사, 18,19 최근 수정하여 28개 학교 연구의 일부로 사용, 18개 또한 다양한 영역을 다룬다.

As noted by environmental psychologists, the “environment” can be characterized in many different ways.14,15 Most instruments that assess the medical school environment consider it broadly, from multiple perspectives. The Dundee Ready Educational Environment Measure,16,17 which has been used widely throughout the world, has a four-factor structure . The Medical School Learning Environment Survey,18,19 recently modified and used as part of a 28-school study,18 also covers a variety of domains

존스 홉킨스 학습 환경 척도20,21은 동급생 커뮤니티("다른 SOM [의학 학교] 학생들과 얼마나 연결되어 있다고 생각하십니까?")에서 포함 및 안전("SOM에서 학생들이 학대를 당할까 염려된다")에 이르는 7가지 항목으로 구성되어 있다.

The Johns Hopkins Learning Environment Scale20,21 has seven subscales ranging from 

• community of peers (“How connected do you feel to other SOM [school of medicine] students?”) to 

• inclusion and safety (“I am concerned that students are mistreated at the SOM”).

이와는 대조적으로, 우리가 여기서 소개하는 기구는 의대 환경의 한 가지 중요한 측면인 교육 분위기climate에 초점을 맞추고 있다. 잘 존중되는 캐롤 드벡222424의 이론적 모델을 의학 교육에 접목시켜 우리는 의과대학의 교육적 가치와 문화가 두 가지 방법 중 하나로 집중될 수 있다는 점에 주목한다.

In contrast, the instrument we introduce here is focused on one critical aspect of the medical school environment, the educational climate. Adapting the well- respected theoretical model of Carol Dweck22–24 to medical training, we note that the educational values and culture of a medical school can be focused in one of two ways.

• 학습 지향적 또는 숙달 지향적 환경에서는, 커리큘럼(공식적·비공식적)이 지식과 기술을 향상시킬 뿐만 아니라 비판적 사고와 자기주도적 학습을 장려하는 쪽으로 맞춰지는 풍토를 조성하는 데 초점이 맞춰져 있다. 그러한 환경에서는 불확실성은 두려워하기 보다는 수용되어야 할 것으로 여겨진다; 교수들은 학생들의 답이 옳은지 아닌 이성적인 능력을 중시한다; 그리고 학생들은 많은 세부적인 피드백을 받고 어떻게 개선할 것인지에 대해 성찰하도록 권장된다. 형성적 평가 시스템 개발 필요성에 대한 최근의 논의는 이 접근법과 일치한다.25,26

In a learning- or mastery- oriented climate, the focus is on students’ development and growth, on creating a climate in which the curriculum (formal and informal) is geared toward not only increasing knowledge and skills but also encouraging critical thinking and self-directed learning. In such a climate, uncertainty is to be embraced rather than feared; faculty value students’ ability to reason, not just whether their answers are correct; and students receive a great deal of detailed feedback and are encouraged to reflect on how to improve. Recent discussions about the need to develop formative assessment systems are consistent with this approach.25,26

• 이와는 대조적으로, 성과 지향적인 분위기는 역량의 발전보다는 역량의 demonstration에 중점을 둔다. 이런 분위기 속에서 학생들은 역량의 성장보다 역량의 외관에 더 신경을 쓴다. 그들은 다른 사람들의 눈에는 자신만만한 것처럼 보이려고 애쓰면서, 그리고 부정적인 결과를 초래할 수 있는 것에 대한 두려움 때문에 피드백을 피하려고 애쓰면서, 불확실성을 감추기 쉽다.

In contrast, a performance-oriented climate places the emphasis on the demonstration of competence rather than its development. In such a climate, students are concerned more about the appearance of competence than the growth of competence. They are likely to hide their uncertainty, while trying to seem confident in the eyes of others, and to avoid feedback for fear of its possible negative consequences.

방법

Method

자료 수집

Data collection

2014년 봄 6개 의과대학에서 자료를 수집했다.

Data were collected in spring 2014 at six medical schools.

비록 이것이 의과대학의 무작위 표본은 아니었지만, 6개는 지리적 위치, 크기, 민간의 지위가 다양하며, 그들의 주요 교육 임무에서는 상당히 다르다. 자료수집 당시 이들 학교 중 3곳은 최소 3단계 이상 등급이 매겨진 전점제를, 3곳은 단순 합격불합격제를 사용했다. 6개 학교 모두 핵심 사무소에서 학생들에게 점수를 주었다.

Although this was not a random sample of medical schools, the six are diverse in geographical location, size, and public–private status, and they differ considerably in their primary educational missions. At the time of data collection, three of these schools used a preclerkship grading system with at least three levels of grades, and three used a simple pass–fail system. All six schools gave grades to students in their core clerkships.

확장 개발 및 관리

Scale development and administration

의대 교실이나 임상 환경과 동등하게 관련이 있다고 표현된 50개 항목의 풀은 학생들의 평가를 위해 생성되었다. 대부분의 항목은 첫 번째 작성자(E.K)가 작성했으며, 모든 항목은 전체 공동연구자에 의해 피드백과 가능한 수정에 대해 검토되었다. 이 문항들은 드벡의 학습-퍼포먼스 구별의 다양한 측면을 포착하기 위해 의도적으로 작성되었다.22–24 블루프린트는 다음의 차원이 포함한다.

• 학습의 목표 또는 집중(예: 적용 대 사실 유지) 

• 교직원 관계와 학생 관계의 특성 

• 숨겨진 커리큘럼의 존재(즉, 명시된 목표와 실제 정책 및 교수진의 조치 사이의 불일치)

A pool of 50 items, phrased to be equally relevant to the medical school classroom or clinical setting, was generated for rating by students. Most items were written by the first author (E.K.), and all were reviewed for feedback and possible revision by the full set of co-investigators. The items were written intentionally to capture various aspects of Dweck’s learning–performance distinction.22–24 The blueprint included specific dimensions, such as 

• goal or focus of learning (e.g., application vs. retention of facts); 

• nature of faculty–student relationships and student–student relationships; and 

• presence of a hidden curriculum (i.e., inconsistencies between stated goals and actual policies and actions by faculty). 

50문항은 긍정적이고 부정적인 단어를 모두 포함했다. 모든 응답은 "강력하게 동의한다"부터 "강력하게 반대한다"에 이르는 4개항의 리커트 척도를 사용하여 이루어졌다. 분석을 위해, 모든 부정적으로 단어화된 항목은 역코딩되어 더 높은 점수가 항상 더 학습 지향적인 환경을 반영하도록 하였다.

The 50 items included both positively and negatively worded items. All responses were made using a four-point Likert scale, which ranged from “strongly agree” to “strongly disagree.” For analysis purposes, all negatively worded items were reverse coded so that a higher score always reflected a more learning-oriented climate.

이 평가도구에서는 학생들에게 "의과대학"에서 경험했던 대로 "PRECLERKSHIP (또는 3학년 학생, CLERKSHIP) 학습 환경에 관한 느낌"을 제공하도록 요청했다. 학생들은 50개 항목에 동의하거나 동의하지 않는 정도를 나타내기 위해 4점 척도를 사용하도록 지시받았고, 의대에 대한 만족도를 2개 항목으로 평가하도록 했다(지금까지 의과대학에서의 경험에 대해 극도로 만족한다, 친구가 물어보면 우리 의과대학에 오라고 적극 추천하고 싶다). 그리고 직업으로서의 의학의 선택(1항목: 나는 내가 의학에 들어갈 때 올바른 선택을 했다고 확신한다.)을 물어보았다. 학생들에게는 제한된 인구통계학적 정보를 제공하도록 요청하였.

The instrument’s instructions asked students to provide their “feelings concerning the PRECLERKSHIP [or for third-year students, CLERKSHIP] learning environment as you have experienced it here at [medical school name].” Students were instructed to use the four-point scale to indicate the extent to which they agreed or disagreed with the 50 items as well as to rate their satisfaction with their medical school (2 items: “I am extremely satisfied with my medical school experience so far”; “If asked by a friend, I would strongly recommend that he or she go to my medical school”) and their choice of medicine as a career (1 item: “I feel certain that I made the right choice in going into medicine”). They were also asked to supply limited demographic information.

마지막으로, 학생들은 그들의 노력과 성적에 따라 평가받기를 원하는 비율과 성과에 기초하여 평가받기를 원하는 비율을 표시함으로써, 그들의 노력과 성적에 따라 평가 받는 것에 대한 선호도를 100퍼센트까지 증가시키기 위해 평가하도록 요구받았다. 학생들이 실제 숫자로 노력 대 평가 수행에 선호되는 상대적 가중치를 나타냈지만, 분석 목적을 위해 이 변수는 세 가지 범주로 분류되었다. 

• 노력보다 성과(이상 51%)로 평가받기를 더 좋아하는 사람, 

• 50대 50을 선호하는 사람

• 성과보다 노력(이상 51%)으로 평가받기를 더 좋아하는 사람.

Finally, students were asked to rate their preference for being judged by faculty according to their effort versus their performance, by indicating the percentage they desired to be assessed based on effort and the percentage based on performance, to add up to 100%. Although students indicated in real numbers the relative weight that they preferred to be given to effort versus performance in assessments, for analysis purposes this variable was coded into three categories: 

• those who preferred to be judged more by their performance (≥ 51%) than by their effort, 

• those who preferred a 50–50 split, and 

• those who preferred to be judged more by their effort (≥ 51%) than by their performance.

임상 전 학생들에게 보내진 평가 계측기 사본은 http://links.lww.com/ACADMED/A452에서 보충 디지털 부록 1로 이용할 수 있다. 임상 학생에게 보낸 기구는 위에서 언급한 한 가지 예외를 제외하고 동일했다.

A copy of the survey instrument that was sent to preclinical students is available as Supplemental Digital Appendix 1 at http://links.lww.com/ACADMED/A452. The instrument sent to clinical students was identical, with the one exception noted above.

척도 분석

Scale analysis

총 표본의 크기가 안정된 요인 분석 결과를 생성하는 데 필요한 항목별 응답 비율을 훨씬 초과했기 때문에,31 우리는 50개 항목에 대한 탐색 요인 분석(EFA)을 수행하기 위해 표본의 절반을 무작위로 선택했다. EFA의 경우, 최대우도 분석과 함께 구획의 상호 상관 관계를 설명하기 위해 판촉 회전을 사용했다. 요인은 생성된 스크리 플롯의 팔꿈치 위에 있고 고유값이 1보다 높은 경우 유지되었다. 이러한 요인 내의 항목은 1차 요인에 대해 ≥ 0.40을 로드한 경우 또는 1차 요인에 대해서만 0.35를 로드한 경우 유지되었다.

Because the size of the total sample far exceeded the respondents-per-items ratio required to generate stable factor analytic results,31 we selected half the sample at random to perform an exploratory factor analysis (EFA) on the 50 items. For the EFA, we used a promax rotation to account for the subscales’ intercorrelation along with a maximum likelihood analysis. Factors were retained if they were above the elbow of the generated scree plot and had eigenvalues > 1. Items within those factors were retained if they loaded ≥ 0.40 on their primary factor— or, if they were not factorially complex, if they loaded ≥ 0.35 on one factor only.

EFA의 경험적 발견을 이용하여 저울의 기초구조를 확립한 결과, 보유품목만을 이용하여 표본의 나머지 절반에 대해 확인인자분석(CFA)을 수행하였다. 이는 계측기의 잠재적 구조를 검증하고, 항목 요인 관계의 패턴을 검증하며, 적절한 요인의 수를 추가로 결정하기 위해 수행되었다.

Having established the underlying structure of the scale using the empirical findings of the EFA, we performed confirmatory factor analysis (CFA) on the other half of the sample using the retained items only. This was done to verify the latent structure of the instrument, validate the pattern of item–factor relationships, and further determine the appropriate number of factors.

결과

Results

표본

The sample

총 1441명의 학생이 설문조사를 완료했으며, 조사 대상 6개 학교 각각에서 99~407명의 응답자가 응답했다. 학교 A–F의 응답률은 각각 59%, 47%, 78%, 49%, 81%, 22%로 전체 응답률은 56%(1,441/2,590명)로 나타났다.

A total of 1,441 students completed the surveys, with 99 to 407 respondents from each of the six schools surveyed. The response rates of Schools A–F, respectively, were 59%, 47%, 78%, 49%, 81%, and 22%, yielding an overall response rate of 56% (1,441/2,590).

총표본의 특성은 표 1에 대략 절반의 남성(48%)이었다.

The characteristics of the total sample, which was approximately half male (48%), are reported in Table 1.

요인 분석 및 ECI 항목 선택

Factor analysis and ECI item selection

50개 항목의 평균 점수 중 어느 것도 너무 극단적이지 않았고 표준 편차도 너무 좁지 않았다. 결과적으로 모든 항목은 EFA에 대해 유지되었다.

None of the 50 items’ mean scores were too extreme, nor were their standard deviations too narrow; as a result, all items were retained for the EFA.

보유기준을 충족하지 못한 품목을 삭제한 후 각각 10, 6, 4개 항목으로 3가지 요소를 남겨 두었다(표 2 참조).

After eliminating items that did not meet the criteria for retention, we were left with three factors of 10, 6, and 4 items, respectively (see Table 2).

요인 1에 대해서는 "학습 중심성과 상호존중"이라고 표기된 항목(0.65)이 가장 많았다.(0.65)는 "이 의과대학에서는 발견의 감각과 탐구에 대한 열정에 초점을 맞추고 있다" "나는 종종 어떻게 개선할 것인가에 대한 교직원의 가치 있고 지지적인 조언을 받는다."

For Factor 1, labeled “centrality of learning and mutual respect,” the highest loading items (0.65) were “In this medical school, we focus on a sense of discovery and the excitement of inquiry” and “I often get invaluable and supportive advice from faculty on how to improve.”

요인 2에 대해서는, "경쟁과 스트레스"라는 라벨을 붙였다. 가장 loading이 큰 문항은 "여기의 분위기는 경쟁이 심하다""이곳 주변은 자신이 하는 것이 뭔지 몰라도 당당하게 행동해야 한다"라고 하는 것이 가장 많았다.

For Factor 2, labeled “competiveness and stress,” the highest loading items were “The atmosphere here is highly competitive” and “Around here you have to act confidently even if you have little idea what you are doing.”

요인 3은 "수동적 학습과 암기"라고 명명했으며, "여기서 하는 일은 대부분 지식의 수동적 전달에 초점이 맞춰져 있다" "여기에서의 교육은 가능한 한 많은 내용을 암기하는 것"의 loading이 가장 컸다.

For Factor 3, labeled “passive learning and memorization,” the highest loading items were “Most of what we do here is focused on the passive transfer of knowledge” and “Education here is all about memorizing as much content as you can.”

표본의 무작위화된 하반기를 사용하는 CFA는 EFA에서 추출한 3인자 구조를 지원했다.

The CFA using the randomized second half of the sample supported the three- factor structure extracted from the EFA.

ECI 점수와 다른 변수 간의 관계

Relationship of ECI scores to other variables

학교 전체에 걸쳐 변동성이 존재하는지 여부를 판단하기 위해, 각 학교의 평균 점수(총 규모와 세 가지 요인 각각에 대해)를 비교했다(표 3 참조). 6개 학교의 점수는 상당히 달랐다(P < .001, eta2 = 0.08). 더욱이, 요소들이 적당히 상관관계가 있었지만, 주어진 요소들에 대한 학교의 상대적 지위는 다른 요소들에 대해 동일한 상대적 지위를 유지한다는 것을 보장하지 않았다.

To determine whether variability existed across schools, we compared the mean scores for each school, both for the total scale and for each of the three factors (see Table 3). Scores for the six schools differed considerably (P < .001, eta2 = 0.08). Moreover, although the factors were moderately correlated, a school’s relative standing on any given factor did not ensure that it would hold the same relative standing for a different factor.

표 4에서 보듯이, 응답자 성별이나 대학 전공에 따른 총점수에서 차이가 없음을 발견했다. 그러나 (노력보다는) 성과에 의해 평가받는 것을 선호하는 학생들은, 특히 요인 2(경쟁력 및 스트레스)의 측면에서, 학교 환경을 더 learning oriented되어있다고 볼 가능성이 상당히 높았다.

As shown in Table 4, we found no differences on total score according to respondent sex or college major. However, students who preferred to be judged more by performance than by effort were significantly more likely to see their school’s environment as learning oriented, most notably on Factor 2 (competitiveness and stress)

임상실습 학생들의 총 점수는 전임상실습 학생들에 비해 현저히 낮았고, 임상실습 학생들이 학습 환경을 상당히 더 성과(퍼포먼스) 지향적인 것으로 평가했음을 나타낸다(점원 = 58.4, 점원 = 52.9, P < .001; eta2 = 0.07).

the total scores of the clerkship students were significantly lower than those of the preclerkship students, indicating that the clerkship students rated their learning climate as significantly more performance oriented (preclerkship = 58.4; clerkship = 52.9; P < .001; eta2 = 0.07).

또한 학습기후를 보다 숙달지향적으로 인식한 학생들과 비교했을 때, 자신의 환경을 보다 성과지향적으로 본 학생들은 자신의 의과대학에 대한 만족도가 낮고(5.79 대 7.29; P < .001; eta2 = 0.25)과 직업으로서의 의학을 추구하기로 한 결정에 대한 만족도가 낮았다(3.35 대 3.77; P <001; eta2 = 0.10). 이러한 관계는 학생들이 임상 또는 재직 연도에 관계없이 동일했다.

In addition, compared with students who perceived their learning climate as more mastery oriented, students who viewed their environments as more performance oriented were less satisfied with their own medical school (5.79 vs. 7.29; P < .001; eta2 = 0.25) as well as their decision to pursue medicine as a career (3.35 vs. 3.77; P < .001; eta2 = 0.10). This relationship was the same regardless of whether students were in their clinical or preclerkship years

마지막으로, 훨씬 더 많은 수의 전임상 학생들이 노력(20%)보다 그들의 성적에 의해 더 많이 평가 받는 것을 선호한다고 말했다. 이러한 관계는 임상실습 학생들 사이에서 역전되었는데, 그 중 성적(27%)보다는 노력(41%)에 의해 평가받는 것을 더 선호한 비율이 더 높았다(P < .001).

Finally, a far greater percentage of preclerkship students indicated that they preferred to be judged more by their performance (56%) than by their effort (20%). This relationship was reversed among clerkship students, among whom a greater percentage preferred to be judged more by their effort (41%) than by their performance (27%) (P < .001).

고찰

Discussion

우리의 예측과 일치하여 

• 학생들에 의해 전임상(교실) 경험보다 임상실습 경험이 더 성과performance 지향적인 것으로 평가되었고, 

• 학생들의 전임상실습 학습 분위기에 대한 평가는 P-F 시스템 학교보다 grade 시스템 학교에서 성과performance 지향적이라고 여겨졌다(후자의 효과 크기는 작았다)

Consistent with our predictions, we found that the clerkship experience was rated by students as more performance oriented than the medical school classroom experience, and that students’ ratings of the preclerkship learning climate were more performance oriented in schools with grades than in schools with a pass–fail system, although the effect size for the latter was small.

ECI 점수는 또한 만족스러운 일관된 연관성을 보여주었다. 자신의 환경을 보다 performance oriented된 것으로 인식한 학생들은 (mastery oriented된 것으로 인식하는 학생들에 비해) 직업으로서의 의대 선택과 의대 자체에 만족하지 않았다.

ECI scores also demonstrated a consistent set of associations with satisfaction: Students who perceived their environment as more performance oriented were less satisfied with both their choice of medicine as a career and with their medical school itself compared with students who perceived their learning climate as more mastery oriented.

ECI의 신뢰성 및 유효성

Reliability and validity of the ECI

한계

Limitations

한 가지 주목할 만한 제한은 학교 전체의 응답률의 변동성에 관한 것이며, 전체 비율은 22%에서 81%까지 개별 학교 비율에서 파생된 56%이다. 많은 의학 교육 연구자들이 "조사 결과를 신뢰할 수 없다고 보아야 하는 절대적인 기준"을 갖고 있지만, 이것을 심층적으로 연구한 사회과학자들은 서로 다른 결론에 도달했다. Singer36은 이 문제에 전념하는 여론 분기 특별호에서 "조사 추정치가 반드시 편향되었다고 볼 수 있는 최소 응답률은 없으며, 반대로 절대 편향되지 않았다고 볼 응답률 기준도 없다"고 결론지었다. 최근, Meterko와 동료들은 "‘낮은’ 응답률 조사의 결과는 인구의 태도를 정확하게 나타낼 수 있다. 따라서 응답률이 낮다고 해서 결과를 uninformative라고 치부해서는 안 된다고 말했다.

One notable limitation concerns the variability in response rates across the schools, with an overall rate of 56% derived from individual school rates as low as 22% and as high as 81%. While many medical education researchers have set absolute thresholds below which they believe survey findings cannot be trusted, social scientists who have studied this in depth have come to differing conclusions. In a special issue of the Public Opinion Quarterly devoted to this issue, Singer36 concluded that “there is no minimum response rate below which a survey estimate is necessarily biased; and conversely, no response rate above which it is never biased.” More recently, Meterko and colleagues37 stated, “Results from ‘low’ response rate surveys may accurately represent attitudes of the population. Therefore, low response rates should not be cited as reasons to dismiss results as uninformative.”

학생들이 평가받기를 원하는 방법

How students want to be assessed

전임상시기의 대다수의 학생들이 그들의 성적에 의해 평가되는 것을 선호한다는 것은 놀라운 일이 아니다. 이들은 의과대학에 들어가기 위해 꾸준히 높은 성취를 보이는 교실 수행자들이어야 했기 때문이다. 그러나 이러한 학생들을 위하여 많은 교육자들이 학습과 숙달을 지원하는 교육적 환경을 조성하려고 시도하고 있음에도 이러한(노력보다 성과로 평가받길 원하는) 결과가 나온 것은 아이러니하다. 

It is not surprising that the majority of students in their preclerkship years indicated that they preferred to be judged by their performance, as they had to be consistently high-achieving classroom performers to get into medical school, although it is ironic that many educators are attempting to create educational climates for these students that support learning and mastery—that is, environments consistent with assessment on effort over performance.

우리는 학생들이 (임상교수들이 높은 수준의 성과를 기대하는) 필수 임상실습을 마쳤을 때 이 패턴이 뒤집어진다는 것에 다소 놀랐다. 이에 대한 한 가지 가능한 설명은 일단 병동에서 학생들의 임상 능력에 대한 불확실성과 교직원과 거주자의 높은 기준에 따라 수행하지 못할지도 모른다는 두려움이 학생들을 그들이 통제할 수 있는 한 가지 것에 따라 평가받기를 원하게 만든다는 것이다.

We were somewhat surprised to find the reverse pattern for students completing their core clerkships, where high levels of performance are expected by clinical faculty. One possible explanation for this is that once on the wards, students’ uncertainty about their clinical competence and fear that they may not be able to perform to the high standards of the faculty and residents lead students to want to be judged according to the one thing they can control: their effort.

이 설명과 일관되게, 학습자의 선호(노력에 따른 평가 vs 성과에 따른 평가)는 시간에 따라 달라질 수 있다

• 초보자(예: 핵심 실습 또는 레지던트 1학년)인 환경에서는, 노력에 근거한 평가를 선호할 수 있다. 

• 더 경험이 많고 자신감 있는 상황(예를 들어, 서브인터네셔널이나 레지던트 3학년)에서는 수행 능력에 따라 판단되는 것을 선호하게 된다.

Consistent with this explanation, we would predict that the preference for being judged on effort versus performance may vary over time as learners move 

• from settings in which they are novices (e.g., core clerkships or first year of residency), where they may prefer assessment based on their effort, 

• to settings in which they are more experienced and confident (e.g., subinternships or third year of residency), where they may prefer to be judged according to their ability to perform.

Conclusions

보건전문직 교육에서 학습환경의 개념화(Acad Med, 2019)

Conceptualizing Learning Environments in the Health Professions

Larry D. Gruppen, PhD, David M. Irby, MDiv, PhD, Steven J. Durning, MD, PhD, and Lauren A. Maggio, MS(LIS), PhD

교육자, 연구자, 인증관련 담당자는 보건 직업 교육에 대한 학습 환경(LEs)의 긍정적 효과와 부정적인 영향을 모두 강조해 왔다.133 학습자는 환영, 참여, 지원, 도전을 받는 환경에서는 잘 성장하지만, 학습자가 LE에서 배제당하거나, 지지받지 못하거나, 학대당한다고 인식할 경우 일반적으로 높은 수준의 우울증, 소진, 한계화 및/또는 탈진으로 이어진다.

Educators, researchers, and accreditors have highlighted both the positive and negative effects of learning environments (LEs) on health professions education.1–3 Learners thrive in settings where they are welcomed, engaged, supported, and challenged, but when learners perceive the LE to be exclusionary, unsupportive, and/or abusive, this typically leads to high levels of depression, burnout, marginalization, and/or exhaustion.

그러나 LE의 정의나 LE를 측정하는 도구에는 균일성이 거의 없다.4,5

yet there is little uniformity in definitions and measuring instruments.4,5

환경이라는 용어는 중세 프랑스어 엔비론(environ)에서 온 말로, ‘주변’으로 번역된다. 그러므로 환경은 "주변에 있거나 둘러싸고 있는 것:으로서, '특정 환경의 물리적 또는 사회적 세계'를 의미한다. 그래서 "학습 환경"은 문자 그대로 "배움을 둘러싸고 있는 환경"을 의미한다. 또 다른 정의는 "각 상황에 성격, 정신, 문화를 부여하고 그 조직 내에서 학습자가 되는 것이 어떤 것인지 설명하는 특징들의 집합"이다7(p554)

The term “environment” comes from the Middle French word “environ,” which is translated as “around.” Thus, environment means “that which is around or surrounds”—the physical or social world of a particular setting.6 So the “learning environment” literally means “that which surrounds learning.” Another definition is “a set of features that gives each circumstance and institution a personality, a spirit, a culture and describes what it is like to be a learner within that organization.”7(p554)

LE는 분위기, 학습기후, 조직문화 또는 환경, 교육환경과 자주 동의어처럼 쓰인다. 그것은 사람들이 서로 교류하는 일상적인 방식과 사회문화적 풍토의 어조뿐만 아니라 학습을 둘러싸고 있는 조직구조와 물리적 공간을 묘사한다.8 LE와 관련된 연구 전반에 걸쳐 일관된 것은 [LE의 목적은 그 환경 내에서 모든 것의 학습과 개발을 지원하는 것]이라는 관측이다.

LE is a term that is often used synonymously with atmosphere, learning climate, organizational culture or milieu, and educational environment. It describes the routine ways in which people interact with each other and the tone of the social and cultural climate as well as the organizational structures and physical spaces that surround learning.8 What is consistent across research pertaining to the LE is the observation that its purpose is to support the learning and development of all within that setting.

Josiah Macy Jr.를 위해 실시된 범위 검토에 기초하여. 2018년 4월 보건 분야의 학습 환경 개선에 관한 기초 합의 회의. 우리는 LE에 대해 다음과 같은 정의를 제안했다. 

"학습 환경은 학습자의 경험, 인식, 학습을 둘러싸고 형성하는 사회적 상호작용, 조직 문화와 구조, 물리적·가상적 공간을 말한다."

On the basis of a scoping review conducted for a Josiah Macy Jr. Foundation consensus conference on improving environments for learning in the health professions in April 2018,9 we proposed the following definition: 

“Learning environment refers to the social interactions, organizational culture and structures, and physical and virtual spaces that surround and shape the learners’ experiences, perceptions, and learning.”

LE 개념틀 개발

특히 LE의 구성은 특정 이론이나 관점이 "소유"하고 있는 것이 아니다. 실제로, 학습 이론에서 LE가 무시되는 경우가 너무 잦아서, LE의 구조는 이론적인 애매모호한 무언가에 남겨진다. LE의 강력한 개념적 프레임워크를 이용할 수 있을 때까지, LE의 평가와 개선에는 한계가 있을 것이다.

Notably, the construct of the LE is not “owned” by any particular theory or perspective. Indeed, all too often the LE is ignored in theories of learning, leaving this construct in something of a theoretical limbo. Until a robust conceptual framework of the LE is available, there will be limited progress in assessing and improving the LE.

2012년 숄록-아데마와 동료들의 문헌 검토에 따르면, 이전에 LE를 frame하려는 시도가 있었다고 한다. 

• 첫 번째 틀은 1938년 머레이의 작품에서 비롯되었다. 그는 개인의 성격과 이것이 환경에 대한 인식에 어떤 영향을 미치는지 설명하는 데 초점을 맞췄다. 

• 두 번째 틀은 1970년대 무스의 작품이었다. 고등교육의 맥락에서 일하면서 Mos는 각 LE를 세 가지 넓은 영역으로 개념화했다. 

• 개인적 개발 또는 목표 지향: 교육 목표, 건설적 비판 및 피드백, 관련 학습 내용과 관련된 

• 관계: 학습자와 교직원이 서로를 어떻게 지원하는지에 초점을 맞추고, 제휴와 정서적 지지를 보여주며, 공개적인 커뮤니케이션 

• 시스템 유지와 시스템 변화: 명확한 기대, 개방적이고 질서 있는 환경, 혁신, 학생 영향력의 범위와 같은 것 

There have been previous attempts to frame the LE, according to a 2012 review of the literature by Schönrock-Adema and colleagues.4 

• The first framework arose from the work of Murray10 in 1938. He focused on describing the individual’s personality and how this influenced his or her perceptions of the environment. 

• The second framework was the work of Moos11,12 in the 1970s. Working in the context of higher education, Moos conceptualized each LE in terms of three broad domains: 

• personal development or goal direction, which relates to educational goals, constructive criticism and feedback, and relevant learning content; 

• relationships, which focus on how learners and faculty members support each other, demonstrate affiliation and emotional support, and have open communication; and 

• system maintenance and system change, which addresses such things as clear expectations, an open and orderly environment, innovation, and the extent of student influence. 

Moos의 프레임워크는 LE의 많은 기존 학습자 자체 보고서 척도에 사용되어 왔으며, 그러한 계측기 항목의 90% 이상을 차지한다. 숄록-아데마와 동료들은 Moos의 프레임워크를 기반으로 건강 전문가들을 위한 LE의 3-도메인 프레임워크를 주장하고 있다. 목표 지향, 관계, 조직/규제.

Moos’s framework has been used in many of the existing learner self-report measures of the LE and accounts for over 90% of the items in those instruments.4 Building on Moos’s framework, Schönrock-Adema and colleagues4 argue for a three-domain framework of the LE for the health professions: goal orientation, relationships, and organization/regulation.

Genn의 2001년 LE 분석에서는, 학습에 영향을 미칠 경우 거의 모든 것이 LE의 일부로 간주될 수 있다고 지적하면서, LE의 이론을 발전시키기 위한 주요 도전을 강조한다. 그는 시간표, 수업 구성, 여가 시간, 임상 팀원 등 많은 변수로 이러한 복잡성을 설명한다. Genn이 제시한 포괄적인 프레임은 반대로 [LE가 아닌 것이 무엇인가]에 대한 의문을 제기한다. LE의 개념적 틀은 [무엇을 포함하느냐] 만큼 [무엇을 배제하느냐]를 제시하는 것으로서 가치가 있다.

Genn’s5,13 2001 analysis of the LE highlights a major challenge to developing a theory of the LE when he notes that almost anything can be considered part of the LE if it has an impact on learning. He illustrates this complexity with a number of variables, such as time tables, class composition, leisure time, clinical team members, and many others. Such a comprehensive framing raises the question of what isn’t part of the LE. A conceptual framework of the LE is valuable as much for what it would leave out as for what it would include.

우리는 LE란 [특정한 환경에서 개인, 사회 그룹 및 조직에 의해 고취되고 상황별 분위기와 문화에 의해 형성되는 복잡한 정신-사회-물리적 구조]라고 생각할 수 있다고 주장한다.8 

We argue that the LE can be thought of as a complex psycho-social-physical construct that is cocreated by individuals, social groups, and organizations in a particular setting and shaped by contextual climate and culture.8 

위에서 설명한 각 프레임워크는 [타인과의 상호작용과 협업의 중요성]을 강조한다. 왜냐하면, (상호작용과 협업은) "[다른 사람들로부터 지식과 기술을 배움으로써, 또한 자신이 속한 지역사회에 존재하는 규범과 문화적 신념과 태도와 친숙하게 됨으로써] 학생들이 학습하고 참여하는 수단이기 때문이다. 그러나 LE는 단순한 사회적 상호작용이 아니다. 또한 물리적 공간과 가상(디지털) 환경뿐만 아니라 개별적인 심리적 특성을 포함해야 한다.

Each of the frameworks described above emphasizes the importance of interactions and collaborations with others “as the means for students’ learning/participation, both through learning knowledge and skills from others, and through becoming familiar with the norms, cultural beliefs and attitudes existing in the communities to which they (the learners) are being introduced.”4(p739) However, the LE is more than just social interactions. It must also encompass intraindividual psychological characteristics as well as physical spaces and virtual (digital) environments.

우리는 심리사회적 관점이 개념적 틀을 구축하기 위한 확고한 기초를 제공한다고 믿는다.

We believe that a psychosocial perspective provides a solid foundation for building a conceptual framework.

• situated learning 관점에서, 학습은 적극적인 참여를 통해 (공동체의 일원이 됨) 새로운 지식 공동체로의 적응을 수반한다.14

Within a situated learning perspective, learning involves acculturation into a new knowledge community (becoming a member of a community) through active participation.14

• 생태 심리학이나 근무지 학습과 같은 관련 이론들은 학습자들이 적극적으로 참여하는 환경의 여유에 의해 학습과 관련된 사회적 상호작용이 촉진된다는 것을 강조한다.15

Related theories, such as ecological psychology and workplace learning, emphasize that social interactions related to learning are facilitated by affordances in the environment with which learners actively engage.15

• 인지 및 활동 이론16 또한 학습자의 사회적 특성과 환경과의 상호작용을 강조한다. 구체적으로는 지식이 습득되는 활동, 맥락, 문화에 내재되어 있다.17

Situated cognition and activity theory16 also emphasizes the social character of learning and the interactions of the learner with the environment. Specifically, knowledge is embedded in the activity, context, and culture in which it is learned.17

• 사회물질성 이론은 기술, 업무, 조직의 교차점에 기초하고 있다. 이 이론에서는 작업의 물질적 차원과 심리사회적 차원이 서로 얽히고설켜 불가분의 관계에 있다고 상정한다.

Sociomateriality theory builds on the intersection of technology, work, and organizations—suggesting that the material dimensions and psychosocial dimensions of work are intertwined and inseparable.18,19

LE를 위한 개념틀 제안

Proposing a Conceptual Framework for the LE

LE의 규범적 이론이 없었기 때문에, 우리는 생명시스템 관점(모든 생명 시스템, 그들의 구조, 상호작용, 행동 및 개발에 관한 일반적인 이론)을 따라 다중 개념 프레임워크를 합성하고 2차원을 형성하는 5개의 중첩 및 쌍방향 핵심 구성요소를 식별했다.

Lacking a canonical theory of the LE, we followed a living systems perspective20 (a general theory about all living systems, their structure, interaction, behavior, and development) to synthesize multiple conceptual frameworks3,4,11–13,19,21,22 and identified five overlapping and interactive core components that form two dimensions.

LE의 여러 측면

aspects of the LE (Figure 1).

심리사회적 차원

Psychosocial dimension

개인 요소

Personal component.

LE의 개인 구성 요소: 개별 학습자가 어떻게 LE와 상호 작용하는지, 어떻게 LE에 대한 인식을 개발하는지, 어떻게 (LE가) 개인의 성장에 관여하며, 전문직 정체성을 개발하는지.

The personal component of the LE : how individual learners interact with the LE, develop perceptions of the LE, engage in personal growth, and develop professional identity.

Scoping review 에서 우리는 LE의 개인 수준 요소와 긍정적으로 연관된 개입 또는 요인을 식별했다. 

• 직접 환자 치료에 집중하는 시간, 

• 동료들의 공동체를 갖는 것, 

• 좋은 삶의 질과 높은 수준의 회복력, 

• 웰빙 훈련, 

• "의미있는" 실천으로 배우는 것, 

• 학습자를 지원하는 규제된 제도를 신뢰하다.

From our scoping review,9 we identified interventions or factors positively associated with the personal component of the LE: 

• time focused on direct patient care, 

• having a community of peers, 

• a good quality of life and high levels of resilience, 

• training in well-being, 

• learning in a “meaningful” practice, and 

• trust in a regulated system that supports learners.

LE와 부정적인 연관성을 가진 요인은 

• 삶의 질이 나빠지면 더 감정적으로 지치는 것

• 도덕적 디스트레스

• 탈인간화

• 미래까지 버틸 수 있는지와 자기 능력에 대한 걱정

Factors with negative associations with the LE were 

• poor quality of life leading to more emotional exhaustion, 

• moral distress, 

• depersonalization, and 

• worries about future endurance and capacity.

교육자들에게 있어, LE에 대한 학습자들의 개인요인은 가장 중요하다. LE의 이러한 개인적이고 학습자 중심적인 구성요소는 학습자 경험, 학습자 및 인식에 강하게 영향을 미친다. 실제로, LE를 측정하기 위해 고안된 대부분의 도구들은 개별 학습자가 LE를 인지하는 방식에 초점을 맞추고 있지만, 이러한 척도는 LE의 더 큰 사회적, 조직적, 물리적, 가상적 요소를 다루지 못하면서 개인에 집중한다는 한계가 있다.

For educators, the personal dimensions of their learners are of paramount importance. This personal, learner-centered component of the LE strongly influences learner experience, learning, and perceptions. Indeed, most inventories designed to measure the LE are focused on how individual learners perceive it, but this imposes a limitation by focusing on the individual while failing to address the larger social, organizational, physical, and virtual components of the LE.

사회 요소

Social component.

(개인적인 차원에 더해져서) LE의 사회적 요소는 다른 사람들과의 상호작용과 사회적 관계에 대한 부분을 다룬다. 이러한 관계에는 다음의 요소가 있다.

• 동료-대-동료(경쟁력, 협업, 공유 가치 및 학습자 문화)

• 학습자-대-교수/직원(신뢰, 피드백, 기대의 명확성, 커뮤니케이션, 교육 전략, 멘토링)

• 학습자-대-환자(책임, 수용, 신뢰) 

The social component of the LE characterizes interactions and social relations with others, thus adding to the personal dimension. These relationships include 

• peer-to-peer (competition, cooperation, shared values and learner culture), 

• learner-to-faculty/staff (trust, feedback, clarity of expectations, communication, instructional strategies, mentoring), and 

• learner-to-patient (responsibility, acceptance, trust) elements. 

사회적 구성요소는 이러한 상호작용의 퀄리티를 설명한다(형평성과 inclusion, 학습자의 괴롭힘과 학대를 포함) .

The social component describes the quality of these interactions, including equity and inclusion, and harassment and abuse of learners.

사회적 요소를 개선하기 위해 설계된 개입에는 다음이 있다.

• 긍정적인 학습 환경을 조성하는 데 초점을 맞춘 교수개발 워크숍, 

• 동료 코칭 프로그램, 

• 다양성/자본성/적폐성 교육, 

• 팀워크 교육 

Interventions designed to improve the social component include 

• faculty development workshops focusing on creating a positive learning climate, 

• peer coaching programs, 

• diversity/ equity/inclusion training, and 

• teamwork training.9

사회적 요소에 대한 조사는 전형적으로 사회학자, 인류학자, 민족지학자들의 관심사이며, 이 연구자들은 개인이 시스템 내에서 어떻게 상호작용하는지에 높은 가치를 둔다.

Investigations of the social component typically fall under the purview of sociologists, anthropologists, and ethnographers, who place high value on how individuals interact with each other and within a system.

이 요소와 관련된 이론은 위치 학습, 위치 인식, 사회 물질성 및 신중한 실천을 포함한다.

Theories that pertain to this component include situated learning, situated cognition, sociomateriality, and deliberate practice.

조직 요소

Organizational component.

사회적 요소와는 달리, 조직 요소는 주로 다음을 다룬다.

• 아티팩트(또는 사람들이 환경의 물체나 요소와 상호작용하는 방법) 

• 일군의 개인(개인의 일반적인 사회적 영역에 속하지 않는 사람들)

unlike the social component, the organizational component primarily addresses 

• artifacts (or how people interact with objects or elements in their environment) and/or 

• groups of individuals (who are not just a part of the individual’s typical social circle). 

따라서 이 요소는 개인이 어떻게 정책과 상호 작용하는지, 어떻게 조직 성과 척도에 대응하는지, 어떻게 문화 및 특정한 리더십에 대응하는지 등이 포함된다.

Thus, this component emphasizes how individuals interact with policies, navigate organizational performance measures, and respond to culture and/or particular leadership actions.

조직은 학습을 위한 구조, 지침, 지원을 제공한다. 이러한 지원은 커리큘럼 자원, 지리적 배치 및 인증 규칙뿐만 아니라 조직 관행, 문화 및 정책(예: 근무 시간, 규제 환경, 교사 통제, 커리큘럼)의 형태를 취할 수 있다.

Organizations provide structure, guidance, and/or support for learning. This support can take the form of curriculum resources, geographic placements, and accreditation rules, as well as organizational practices, culture, and policies (such as duty hours, regulatory environment, teacher control, curriculum).

우리는 또한 이 조직 구성 요소의 지역사회(지리적 설정/위치)에 배치placement도 포함한다.

We also include placements in the community (geographical settings/locations) in this organizational component.

계약, 규제 기관 및 정책 입안자는 일반적으로 LE의 조직 요소에 초점을 맞춘다.

Deans, regulatory bodies, and policy makers typically focus on the organizational component of the LE.

물질 차원

Material dimension

물리적 공간

Physical spaces.

LE 프레임워크의 물질적 차원은 다음을 포함한다. 

• 학습과 실습이 이루어지는 물리적/가상적 공간 

• 학습에 영향을 미치는 환경의 객체object (예: 전자 건강 기록 및 주문 입력 시스템, 청진기, 복강경). 

The material dimension of our LE framework includes 

• the physical and virtual spaces in which learning and practice occur as well as 

• objects (artifacts) in the environment that affect learning (e.g., electronic health record and order entry systems, stethoscopes, laparoscopes). 

물리적 공간은 벽돌로 된 캠퍼스 기반의 교육 및 학습 건물, 병원과 클리닉 및 커뮤니티 사이트를 포함한다. 학생들은 공부, 토론, 팀 배움의 좋은 장소를 찾는다. 작은 회의실은 환자 진료가 한창인 상황에서 임상 교육에 매우 중요하다. 학생과 레지던트가 일반적으로 환자를 진찰하는 데 전문의보다 시간이 더 오래 걸리는 점을 감안할 때, 적절한 수의 진찰실을 이용할 수 있는 것은 임상 학습에 필수적이다. 

Physical space includes brick-and-mortar campus-based teaching and learning buildings, hospitals and clinics, and community sites. Students search for conducive spaces for study, discussion, and team learning. Small conference rooms are critical to clinical education in the midst of patient care. Availability of an adequate number of examination rooms is essential for clinical learning, given that students and residents typically take longer to examine patients than do board-certified physicians. 

물리적 공간과 관련된 LE를 개선하기 위해 설계된 개입에는 종단적 실습 또는 지역사회 배치가 포함된다.9 공간은 또한 시뮬레이션 시설, 해부 실험실, 컴퓨터화된 시험실 등 다양한 교육 자원의 핵심이다. LE의 공간 구성요소는 주로 특정 학습 활동에 관련된 공간의 양과 질에 대한 것이다.

Interventions designed to improve the LE associated with physical space include longitudinal and community placements.9 Space is also key to various educational resources, such as simulation facilities, anatomy labs, and computerized testing rooms. The space component of the LE directs attention to the quantity and quality of spaces relevant to specific learning activities.

가상 공간

Virtual spaces.

물리적 공간 외에도 학습자에게 콘텐츠를 전달하고 상호 작용과 학습을 위한 포럼을 제공하는 전자 학습 환경, 커리큘럼 관리 도구, 디지털 도우미가 모두 물질 차원에 속한다. 그러나 재료 차원에는 환경의 다른 어포던스(예: 전자 건강 기록 시스템에 내장된 적시 학습, 휴대용 장치, 컴퓨터 네트워크)도 포함된다.

In addition to physical space, the electronic learning environments, curriculum management tools, and digital assistants that deliver content to learners and provide forums for interaction and learning are all part of the material dimension. However, the material dimension also includes other affordances in the environment (e.g., just-in-time learning built into electronic health record systems, handheld devices, computer networks).

사회 물질성 이론과 일치하여 물질적 차원은 두 차원이 불가분의 상호작용을 할 수 없는 심리사회적 차원과 "실천에서 얽히게entangled in practice"된다.18,19 예를 들어 EHR은 가상공간에 존재하는 LE이지만, 이러한 환경은 일반적으로 학습자마다, 팀마다, 기관마다 다르게 정의되고 경험된다. 

In alignment with sociomateriality theory, the material dimension is “entangled in practice” with the psychosocial dimension such that the two dimensions inextricably interact.18,19 For example, the electronic health record is a virtual LE, but this environment is typically defined and experienced differently for the individual learner, the medical team, and the institution overall.

물리적 공간을 개선하고 온라인 강좌를 설계하는 데 전념하는 자원에도 불구하고, 문헌에서 물질 차원의 영향에 대한 연구는 충분하지 않으며, LE에 관련해서도 그렇다. 이는 LE의 물질적 차원이 연구자로 하여금 정신사회적 및 물질적 차원의 통합을 연구할 것을 강력히 권고하는 환경심리학, 비즈니스 및 고등교육에서 수행된 연구와 대조된다.18,26

Despite the resources devoted to improving physical spaces and designing online courses, the study of the impact of the material dimension is underrepresented in the literature25 and notably so in the study of the LE.9 This contrasts with studies undertaken in environmental psychology, business, and higher education where the material dimension of the LE has led researchers to strongly recommend studying the integration of the psychosocial and material dimensions.18,26

개념틀 적용

Applying the Conceptual Framework

지역사회 병원 실습

Community placements

서호주의 시골임상학교는 1학년 의대생을 10개의 다른 시골과 외딴 곳에 3-10명의 회원으로 구성된 세로 통합 사무소에 배치한다.27

The Rural Clinical School of Western Australia places first-year medical students in longitudinal integrated clerkships, in groups of 3 to 10 members, in 10 different rural and remote sites.27

소규모 사이트와 대규모 사이트 간에는 결과 차이가 없었다. 중간기간의 인터뷰는 학생들의 인식 면에서 DREEM 설문지의 조사 결과와 상당히 관련이 있는 것으로 나타났다. 소규모 사이트의 학생들은 더 큰 사이트의 학생들보다 그들의 교육 경험에 더 만족했다. 연말 성적과 학습자 만족도는 사이트 규모 간에 차이가 없었다.

There were no differences in results between smaller sites and larger sites. Midyear interviews were shown to correlate significantly with the findings from the DREEM questionnaire in terms of student perceptions. Students at small sites were more satisfied with their educational experience than those at the larger sites. End-of-year grades and learner satisfaction showed no differences among site sizes.

동료학습공동체와 웰빙

Peer learning community and well-being

한 국제 연구는 LE에 대한 호의적인 학생 인식과 삶의 질, 고갈, 공감에 대한 학생 보고서 사이의 관계를 조사했다.29 그들의 발견은 긍정적인 LE 인식이 웰빙과 밀접하게 연관되어 있고 동료 커뮤니티를 육성하는 것이 삶의 질을 향상시키고 고갈을 줄일 수 있다는 것을 보여주었다. 그러나 LE에 대한 인식과 공감은 밀접한 상관관계가 없었다.

An international study examined the relationship between favorable student perceptions of the LE and student reports on quality of life, burnout, and empathy.29 Their findings indicated that positive LE perceptions were closely associated with well-being and that fostering peer community may enhance quality of life and reduce burnout. However, perceptions of the LE and empathy were not closely correlated.

LE의 문제진단 예시

Diagnosing a problem in the LE

예를 들어, 의과대학은 3학년 학생들의 경험에 대한 일상적인 감시를 통해 전반적인 학생 스트레스가 갑자기 증가한다는 것을 발견할 수 있다.

For example, a medical school might discover through its routine surveillance of third-year student perceptions of their experiences that there is a sudden increase in overall student stress.

• 우선 심리사회적 차원의 개인적 요소를 고려하면, 행정부는 이러한 갑작스런 스트레스의 증가에 기여하는 개인의 특성을 고려할 수 있다. 스트레스가 소수의 학습자에게만 국한된 경우, 공유 속성(예: 대학 1세대, 의학에서 잘 표현되지 않음, 경제적 지위, 회복력)이 있을 수 있다. 만약 스트레스가 광범위하게 분포되어 있다면, 개인의 특성은 덜 가능성이 있어 보일 것이다.

Considering first the personal component of the psychosocial dimension, the administration might consider individual characteristics that are contributing to this sudden rise in stress. If the stress is limited to a small number of learners, there may be a shared attribute (e.g., first generation in college, underrepresented in medicine, economic status, resilience). If the stress was broadly distributed, individual characteristics would seem less likely.

• 심리사회적 차원의 사회적 또는 대인관계적 요소는 스트레스를 유발하는 역학 또는 사건의 발생원이 될 가능성이 있다. 학습자들 사이에 스트레스가 널리 퍼지면 사회적 요소가 일을 할 가능성이 더 높다. 이 경우에 고려해야 할 사회적 원인은 갑작스런 경쟁의 증가, 수업의 부분들 간의 갈등, 교직원과 학생들 간의 건강하지 못한 상호작용, 또는 학생 괴롭힘과 학대에 대한 널리 공유된 인식일 수 있다. 갑작스런 스트레스의 시작은 이러한 잠재적인 원인들 중 일부를 더 가능성 있게 만들 것이다.

The social or interpersonal component of the psychosocial dimension would be a likely source of stress-inducing dynamics or events. The social component is more likely to be at work if the stress is widely disseminated among learners. Social causes to consider in this case might be a sudden increase in competition, conflicts among segments of the class, unhealthy interactions between faculty and students, or broadly shared perceptions of student harassment and mistreatment. The sudden onset of stress would make some of these potential causes more likely.

• 조직적 요소나 제도적 요소도 기여자가 될 수 있다. 원 소속 기관에서 떨어진 기관에서의 필수 로테이션, 교직원과 행정 사이의 갈등, 병원의 합병과 확장, 또는 새로운 리더십에 따라 교육과정 변화는 모두 환경이 위협적이거나 불확실한 톤을 취한다면 학생들의 스트레스에 영향을 미칠 수 있는 기관 수준의 사건들이다.

The organizational or institutional component may also be a contributor. Curriculum changes with required rotations away from home, strife between faculty and administration, mergers and expansions of hospitals, or new leadership are all institutional events that can trickle down to affect student stress if the environment takes on a threatening or uncertain tone.

• 물질 차원에서도, 연구와 사회적 상호작용을 위한 공식적으로 접근 가능한 공간이 오프라인으로 전환되거나 건설이 접근과 수용량을 방해하는 경우(예: 도서관 시간 및 강의실 접속이 축소되는 경우) 물리적 공간은 스트레스에 기여할 수 있다. 마찬가지로 가상 인프라는 LE에서 스트레스를 유발할 수 있다.

On the material dimension, physical spaces may also contribute to the stress, if formally accessible spaces for study and social interaction are taken offline or construction interferes with access and capacity (e.g., library hours and classroom access curtailed). Similarly, virtual infrastructure can trigger stress in the LE.

이 예는 또한 작업 환경work environment과 LE 사이의 상호작용을 강조한다. 보건직업교육은 실생활에서의 학습과 밀접하게 연관되어 있기 때문에, workplace의 특성과 역학관계도 LE의 일부가 된다. 본 연구의 모델에서도 작업 환경의 영향을 연과지을 수 있다.

• 개인 수준 요소의 경우, 작업 환경은 성능, 역량 및 실패의 결과에 대한 개인의 불안으로 인해 발생하는 스트레스를 강조할 수 있다. 

• 작업 환경은 또한 연습과 학습을 위한 대인관계의 내용, 형식 및 속도에 큰 영향을 미치기 때문에 LE의 대인관계에 영향을 미친다. 괴롭힘과 학대가 없는 환영하고 포용적인 근무 환경은 긍정적인 LE를 창출한다. 

• 그것은 아마도 조직 차원에서 작업 환경이 LE에 가장 큰 영향을 미치는 것이다. 임상 생산성, 조직 구조, 다른 임상 시스템과의 합병 및 경쟁에 관한 제도적 정책 및 많은 다른 측면은 모두 학습이 이루어지는 환경에 기여한다. 이것은 의사 소진이 자주 발생하는 곳으로, LE의 사회적 상호작용에 직접적인 영향을 미친다. 

• 마찬가지로 작업 환경은 실습과 학습을 위한 물리적 공간 내에서, 학습자가 숙지하고 사용해야 하는 가상 공간과 시스템(예: 전자 의료 기록 시스템) 내에서 발생한다.

This example also highlights the interaction between the work environment and the LE. Health professions education is tightly tied to learning in practice, so the characteristics and dynamics of the workplace also become part of the LE. The influence of the work environment can be considered within each of the components of our model. 

• For the personal component, the work environment may accentuate stress created by individual anxiety about performance, competence, and the consequences of failure. 

• The work environment also affects the interpersonal component of the LE because it heavily influences the content, format, and pace of interpersonal interactions, both for practice and for learning. A welcoming and inclusive work environment, free of harassment and abuse, creates a positive LE. 

• It is, perhaps, at the level of the organization that the work environment has its greatest impact on the LE. Institutional policies on clinical productivity, organizational structure, mergers and competition with other clinical systems, and many other facets all contribute to the environment in which learning takes place. This is where physician burnout often occurs, which has a direct impact on the social interactions of the LE. 

• Similarly, the work environment takes place within the physical spaces for practice and learning and the virtual spaces and systems (e.g., electronic medical record system) that the learners must master and use.

마무리

Concluding Observations

우리의 정신 사회/물질적 프레임워크는 몇 가지 장점을 가지고 있다. LE의 사회적 측면과 물리적 측면을 통합함으로써 다른 개념적 프레임워크보다 더 포괄적이다. 그것은 사회적 상호작용이 ([심리사회적 차원]과 [특정 LE의 구성요소들 사이의 복잡한 상호작용을 생각하는 비계scaffold]를 따라) 다층적 수준(개인, 사회, 조직)에서 일어난다는 것을 인식한다. 

our psychosocial/materiality framework has several strengths. By incorporating the social and the physical aspects of the LE, it is more inclusive than other conceptual frameworks. It recognizes that social interactions take place at multiple levels (personal, social, organizational) along the psychosocial dimension and scaffolds thinking about complex interactions among the components of any given LE.

우리의 개념적 틀은 자연스럽게 많은 권고사항으로 이어진다. 

• 첫째, 학술 저널은 저자가 LE를 정의하지 않은 경우 또는 저자가 자신들의 개념적 프레임워크와 구체적인 LE를 고려하지 않은 경우 논문을 발행해서는 안 된다.

• 둘째, 연구자들은 LE의 전체 차원성을 정확하게 평가하기 위해 심리사회적, 물질적 차원를 반영하는 평가 방법을 개발할 필요가 있다. 

• 셋째, 연구자들은 LE에 대한 [학습자 인식]마나 사용하는 현실을 넘어서야 한다. 대신 물리적 공간과 가상 공간을 평가하는 것은 물론 사회적, 조직적 차원에서 대책을 개발할 필요가 있다. 

• 넷째, 교육자들은 이 구조의 중요성을 인식해야 하며, 교육 혁신을 제안하고 시험하기 위해 문헌에 기반할 필요가 있다.

Our conceptual framework naturally leads to a number of recommendations. 

• First, academic journals should not publish articles on the LE without the authors having defined the LE, describing their conceptual framework and specific LE(s) under discussion. 

• Second, researchers need to develop assessment methods that reflect the psychosocial and material dimensions to accurately assess the full dimensionality of LEs. 

• Third, researchers need to move beyond the sole use of learner perceptions of the LE. Instead, they need to develop measures at the social and organizational level, as well as assess physical and virtual spaces. 

• Fourth, educators need to recognize the importance of this construct and use the literature to propose and test educational innovations.

9 Gruppen L, Irby DM, Durning S, Maggio L. Interventions designed to improve the learning environment in the health professions: A scoping review. https:// www.mededpublish.org/manuscripts/1944. Published 2018. Accessed March 4, 2019.

29 Tackett S, Wright S, Lubin R, Li J, Pan H. International study of medical school learning environments and their relationship with student well-being and empathy. Med Educ. 2017;51:280–289.

의학교육에서 통합 교육과정: AMEE Guide No. 96 (Med Teach, 2015) (181101)

The integrated curriculum in medical education: AMEE Guide No. 96

DAVID G. BRAUER1 & KRISTI J. FERGUSON2

1Washington University School of Medicine, USA, 2University of Iowa, USA

도입

Introduction

기초 및 임상 과학 지식의 발전 및 교수 전략의 발전에도 불구하고, "2+2" 커리큘럼 구조는 전 세계의 많은 의과대학에서 여전히 유지되고 있지만, 미래의 의사들을 21세기 의학을 준비하기에는 불충분한 시스템으로 여겨진다.

Despite a century of evolution of the fund of knowledge in basic and clinical sciences as well as advancements in teaching strategies, ‘‘2+2’’ curricular structure still persists in many medical schools around the world, yet is viewed as an inadequate system to prepare future physicians for twenty-first Century medicine (Cooke et al. 2006; Irby et al. 2010).

AMC(Australian Medical Council)는 의과대학 졸업에 대한 요구사항을 4개의 영역으로 구성한다.  기본적인 "과학 및 연구" 및 "임상 의학"에 더하여 이제는 '건강과 사회'와 '전문성과 리더십'의 현대적 영역까지 강조하여 조화되었다.

The Australian Medical Council (AMC) organizes the requirements for medical school graduation into four domains; traditional domains – ‘‘science and scholarship’’ and ‘‘clinical practice’’ – are now matched in emphasis with more modern domains of ‘‘health and society’’ and ‘‘professionalism and leadership’’ (AMC 2012).

Flexner 보고서를 처음 발행한 카네기 교육진흥재단이 최근에는 "화석화된 커리큘럼 구조"와 "폐물이 된 평가 관행"이 커리큘럼 개혁에 관심이 있는 사람들에게 지속적인 어려움을 유발한다고 말하였다(Cooke et al. 2006).

The Carnegie Foundation for the Advancement of Teaching, who originally published the Flexner Report, has more recently suggested that ‘‘ossified curricular structures’’ and ‘‘archaic assessment practices’’ present continuing challenges for those interested in significant curricular reform (Cooke et al. 2006). 

국제 의학 교육자 협회의 플렉스너 영향 100년 검토 결과, 특히 기초 및 응용 과학 전반에 걸쳐 지식의 유지를 더 잘 촉진할 수 있는 "통합 커리큘럼" 모델이 나왔다.

The International Association of Medical Science Educators’ review of 100 years of Flexner’s influence proposed that modern curriculum alternatives exist, particularly the ‘‘integrated curriculum’’ model, which could better promote the retention of knowledge across the basic and applied sciences (Finnerty et al. 2010).

Beane (19977)은 처음에 일반 교육 분야에서 통합 커리큘럼을 검토했고, 그 후 곧 의학교육에도 이 용어가 등장했다.(Harden et al. 1984) 캐나다의 McMaster University는 지난 수십 년 동안 개발, 수정, 복사된 모든 커리큘럼(소위 McMaster 접근법)에 걸쳐 혁신적인 커리큘럼 구조를 최초로 구현한 대학 중 하나입니다. 반복적이지만 진보적으로 설계된 "통합 커리큘럼"은 기초과학과 임상과학 사이의 장벽을 무너뜨리는 것이 이러한 분야 간의 연결을 개선하고 졸업생들의 임상 기술의 지식과 개발을 향상시킨다는 믿음으로 빠르게 인기를 얻었다(그림 1).

Beane (1977) first reviewed integrated curricula in the general education literature and the term soon thereafter appeared in medical education (Harden et al. 1984). McMaster University in Canada was one of the first to implement a progressive, trans-disciplinary curriculum structure across all years of its curriculum (the ‘‘McMaster approach’’), which has been developed, revised, and copied over the past several decades (Neufeld et al. 1989). Designed to be repetitive yet progressive, the ‘‘integrated curriculum’’ has rapidly risen to popularity with the belief that breaking down the barrier between the basic and clinical sciences improves connections between these disciplines and enhances graduates’ retention of knowledge and development of clinical skills. (Figure 1).

그 컨셉의 인기는 전세계적으로 퍼져있다. 

The popularity of the concept has spread globally 

모든 미국 의과대학 인증을 담당하는 기관인 의료 교육 관련 연락 위원회(LCME)는 최근 자격 기준을 갱신하고 다음의 요구사항을 포함했다. "교육과정이 'Coherent and coordinated'되어야 하며, '전 교육과정 및 학업에 걸쳐within and across 통합'되어야 한다고 권고했다 (LCME 2013) 다음의 조직들도 통합 커리큘럼에 대해 권고하였다. 미국 의료 대학 협회(AAMC; Corbett & Whitcomb 2004), 영국의료원(2010년), 캐나다 의과협회(2009년), 호주 의료 위원회(2012년), 스웨덴의 의학 교육 조사(2013년 Lindgren).

Liaison Committee on Medical Education (LCME), the body responsible for the accreditation of all US medical schools, recently renewed its licensing standards and included the requirement that a curriculum be ‘‘coherent and coordinated’’ and ‘‘integrated within and across the academic periods of study’’ (LCME 2013). Recommendations for integrated curriculum have also been published by the Association of American Medical Colleges (AAMC; Corbett & Whitcomb 2004), the General Medical Council in the United Kingdom (2010), the Association of Faculties of Medicine of Canada (2009), the Australian Medical Council (2012), and the Inquiry on Medical Education in Sweden (Lindgren 2013).

우리는 "통합"이라는 유행어를 사용하지만, 개발, 구현 및 평가에 대한 생산적인 지침이나 제안은 거의 동반되지 않았다. 또한, "통합 커리큘럼"은 문헌에 느슨하게 정의되어 있으며, 여러가지 형태의 커리큘럼 혁신을 나타내는 용어로 사용되었다. 여기에는 다음이 포함됩니다.

We have increasingly observed use of the term ‘‘integration’’ often serving as a buzzword rarely accompanied by productive directions or suggestions for its development, implementation, and evaluation. In addition, ‘‘integrated curriculum’’ is loosely defined in the literature, having been used to represent a number of distinct curricular innovations. These include:

• - 1년 과정(Brunger & Duke 2012)에 대한 윤리 및 임상 기술 교육을 구현하거나 모든 년도에 걸친 완화의료 교육(Radwany et al., 등)과 같은 연구 과정 내 개별 주제 통합
  - The integration of discrete topics within a course of study, such as a implementing ethics and clinical skills education into first-year courses (Brunger & Duke 2012) or palliative care education across all years (Radwany et al. 2011).

• - 기초 과학 과정(Schwartz et al. 1999; Klement et al. 2011), 임상 또는 임상 준비 교육(Drybay et al. 2011),
  - Integrating once separate courses or clinical experiences into a single unit, including combining basic science courses (Schwartz et al. 1999; Klement et al. 2011), preclinical or clinical preparatory education (Drybye et al. 2011), or clinical education (Ogur et al. 2007).

• - 의료 교육의 초기 단계에 임상 피폭 통합(Yu et al. 2009).
  - Integrating clinical exposure into earlier stages of medical education (Yu et al. 2009).

이는 몇 가지 예에 불과합니다. 

These are but a few examples loosely organized into categories; 

기본 원칙이나 통일된 정의가 없는 채로, 통합은 교수, 임상의사, 학생 및 관리자들에게 서로 다른 의미를 갖는 개념과 프로세스가 되어버렸으며, 이는 커리큘럼의 개선과 현대화를 복잡하게 만드는 위협이 되고 있다.

Without guiding principles or unified definitions, integration becomes a concept and a process that means different things to professors, clinicians, students, and administrators, threatening to complicate the improvement and modernization of a curriculum. 

교육 이론 및 통합 모델

Educational theories and models of integration

첫째, 성인 학습 이론은 원래 'andragogy'이라고 불리며 성인 학습의 몇 가지 일반적인 특징을 나타낸다. dmlgkr교육과 특별히 관련이 있는 것은 성인 학습자가 의미 있는 학습(Kaufman & Mann 2010)에 관심을 갖는다는 것입니다. 학습자는 해당 과목의 관련성을 이해한 후에만 주제를 배우는 데 시간을 투자할 의지를 갖게 된다. 의학 교육에서 기초 과학 세부 사항은 임상 노출이 제한적이거나 없는 초보 학습자를 위한 임상 시나리오에 연결하기가 어렵다. 이 과제는 종종 환자 기반 또는 사례 기반 학습을 통해 기초과학 자료를 임상 문제와 연결함으로써 극복된다. 

First, adult learning theory, originally termed andragogy (Knowles 1980), identifies several general characteristics of adult learning. Of particular relevance to medical education is adult learners’ interest in meaningful learning (Kaufman & Mann 2010) – learners are willing to invest time learning a topic only after they understand the topic’s relevance. In medical education, basic science details are difficult to connect to clinical scenarios for beginning learners with limited or no clinical exposure; this challenge is overcome by linking basic science material to clinical problems, often through patient-based or case-based learning. 

또 다른 관련 학습 이론은 인지 심리학 분야와 학습자의 지식 구성 방식에서 비롯됩니다. 지식은 지식이 조직화된 방식이 그 지식을 사용하는 방식과 일치할 때 가장 효과적입니다(Ambros et al. 2010). 따라서 의료 학생들에게 임상 사례의 맥락에서 기초 과학에 대해 가르치고, 통합적인 자료 표시를 통해 개념들 사이의 연결을 명확하게 하는 것은 통합이 장기적인 보존과 깊은 이해를 증진시킬 수 있는 두 가지 방법이다.

Another relevant learning theory comes from the field of cognitive psychology and details how learners’ organize knowledge: knowledge is most effective when the organization of that knowledge matches the way in which the knowledge is to be used (Ambrose et al. 2010). Thus, teaching medical students about basic science in the context of clinical examples and explicitly making connections among concepts through integrated presentation of material are two ways that integration can enhance long-term retention and deeper understanding.

마지막으로, 또한 인지 심리학의 세번째 측면은 학습의 전이transfer에 대한 우리의 이해에 관한 것입니다. 임상 사례와 비교해가면서 학생들은 기초 과학 개념의 깊은 특징을 파악하는데 도움이 될 수 있으며, 학생들이 임상 교육을 받게 될 때 그 지식을 상세히 설명하는데elaborate 도움을 줄 수 있다(National Research Council 2000).

Finally, a third aspect of learning theory, also from cognitive psychology, concerns our understanding about transfer of learning. Using comparisons of clinical examples can help students identify deep features of basic science concepts that will help them elaborate on that knowledge as they progress into clinical education (National Research Council 2000).

'교육목표의 분류 체계: 교육목표 분류'라는 책에서 Bloom 등 (1956년)은 학습이 인지, 정신운동, 감정의 세 가지 영역으로 묘사하고 있다. 이러한 세 가지 영역은 현재의 의료 교육 형식에 맞게 지식, 기술, 태도로 조정하는 것이 더 나을 수 있다. (기초 과학에 이어 임상 교육을 받는) 기존의 파편화된 커리큘럼은 학생들에게 두 번째 영역(임상 기술)을 개발할 기회를 주기에 앞서서 교실에서 첫 번째 영역(지식)을 개발하게 한다. 한편 학생들은 이상적으로는 교육 과정 내내 교실에서든 병원에서든 의술의 "태도"에 노출되어야 한다. 통합의 진정한 과제는 커리큘럼 전반에 걸쳐 파편화된 지금의 상태에서 이 세 개의 영역을 종합적으로 제공하는 방식으로 전환하는 것입니다.

통합은 정보 제공을 결합하면 효율성이 향상되고 정보의 보존과 적용의 용이성이 향상될 것이라는 희망에 찬다. 

Integration has come into favor with the hope that combining the delivery of information will increase efficiency and promote retention and ease of application. 

"ICE"와 같은 교육 모델들은 이 개념을 지지한다. 학생들은 

• 처음에 기초 개념(이데아)을 접하게 되며, 

• 그 후에 기초 개념(이데아)을 다른 학습(연결)과 연결하거나 통합하여 기본적인 개념의 틀을 개발하게 됩니다. 

• 학습자는 개념을 실제 사례에 적용합니다(확장). 

Educational models such ‘‘ICE’’(Fostaty-Young & Wilson 2000) support this concept. Students are 

• first introduced to foundational concepts (ideas), 

• after which they connect or incorporate them with other learning(connections) to develop a fundamental conceptual frame-work. 

• Learners then apply the concepts to real-life examples(extensions). 

하덴이 정의한 통합은 "과목 또는 교실에서 별도로 교육되어온 과목들을 상호 연관시키거나 통합하기 위한 교육자료의 조직화"이다(Harden et al. 1984).  이후 하덴은 "통합 래더"를 따라 별도의 범주를 설정함으로써 이 스펙트럼 통합을 매핑하기 위한 보다 구체적인 프레임워크를 개발했다(Harden 2000; 그림 2). 

Integration as defined by Harden is ‘‘the organisation of teaching matter to interrelate or unify subjects frequently taught in separate academic courses or departments’’ (Harden et al. 1984).  Harden has since developed a more concrete framework on which to map this spectrum integration by establishing discrete categories along an ‘‘integration ladder’’ (Harden 2000; Figure 2). 

마지막 단계는 커리큘럼의 모든 기간 동안 "trans-disciplinary teaching"과 완벽하게 통합되며, 학습자의 통합, 적용 및 보존을 촉진하기 위해 의과대학 커리큘럼이 구성되는 이상적인 방법을 나타낸다. 

The final step, complete integration with ‘‘trans-disciplinary teaching’’ throughout all years of a curriculum,represents the ideal way in which medical school curricula would be organized to promote the learner’s synthesis,application, and retention of material. 

관련 모델

Relevant models

(1) 수평적 통합 

(1) Horizontal integration 

수평적 통합은 한정된 기간 내에 이루어지는 여러 분야의 통합으로 정의됩니다. 문헌의 수평적 통합의 예로는 전형적으로 기초 과학과 같이, 한 때 분리된 과목으로 존재하였던 과목을 결합하여 일 년 동안 통일된 입문 과정으로 통합하는 것이다. 해부학, 생리학, 생화학, 신경생물학 등의 1년 과정을 통합한 한 예로 2011년 내용과 시험의 중복성을 감소시킴으로써 독립적인 연구와 교육에 더 많은 시간을 할애했다고 보고했다. McMaster 접근방식은 학생들이 임상 학습을 시작하기 전에 과정을 단위 또는 "학문 블록"으로 결합함으로써 수평적 통합을 나타냅니다(그림 3).

defined as integration across disciplines but within a finite period of time. Examples of horizontal integration in the literature frequently describe the combination of once-separate courses, typically the basic sciences, into a unified, yearlong introductory course. One example, which combined first-year courses in anatomy, physiology, biochemistry, and neurobiology, took two years to design and implement but, by diminishing redundancy in content and examinations, students reported more time for independent study and greater satisfaction with their education (Klement et al. 2011). The McMaster approach represents horizontal integration by combining courses into units or ‘‘interdisciplinary blocks’’ before students begin their clinical learning (Figure 3).

(2) 수직적 통합 

(2) Vertical integration 

이는 시간 경과에 따른 통합을 나타내며, 기초과학과 임상과학 사이의 전통적인 장벽을 무너뜨림으로써 교육을 개선하고자 한다.예를 들면, Wijnen-Meijer와 네덜란드의 다른 사람들이 기술한 'Z 모양 커리큘럼 모델'이 있다(2009; 그림 4).

represents integration across time,attempting to improve education by disrupting the traditional barrier between the basic and clinical sciences.Examples include the ‘‘Z-shaped curriculum model’’ described by Wijnen-Meijer and others from the Netherlands (2009; Figure 4).

Z 모델은 생물의학 및 임상 사례를 '병합' 또는 '상호 연계' 한다. 교육과정의 초반은 거의, 완전히는 아니지만, 기초 과학 교육으로 시작하고, 이는 임상의학 교육과정이 거의 종료될 때까지 이어진다. 이 모델의 장점은 조기 임상 노출에 기인하며, 이는 미래 전공을 선택하는데 있어 학생들의 자신감을 높이고 대학원 훈련을 위한 인식된 준비를 향상시킨다(Wijnen-Meijer et al. 2009).

The Z model presents biomedical sciences and clinical cases ‘‘in parallel or in connection with one another’’. A student begins his or her education with mostly, but not entirely, basic science education and progresses through all years of a curriculum to finish with mostly, but not entirely, clinical science education. Benefits of this model are attributed to earlier clinical exposure, which increases student confidence in selecting a future specialty and improves perceived preparation for post-graduate training (Wijnen-Meijer et al. 2009, 2010).

(3) 나선형 통합 

(3) Spiral integration 

가장 이상적인 형태의 통합은 시간 및 여러 분야의 통합을 통합하여 수평 및 수직 통합의 조합하는 것이다. 그러한 모델은 이전에 "나선형 통합"으로 설명되었으며, 최근에는 "시간과 주제 모두에 걸쳐 과학[기본 및 임상]을 모두 학습하는 과정"을 포함하는 커리큘럼으로 정의되었다(Bandiera et al. 2013). 이 개념은 처음에 Branuner에 의한 초등 교육 문헌에 소개되었는데, 그는 reading을 가르침에 있어 학년이 올라감에 따라 개념이 진화되도록 해야 한다고 제안했다. "중요한 것은 뒷부분에서 가르치는 것이 문학에 대한 그 앞에서의 반응에 기초하고, 과학에서도 훨씬 더 분명하고 성숙한 이해를 추구한다는 것입니다. 학년이 올라감에 따라 한 주제가 개발 및 재개발되어야 한다.' (Bruner 1960, 페이지 53–54). 이렇게 하면 학습자가 처음 학습한 교육자료를 점점 '더 복잡한 버전'으로 만들어갈 수 있습니다.

Integration in its most ideal form might then represent a combination of both horizontal and vertical integration, uniting integration across time and across disciplines. Such a model has previously been described as ‘‘spiral integration’’, recently defined as a curriculum involving ‘‘learning both sciences [basic and clinical] across both time and subject matter’’ (Bandiera et al. 2013). This concept was originally introduced in the elementary education literature by Bruner, who proposed that teaching reading should involve an evolution of concepts over time. ‘‘What matters is that later teaching builds upon earlier reaction to literature, that it seek[s] to create an ever more explicit and mature understanding . . . . so too in science. Let the topics be developed and redeveloped in later grades’’ (Bruner 1960, p. 53–54). In this way, the learner is able to progress ‘‘to more complex versions’’ of the material originally introduced.

나선형 모델은 그 후 영국의 의료 커리큘럼에 적용되었다(Harden et al. 1997; Harden & Straffive 1999에서 검토됨, 그림 5).

The spiral model was then applied to the medical curriculum in the UK (Harden et al. 1997; reviewed in Harden & Stamper 1999; Figure 5).

이 모델은 GMC의 요청에 따라 도입되었습니다. GME는 "과목을 수평 및 수직으로 진정으로 통합하려면, 그 용어를 interdisciplinary synthesis라는 의미로 사용해야 하며, 단순히 교실별로 구성 요소를 조정하거나 시기를 맞추는 것은 아니다"(GMC 1993)라고 했다.

This model was introduced in response to the GMC’s call for ‘‘true integration of the course, both horizontal and vertical, using the term in the sense of interdisciplinary synthesis and not simply coordination or synchronization of departmentally based components’’ (GMC 1993).

LCME는 "학문적 기간(즉, 수평적 및 수직적 통합") 내에서 또는 학구적 기간에 걸쳐 컨텐츠를 조정하고 통합해야 합니다. 이와 유사하게 AMC는 "목적성 있는 커리큘럼 디자인의 증거가 필요하며, 그 근거는 수평 및 수직적 통합을 보여주며, 그리고 다음 단계의 훈련과 연결을 보여주어야 할 것"를 요구한다.

The LCME requires that content ‘‘is coordinated and integrated within and across the academic periods of study, i.e., horizontal and vertical integration’’ (LCME 2013, p. 14) and the AMC similarly calls for ‘‘evidence of purposeful curriculum design which demonstrates horizontal and vertical integration and articulation with subsequent stages of training’’ (AMC 2012, p. 8).

• 1단계는 고립이며, 다른 과목이나 학과를 고려하지 않고 교수진이 교사를 조직한다.

  Step 1 is isolation, in which faculty organize their teaching without considering other subjects or disciplines.

• 2단계는 인식입니다. 한 과목의 선생님들이 다른 곳에서 다뤄지는 것을 알고 있지만, 학생들이 과목을 통합적으로 보도록 돕기 위해 어떤 명시적인 시도도 하지 않습니다.

  Step 2 is awareness, in which teachers of one subject are aware of what is covered elsewhere, but no explicit attempt is made to help students look at a subject in an integrated manner.

• 3단계는 코스에 대해 서로 의사소통하고 그에 따라 내용을 조정하는 조화입니다.

  Step 3 is harmonization, in which teachers communicate with each other about their courses and adapt their content accordingly.

• 4단계는 둥지이고, 주입이라고도 하며, 이 곳에서 교사들은 자신의 과정 내에서 다른 과정의 내용을 목표로 한다.

  Step 4 is nesting, also called infusion, in which teachers target content from other courses within their own courses.

• 5단계는 시간 조정으로 유사한 내용이 코스 전체에 걸쳐 병렬로 적용됩니다.

  Step 5 is temporal co-ordination, in which similar content is covered in parallel across courses.

• 6단계는 공유 또는 공동 교육이며, 종종 콘텐츠의 공통 영역이 있거나 커리큘럼에 새 콘텐츠를 포함시킬 필요가 있을 때 수행됩니다.

  Step 6 is sharing or joint teaching, often conducted when there are common areas of content or there is a need to include new content in a curriculum.

• 7단계는 상관관계이며, 과목 기반 교육 외에도 통합 교육 세션도 도입될 수 있습니다.

  Step 7 is correlation, in which an integrated teaching session may be introduced in addition to subject-based teaching.

• 8단계는 보완 프로그래밍이며, 여러 부문이 기여할 수 있는 주제나 주제와 관련되는 경우가 많다.

  Step 8 is complementary programming, often related to a theme or topic to which several disciplines can contribute.

• 9단계는 여러 학문으로 구성되며, 테마를 식별하고, 때로는 실질적인 의사결정이 필요한 영역과 관련이 있으며, 다른 때에는 주체가 주제의 경계를 초월할 수 있습니다. 이러한 주제나 문제는 학문이 자신의 정체성과 문제에 대한 이해를 유지하면서도 다원적 렌즈를 통해 볼 수 있다.

  Step 9 is multi-disciplinary, in which themes are identified, sometimes related to an area in which practical decisions need to be made, other times when the subject matter transcends subject boundaries. These themes or problems are viewed through a multidisciplinary lens even though the disciplines maintain their own identity and understanding of the problem.

• 10단계는 inter-disciplinary이며, 여러 학문 간 공통점의 추가 개발이다.

  Step 10 is inter-disciplinary, in which there is further development of the commonalities across disciplines.

• 11단계는 교육과정이 정보와 경험으로부터 의미를 구성하는 학습자의 과정에 초점을 맞추는 학문 간 융합이다. 예를 들어, 학생들이 113개의 임상 문제나 경험을 통합하기 위한 과제를 중심으로 학습하는 던디 커리큘럼의 마지막 2년(Harden et al. 1997)이 인용된다.

  Step 11 is trans-disciplinary, in which the curriculum focuses on the learner’s process of constructing meaning from information and experience. An example cited is the last two years of the Dundee curriculum (Harden et al. 1997), in which students focus their learning around 113 clinical problems or tasks to integrate their experience.

통합의 도입

Implementing integration

통합 커리큘럼을 만드는 것은 시간과 리소스가 많이 소모될 수 있습니다. 이상적인 "건설 매뉴얼"은 존재하지 않습니다.

Creating an integrated curriculum can be time consuming and resource-intensive. No ideal ‘‘instruction manual’’ exists,

AMEE 가이드 (Harden 2001). 

"과정 매핑은 다음의 것을 고려해야 한다.

• 무엇을 가르칠 것인가(내용, 전문 분야 및 학습 성과) 

• 어떻게 가르칠 것인가(학습 리소스, 학습 기회), 

• 언제 가르칠 것인가(학습 시간표 및 커리큘럼 순서)

• 학생이 예상 학습 성과를 달성했는지 여부를 어떤 척도로 결정할 것인가(평가)

매핑은 다음과 같은 두 가지 주요 기능을 제공합니다. 

• (1) 커리큘럼의 투명성 제고 

• (2) 커리큘럼 내within 링크 제공

AMEE Guide (Harden 2001). ‘‘Curriculum mapping is concerned with what is taught (the content, the areas of expertise addressed, and the learning outcomes), how it is taught (the learning resources, the learning opportunities), when it is taught (the timetable and the curriculum sequence) and the measures used to determine whether the student has achieved the expected learning outcomes (assessment)’’ (ibid. p.3). Mapping offers two key functions: (1) making the curriculum more transparent and (2) demonstrating links within the curriculum. 

이 논의와 관련된 특별한 관련성은 기대 학습 성과, 커리큘럼 내용 및 학생 평가 간의 연결고리다. 이러한 관계를 가시적인 방식으로 표현하는 것은 다음에 도움이 된다.

• 학습 성과를 통합된 개념의 측면에서 명시하고, 

• 학습 내용이 통합을 요구하는 방식으로 전달하며, 

• 평가 방법이 학생들이 이러한 이해를 보여줄 것을 요구한다.

Of particular relevance for this discussion are the links between expected learning outcomes, the curriculum content, and student assessment. Representing these relationships in a visible way helps ensure that learning outcomes are stated in terms related to the integration of concepts, that the content is delivered in a manner that requires integration, and that assessment methods require students to demonstrate this understanding.

통합의 모든 단계에서 주의할 필요가 있다고 간주되는 세 가지 영역

three areas deemed in need of careful consideration during all phases of integration

학습자료의 동기화된 제시

Ensuring synchronous presentation of material

로지스틱 측면의 변화가 학생들로 하여금 기초과학과 임상적 지식의 적극적인 통합을 유도할지는 불분명하다; 단순히 통합 커리큘럼을 만드는 것이 자동적으로 인지적 상호작용을 만들어내지 않는다. 마찬가지로 단순히 컨텐츠를 조정coordinate한다고 해서 통합이 자동으로 이루어지는 것은 아닙니다.

Whether logistical changes lead to active integration of basic sciences and clinical knowledge by students is unclear; simply creating an integrated curriculum does not automatically create cognitive interaction. Similarly, simply coordinating content does not automatically establish integration.

"통합형 임상실습"은 전형적으로는 기초의학 교육의 일환으로 이루어지며, 일반적으로 전통적인 임상실습보다 더 짧고, 더 일찍 이뤄진다. 그러나 기초의학 교육기간 동안 기초과학 과정 내용과 직접적인 관련성 없이 수행하는 임상실습은 통합을 전혀 반영하지 않는다.

‘‘integrated clerkships’’, such experiences are shorter and occur earlier in a curriculum than traditional clerkships, typically as part of the basic science years. However, Clerkships occurring during the basic science years without direct correlation to basic science course content do not reflect integration at all.

마찬가지로, 시간적으로 coordinate되어있지만, 서로간의 connection없이 개별 교수들에 의해 개별적 강의로 제공되는 multi-disciplinary 과목도 통합integrated가 아닌 단지 조정coordinated된 과정일 뿐이다.

Likewise, multi-disciplinary courses with objectives that are temporally coordinated but delivered as separate lectures by separate lecturers without connections to each other are merely coordinated courses, not integrated.

두 개의 지식 영역을 단순히 가까이 두는 것 만으로는 충분하지 않으며, 이는 정확히 통합 사다리 중 가장 낮은 수준의 통합에 해당한다.

creating proximity between two knowledge domains is simply not enough and sits squarely on the lowest rung of Harden’s integration ladder.

Malik & Malik (2011)은 신중한 계획과 더불어, 기초과학과 응용과학에서 적절한 대표성을 갖춘 커리큘럼 개발 그룹의 창설을 강조한다. 예를 들어 특정 임상실습 모듈 커리큘럼 그룹은 다수 임상의학교수를 적절히 포함해야 하지만 기초의학 교육자의 참여도 강조해야 한다. 저자들은 또한 커리큘럼이 단순히 조정coordinate이 아니라 통합integrate되도록 하려면 "교수자는 다른 수업에서 다뤄진 내용을 언급refer하면서, 다른 수업에서 배운 내용을 기반으로 자신이 가르치는 내용을 구축build on해야 한다."

Malik & Malik (2011), In addition to careful planning, they stress the creation of curriculum development groups with appropriate representation from both the foundational and applied sciences. For instance, a curriculum group for a particular clerkship module should appropriately include a majority of clinicians but must also emphasize participation from basic medical science educators. The authors also highlight the essential need that ‘‘lecturers refer to the contents of other teaching sessions and link and build on what was taught in the other disciplines’’ to ensure that a curriculum is integrated, not merely coordinated.

교육자 간의 trans-disciplinary 협력cooperation의 추가적 이점은 임상학자와 기초 과학자들 사이의 연결고리를 확립하고, 이러한 통합과목이 없었다면 협력하지 않았을 사람들로 하여금, 교육 및 연구에 관한 스핀오프 효과를 창출"할 수 있는 가능성이다.

Additional benefits of trans-disciplinary cooperation among educators could be realized through the establishment of connections between clinicians and basic scientists with the potential to ‘‘produce spin-off effects in teaching and research’’ among professionals that otherwise might not have collaborated (Malik & Malik 2011, p. 99).

기초과학 보존

Preserving the basic sciences

GMC는 교육과정은 "균형잡힌 학습 기회를 제공하고 기초 및 임상 과학의 학습을 통합하기 위해" 구조화되어야 한다고 요구하며, 그렇게 함으로써 학생들은 "이론 및 실천" 연계시킬 수 있을 것이다. 그러나, 시간적 제약과 통합된 기초 과학 및 임상 커리큘럼의 "구조" 또는 "균형" 방법에 대한 추가적 지침이 거의 없기 때문에, 우리는 실용적 지식을 증가시키려는 압력이 결국엔 이론(기초의학) 훈련의 감소를 초래했다는 것을 목격했다.

The GMC calls for curricula to be ‘‘structured to provide a balance of learning opportunities and to integrate the learning of basic and clinical sciences’’ so students may ‘‘link theory and practice’’ (GMC 2009) but, with constraints on time and little additional direction for how to ‘‘structure’’ or ‘‘balance’’ an integrated basic science and clinical curriculum, we have observed that the pressure for increasing applied knowledge has resulted in a subsequent decrease in theoretical training.

AAMC는 이러한 현상을 공통된 결함으로 확인하고 다음을 강조하였다. "교육과정 3, 4년차에 기초 과학 콘텐츠의 통합에 대한 관심이 부족해왔으며, 의학의 과학적 기초는 학부 의학교육의 4년 과정 동안 (지속적으로) 교육될 수 있도록 통합되어야 한다'

The AAMC exposes this shift as a common flaw , emphasizing ‘‘in the strongest possible terms of its conviction that there has been insufficient attention paid to the integration of basic science content into the third and fourth years of the curriculum’’ and that ‘‘the scientific basis of medicine should be integrated into coursework offered throughout the four years of the undergraduate medical education curriculum’’ (AAMC 2001).

교육과정의 현대화는 "기본과학"의 정의 자체를 바꾸고 있다. 분자, 생화학, 세포 메커니즘이 의료 실습을 위한 필수적인 토대가 되어 왔으며 앞으로도 그럴 것이지만, 약학, 유전학, 단백질학, 행동 생물학 같은 임상적 관련성이 증가하는 과학 분야의 목표들이 추가되고 있으며, 이는 학생들에게도 도움이 될 것이다.

modernizing curricula is shifting the very definition of ‘‘basic science’’. While molecular, biochemical, and cellular mechanisms have been and will continue to be essential foundations for medical practice, adding objectives from scientific fields with increasing clinical relevance such as pharmacology, genomics and proteomics, and behavioral biology is essential to curricular modernization and can only benefit students.

LCME는 최근 이러한 "기본과학"의 광범위한 개념을 재차 강조하면서, 현대 과학 지식을 적절히 지원하기 위해서는 생의학 교육을 유지하면서, 행동과 사회경제 과목도 포함할 것을 요구했다.

The LCME recently reiterated this broader concept of ‘‘basic sciences’’, requiring the inclusion of behavioral and socioeconomic subjects while maintaining biomedical science education to properly support contemporary scientific knowledge (LCME 2013).

진정한 통합은 의과대학 교과과정의 어떤 단계에도 기초과학 요소가 부재해서는 안됨을 요구한다. 브루너(1960, 페이지 13)는 "교육과정은 이러한 기초의학의 아이디어를 반복적으로 재검토하고, 학생이 학년이 올라가면서 기초의학이라는 도구를 완전히 형식적으로 이해할 수 있도록 그것들을 바탕으로 해야 한다"고 말하였다.

True integration demands there never be an absence of the foundational science component at any stage of the medical school curriculum. Bruner (1960, p. 13) supports this notion, stating, ‘‘A curriculum as it develops should revisit these basic ideas repeatedly, building upon them until the student has grasped the full formal apparatus that goes with them’’.

교육자들은 커리큘럼의 모든 단계에서 기초 과학을 유지하고 강화해야 하는 중요한 책임이 있다. 기초 과학 과정을 통합하거나 조기에 임상 경험을 커리큘럼으로 확장하는 데 많은 중점을 두어왔으나, 여전히 기초 과학 콘텐츠를 임상교육 기간까지 확장하는 것은 중대한 도전이자 현재 통합 커리큘럼의 주요 결점이다.

educators bear a significant responsibility in maintaining and reinforcing the fundamental sciences throughout all stages of the curriculum. With so much emphasis on integrating basic science courses or extending clinical experiences earlier into a curriculum, extending basic science content into the clinical years has been a challenge and a major shortcoming of integrated curricula (Schmidt 1998).

A first year course uniting a variety of foundational science fields in a horizontal fashion could be consistently defined as an ‘‘integrated course’’, not an integrated curriculum (while we understand that this course may be described as having an internally integrated curriculum, we wish to emphasize the distinction between a course’s curriculum and that of an entire medical school program for the sake of clarity in the literature).

통합에 대한 평가

Assessing integration

아마도 통합 커리큘럼에 관한 문헌에서 관찰된 가장 실망스러운 공통점은 그러한 노력의 공개된 장기적 효과의 부족하다는 점일 것이다. 유용한 후향적 리뷰가 있지만, 그룹 합의나 설문 조사에 근거한 의견에 불과하다(Lowitt 2002; Davis & Harden 2003; Brunger & Duke 2012).

Perhaps the most discouraging commonality observed in the literature on integrated curricula is the scarcity of published long-term effectiveness of such efforts. Useful retrospective reviews are available but are often limited to opinions based on group consensus or surveys (Lowitt 2002; Davis & Harden 2003; Brunger & Duke 2012).

많은 그룹은 새로운 커리큘럼에 대한 목표와 기대치를 보고하지만, 이러한 목표가 충족되는지 평가하기 위한 객관적 데이터를 수집하는 평가 방법을 설명한 그룹은 거의 없다. 우리는 이것이 이용 가능한 평가 기준에 대한 이해 부족 때문일 수 있다고 생각한다. Kulasegaram et al. (2013)이 실시한 대규모 문헌 검토에서는'학생들이 임상적 추론과 기술의 수행에 있어서 기초 과학 콘텐츠를 어떻게 사용하는지 평가하는 것은 특정 통합 전략의 효과에 대한 귀중한 증거를 제공할 것이다.' 라고 제안한다.

many groups report goals and expectations for their new curriculum but few describe methods of evaluation for gathering objective data to evaluate whether these goals are met. We hypothesize that this could be due to a lack of understanding of available standards of evaluation. The large literature review by Kulasegaram et al. (2013) suggests that ‘‘ . . . assessing howstudents use that basic science content in clinical reasoning or in the performance of a skill would provide valuable evidence for the effectiveness of a specific integration strategy’’.

성찰은 일반적인 평생학습에 중요하며, 특히 개념을 통합하는데 있어 중요한 기술이다. 

• 통합 전략을 커리큘럼 전략으로 설명할 때, 골드만과 슈롯(2012년)은 수업 전후에 구체적인 성찰 질문을 하는 것은 교수진이 추가 반사에 대한 등급 피드백과 의견을 제공할 때 학생들의 성찰 능력을 향상시킬 수 있다고 제안한다. 

• Bier는 여러 선택 질문(자체 평가 질문 또는 SAQ)을 학습자에게 서술적 설명을 요구하는 에세이 질문(시험 개념 평가 또는 CAPP)과 함께 설명한다. 

• Wood 및 동료는 학습자가 특정 환자 문제의 메커니즘을 설명하는 단일 단락을 작성하도록 요청하는 임상 추론 연습의 검증 연구를 설명한다(Wood et al. 2009). 그런 다음, 이 실습에서 학습자의 성과가 다른 측정치와 관련이 있는지 여부를 평가하기 위해 이러한 과제를 독립적인 평가자가 채점합니다.

• Williams와 Klamen(2012년)은 학습자에게 감별진단을 개발하고 해당 차이에 질병/조건이 포함된 근거를 설명하도록 하는 시뮬레이션된 환자 접촉에 사용되는 Diagnostic Justification Exercise을 설명했다. 

• 마지막으로, [확률에 기초한 질병지향적 교육을 받은 학생]들과 [특정 질병과 관련된 개념적 기초 과학 교육을 받은 학생]들을 비교한 인터벤션 연구는, 기초 과학 그룹의 학생들(후자)이 그 발생 가능성 기반의 교육을 받은 학생보다 더 정확하게 사례를 진단할 수 있다는 것을 보여주었다.(Woods et al. 2005). 저자들은 "... 기초과학 정보는, 그것의 개념적 일관성 때문에, 그 자체로 더 기억에 남았고, 또한 초기 증상 목록이 잊혀진 후에 개별 질병 범주의 특징들을 재구성하는 방법을 제공했다는 것이다."

Reflection is an important skill for lifelong learning in general and for integrating concepts in particular. 

• In describing strategies for integration as a curricular strategy, Goldman and Schroth (2012) suggest that posing specific reflection questions either before or after class sessions can enhance students’ reflective abilities when faculty provide graded feedback and comments for additional reflection. 

• Bierer combines and others describe an approach that multiple-choice questions (Self-Assessment Questions or SAQs) with essay questions (termed Concept Appraisals or CAPPs) that ask learners to provide a narrative interpretation of the mechanisms behind or reasons for the findings in a clinical scenario (Bierer et al. 2008,2009). 

• Wood and colleagues describe a validation study of a Clinical Reasoning Exercise in which learners are asked to write a single paragraph explaining the mechanisms behind a particular patient problem (Wood et al. 2009); these assignments are then graded by independent raters to assess whether learners’ performance on this exercise correlates with other measures. 

• Williams and Klamen (2012) have described a Diagnostic Justification Exercise used with simulated patient encounters in which learners are asked to develop a differential diagnosis and explain their rationale for including the diseases/ conditions on that differential. 

• Finally, an intervention study comparing students who received probability-based disease-oriented instruction with students who received conceptually based basic science instruction related to a particular disease showed that students in the basic science group were able to more accurately diagnose cases after a delay than were those in the probability-based group (Woods et al. 2005). The authors suggest that ‘‘... the basic science information, because of its conceptual coherence, was itself more memorable and that it also provided a means to reconstruct the features of individual disease categories after the initial symptom lists had been forgotten’’ (p. 111).

개념 맵은 지식의 통합을 평가하기 위한 또 다른 전략을 나타낸다. 

• McGaghie et al. (2000)은 호흡 생리학의 교육적 단위에 참여한 결과, 폐 생리학적 개념에 관한 학생들의 지도가 더 일관성 있게 되었음을 입증했다. 

• 그리고 개념 맵은 그들의 강사들이 개발한 지도와 더욱 유사해졌다. 

• 그러나 이전 연구(McGaghie et al. 1994)에서 그들은 전문가의 전공에 따라 map이 상당히 달랐기 때문에 학생들의 map를 평가하는 'Gold standard'을 개발하는 작업을 복잡하게 만든다. 

• 통합의 정신에서, 아마도 전문가 그룹이 개념 지도를 함께 개발하게 하는 것은 중요한 핵심 개념을 식별하고 학생들의 그러한 개념의 통합을 평가하는 방법을 고안하는데 도움이 될 것이다.

Concept maps represent another strategy for assessing integration of knowledge. 

• McGaghie et al. (2000) demonstrated that students’ maps regarding pulmonary physiology concepts became more coherent as a result of participating in an instructional unit on respiratory physiology, 

• and the maps became more similar to maps developed by their instructors. In an earlier study (McGaghie et al. 1994), 

• however, they showed that maps of experts differ significantly depending on the discipline of the expert (internist, anesthesiologist or physiologist), 

• thus complicating the task of developing a ‘‘gold standard’’ by which to assess students’ maps. 

• In the spirit of integration, perhaps having groups of experts develop concept maps together would be helpful in both identifying important core concepts and in devising ways to assess students’ integration of those concepts.

마인드맵 평가 루브릭(MMAR)은 개념 지도의 계층적 채점에 그림과 색상의 치수를 더한다. 의대생들이 작성한 마인드맵 채점 시 인터랙터 신뢰도를 입증하였다(D'Antoni 등 2009).

The Mind Map Assessment Rubric (MMAR), which adds dimensions of pictures and colors to hierarchical scoring of concept maps, has demonstrated interrater reliability in scoring of mind maps constructed by medical students (D’Antoni et al. 2009).

• 최근의 시범 연구에서, 쿠마르 외 연구진들은 학생들이 핵심 개념에 대한 이해를 테스트하는 데 사용되는 pathogenesis 지도를 개발했다. 전문가들은 처음에 'gold standard' 지도를 개발했는데, 이 지도는 주요 용어 목록을 만드는 데 사용되었다. 그리고 나서 중재 그룹의 학생들은 이 용어를 그들 자신의 지도를 만들기 위해 사용하고 지도의 정확성에 대한 피드백을 받았다. 연구 그룹의 학습자들은 마인드맵 개입에 참여하지 않은 학생들보다 지도의 내용과 관련된 퀴즈 항목에서 더 높은 점수를 받았다. (Kumar et al. 2011) 

• 또 다른 연구에서 PBL(환자 기반 학습) 자습서(PBL)의 개념 맵 사용에 대한 학생들의 반응을 본 결과, 학생들은 이 연습이 환자-기반 학습(Veronese et al. 2013)의 개념을 통합하는 데 도움이 되었다고 생각했고 개념들 사이의 인과관계와 연관성에 대해 좀더 자세히 살펴보게 해주었다

• 마지막으로, 마지막으로, 모니 외 연구진(2005)은 다음을 포함한 채점 루빅을 세분화하기 위해 학생들의 피드백을 사용했다. 

• Map의 내용(예: 관련 개념 포함) 

• Map에 의해 증명된 논리 및 이해 

• Map의 제시 방식

• Map을 평가하기 위한 루브릭은 점점 더 정교해지고 있지만, 테스트 목적으로 사용하기 위해서는 타당성과 신뢰성을 더욱 확고히 하기 위해 지속적인 작업이 필요하다.

• Karpicke와 Blunt(2011)는 retrieval practice (텍스트 학습, free recall 테스트에서 가능한 많은 양의 리콜, 재학습)가 구두 시험과 추론 시험에서 보다 정확한 장기 recall을 보여줌을 입증하였다. 그들은 그것이 단지 암기일 뿐만 아니라 이러한 효과를 가진 정보를 적극적으로 처리하는 것이라고 지적한다.

• In a recent pilot study, Kumar et al. developed pathogenesis maps that were used to test students’ understanding of key concepts. Experts first developed the ‘‘gold standard’’ map, which was then used to generate a list of key terms. Students in the intervention group then used these terms to construct their own maps and received feedback on the accuracy of their maps. Learners in the study group scored higher on quiz items related to content in the maps than had students who had not participated in the mind map intervention (Kumar et al. 2011). 

• In another study, student response to the use of concept maps in Patient-Based Learning (PBL) tutorials (Veronese et al. 2013) indicated that students believed the exercise helped them integrate knowledge about the case and look more carefully at causality and connections among the concepts. 

• Finally, Moni et al. (2005) used feedback from students to refine a scoring rubric that included: 

• the content of the maps (e.g., were relevant concepts included), 

• the logic and understanding demonstrated by the map, and 

• the presentation of the map. 

• While rubrics for grading concept maps are becoming more sophisticated, continued work is needed to further establish the validity and reliability of using them for testing purposes. 

• Karpicke and Blunt (2011) demonstrated that retrieval practice, i.e., studying text, recalling as much as possible on a free recall test, studying again, and recalling again demonstrated better long-term recall on verbatim questions and inference questions than the elaborative strategy of concept mapping. They point out that it is not just memorization, but actively processing the information that has this effect.

에세이는 또한 문제 기반의 학습 사례에서 학생들의 지식 통합을 평가하기 위한 수단으로 제안되었다. 

• 예를 들어, 퍼거슨(2006)은 몇 주 동안 소규모 그룹으로 학습한 사례에 대해 개별 학습자에게 설명을 요청하는 방법을 설명합니다. 학습자는 환자와 대화하는 형태로 글을 쓰도록 요청 받는다. 

• 환자의 징후, 증상, 실험실 및 영상 결과가 질병의 근본적인 메커니즘과 어떻게 관련되는지 여부 

• 치료 권고사항이 어떻게 이 이해에 근거하는지 

• 그리고 환자가 질병과 치료로부터 기대할 수 있는 것. 

• 대화의 형태로 이야기를 쓰는 것은 [어려운 개념]을 [이해할 수 있는 용어로 설명하는 기술]을 연습하는 추가적인 목적을 달성한다.

Longer essays have also been suggested as a means for assessing students’ integration of knowledge from a problem-based learning case. 

• For example, Ferguson (2006) describes a method by which individual learners are asked to write a narrative about a case that they have studied in small groups over several weeks. The learner is asked to write, in the form of a conversation with a patient, 

• how the patient’s signs, symptoms and laboratory and imaging results relate to underlying mechanisms of disease, 

• how the treatment recommendations are based on this understanding, 

• and what the patient can expect from the disease and treatment. 

• Writing the narrative in the form of a conversation accomplishes an additional purpose of practicing the skill of explaining difficult concepts in understandable terms.

아이오와 대학교(아이오와 시티, 미국 아이오와)의 Carver 의과 대학의 사례 기반 학습 커리큘럼에서 학습자는 주간 학습 문제에 대한 서면 보고서를 작성해야 합니다. 이러한 보고서의 중요한 구성요소는 "사례 적용" 섹션으로, 주제검색에서 학습한 정보를 특정 환자 시나리오에 적용하여 통합하는 practice and reinforcement를 제공한다(Fuguson et al. 1997).

In the University of Iowa (Iowa City, Iowa, USA) Carver College of Medicine’s case-based learning curriculum, learners are required to do written reports of weekly learning issues. A significant component of those reports is the ‘‘application to case’’ section, which gives them practice and reinforcement in integrating information they learn from searching a topic by applying it to a particular patient scenario (Ferguson et al. 1997).

유럽에서는 과정 전반의 통합을 평가하기 위해 progress test가 광범위하게 사용되고 있습니다. 이러한 테스트는 커리큘럼 전체에 걸쳐 주기적으로 제공되며, 시험문항은 과정 전체에 걸쳐 그리고 커리큘럼 전체에 걸쳐 수직적으로 누적된 지식을 테스트하기 위한 것이다. 진행 상태 테스트를 위한 타당하고 고품질 항목을 구축하는 데 있어 핵심 요소는 새 졸업생들의 지식을 테스트하는 데 있어 관련성을 보장하는 데 있습니다. 최근 검토(Wrigley et al. 2012)에서는 관련성을 개선하기 위한 5가지 기준을 설명한다. 

• 의학 전문 분야에 특화된 지식을 시험하고 

• 준비 지식을 테스트합니다 (실제 상황에서 작동하기 위한 전제 조건으로 필요한 지식). 

• 성공적인 의료행위에 필요한 중요한 지식을 평가한다

• 고유병률 또는 고위험 의료 상황의 성공적으로 해결하는 데에 실질적인 관련성을 갖는다. 

• 지식은 커리큘럼의 하나 또는 그 이상의 중요한 개념에 대한 기초를 형성해야 한다.

Progress tests have been used extensively in Europe to assess integration across courses. These tests are given periodically throughout the curriculum, and the items are intended to test cumulative knowledge across courses and vertically across the curriculum. A key component to constructing valid, high quality items for progress tests concerns ensuring their relevance in testing a new graduate’s knowledge. 

A recent review (Wrigley et al. 2012) describes five criteria for improving relevance: ‘‘. . . items should 

• test knowledge that is specific to the specialty of medicine, 

• test ready knowledge (knowledge required as a prerequisite to function in a practical situation), 

• be important knowledge which is required for the successful practice of medicine, 

• have a practical relevance for the successful handling of high-prevalence or high-risk medical situations, 

• and the knowledge should form the basis of one or more important concepts of the curriculum’’. 

Progress test는 학생들의 지식 증가를 평가할 수 있는 고유한 기회를 제공하고(윌리엄 등 2011년) 개별 학생을 위한 교정 전략뿐만 아니라 커리큘럼 전체에 대한 결정을 내릴 수 있는 데이터를 제공할 수 있다. 그러나 이러한 목표를 달성하기 위해서는 교수진과 행정 시간이 대폭 투자되어 항목 은행을 개발하고 시험이 타당성을 유지하도록 해야 한다.

Progress tests provide a unique opportunity for assessing growth in students’ knowledge (Williams et al. 2011), and can provide data on which to base decisions about the curriculum as a whole as well as remediation strategies for the individual student. To accomplish these goals, however, requires significant investment of faculty and administrative time to develop item banks and ensure that exams remain relevant.

Swanson과 Case(1997)는 기본 과학과 임상 지식의 통합을 테스트하는 환자 시나리오에 기초한 MCQ의 예를 제공한다. 또한, 그들은 특히 학습자가 과학 문학을 적용하도록 요구하는 오픈북 시험이 특히 자료의 통합과 같은 더 높은 수준의 사고력을 평가하는 데 도움이 될 수 있다고 제안했다. 또 다른 이점은 그러한 시험들이 교수들이 책에서 바로 찾아서는 답할 수 없는 질문들을 쓰도록 만든다는 것이다.

Swanson and Case (1997) provide examples of multiple-choice questions based on patient scenarios that test integration of basic science and clinical knowledge. In addition, they have suggested that open-book exams, especially those that require learners to apply scientific literature, may be especially helpful in assessing higher-order thinking skills such as integration of material. An additional benefit is that such exams drive faculty to write questions that cannot be answered by turning to a page in a book.

임상 교육 동안, 학습자의 진단 추론 기술을 통해 기본적인 과학 개념을 적용하는 능력을 평가하는 것은 종종 환자 치료의 맥락에서 이루어집니다. Bowen(2006)은 다음 6개 영역에서 학습자 기술을 식별합니다. 

• 데이터 수집 및 보고 

• 문제 표현, 

• 가설 생성, 

• 디퍼렌셜에 대한 적절한 진단 확인 

• 사건 관련 경험을 쌓고 

• 일반적인 프레젠테이션/조직 기술 

During clinical education, assessing learners’ ability to apply basic science concepts through their diagnostic reasoning skills often occurs in the context of patient care. Bowen (2006) identifies learner skills in six areas: 

• data acquisition and reporting, 

• problem representation, 

• generation of hypotheses, 

• identifying appropriate diagnoses on the differential, 

• having relevant experience for the case, 

• and general presentation/organizational skills. 

그녀는 이 분야의 부족한 영역을 발견할 단서들을 찾아내고 임상 교육 동안 각각의 문제를 해결하기 위한 교육 전략을 제공하였다. 그녀는 또한 임상 선생님들이 "암기보다 개념화를 촉진하는 reading를 장려해야 한다"고 제안하였다. 이와 관련하여 "학습자는 점진적으로 더 광범위하고 복잡한 문제를 식별하도록 권장해야 합니다. 또한 그 문제를 더 깊이 탐구하도록 장려되어야 한다"고 말했고, 따라서 임상 기간 동안 나선형 커리큘럼의 개념을 강화한다. 

She identifies clues that will uncover deficits in each of these areas and offers educational strategies for addressing each of them during clinical education. She further suggests that clinical teachers should ‘‘encourage reading that promotes conceptualization rather than memorization’’ On a related note, ‘‘Learners should be encouraged to identify progressively broader and more complex issues, [and] explore them more deeply’’, thus reinforcing the notion of a spiral curriculum during the clinical years. 

이러한 재방문 평가를 위한 한 가지 전략은 기초 과학을 온라인 임상 사례에 통합하고 임상실습 시험 중에 기초 과학 개념과 관련된 여러 가지 선택 항목을 작성하는 것이다. 국제 의학 교육 협회(IAMSE)와 의료U 컨소시엄은 혁신적인 전략을 개발하고 교육적 연구를 수행하기 위해 함께 일하는 의료 교육자 및 학생 그룹으로서, 현재 질병과 치료의 인과 메커니즘에 초점을 맞춘 가상 환자를 개발하기 위해 MedU Science라는 프로젝트에 협력하고 있다(MedU Science 2014).

One strategy for assessing this re-visiting would be incorporating basic science into online clinical cases and writing multiple choice items related to basic science concepts during clerkship examinations. The International Association of Medical Science Educators (IAMSE) and the MedU Consortium, a group of medical educators and students working together to develop innovative strategies and conduct educational research, are currently collaborating on a project called MedU Science to develop virtual patients that focus on causal mechanisms of disease and therapy (MedU Science 2014).

Conclusion

그럼에도 불구하고, 그리고 아마도 그 인기 때문에, 통합 커리큘럼은 의학 교육 문헌에 현저한 명확성이 부족했고 그것의 설계자들에게 중요한 도전을 제공한다. 카네기 교육진흥재단은 (의료 교육에 대한 Flexner 보고서 100년주년에) 커리큘럼 현대화의 어려움은 "적절한 내용을 정의하는 것이 아니라, 그 내용을 [기존의 생의학 콘텐츠에 상대적인 중요성을 강조하는 방식으로] 커리큘럼에 통합하고, 이렇게 수정된 커리큘럼을 가르칠 교수진을 찾고 준비하는 것입니다." (Cooke et al. 2006)라고 정확하고 간결하게 보고했다. 

Despite and perhaps due to its popularity, the integrated curriculum has lacked significant clarity in the medical education literature and offers significant challenges to its designers. The Carnegie Foundation for the Advancement of Teaching, celebrating 100 years of the influence of the Flexner Report on medical education, accurately and succinctly reported that the difficulty in modernizing a curriculum is ‘‘not defining the appropriate content but rather incorporating it into the curriculum in a manner that emphasizes its importance relative to the traditional biomedical content and then finding and preparing faculty to teach this revised curriculum’’ (Cooke et al. 2006). 

내용을 선택하는 것은 전투의 일부일 뿐입니다. 여러 분야에 걸쳐, 그리고 시간 경과에 따라 이를 성공적으로 통합하여 학생 준비를 극대화하는 것이 진정한 과제입니다.

Selecting content is only part of the battle; successfully integrating it across disciplines and across time to maximize student preparation is the true challenge.

Australian Medical Council Limited. 2012. Standards for assessment and accreditation of primary medical programs by the Australian Medical Council 2012. Kingston, ACT: AMC.

Lindgren S. 2013. For future health – A new medical school (SOU 2013:15). Report of the Medical Education Survey. State Public Inquiries, SOU 2013:15. Stockholm: Swedish Government Publishing Service.

Malik AS, Malik RH. 2011. Twelve tips for developing an integrated curriculum. Med Teach 33:99–104.

Med Teach. 2015 Apr;37(4):312-22. doi: 10.3109/0142159X.2014.970998. Epub 2014 Oct 16.

The integrated curriculum in medical education: AMEE Guide No. 96.

잠재교육과정, 윤리, 프로페셔널리즘: 임상학습환경을 의사의 Becoming과 Being에 초점두기(Ann Intern Med, 2018)

Hidden Curricula, Ethics, and Professionalism: Optimizing Clinical Learning Environments in Becoming and Being a Physician: A Position Paper of the American College of Physicians

Lisa Soleymani Lehmann, MD, PhD; Lois Snyder Sulmasy, JD; and Sanjay Desai, MD; for the ACP Ethics, Professionalism and Human Rights Committee*

숨겨진 커리큘럼은 문화에 내재되어 있고 명시적으로 의도되지 않은 교훈이다.

Hidden curricula are lessons learned that are embedded in culture and are not explicitly intended.

학습자들은 [롤모델의 행동이나 말]이 [전문직이 옹호하는 가치]와 일치하지 않을 때 윤리와 전문성에 대한 상반된 메시지를 받는다.

Learners receive conflicting messages about ethics and professionalism when the actions or words of role models are not consistent with the values espoused by the profession.

숨겨진 커리큘럼의 개념은 새롭지도 않고 의학 교육에만 국한되지도 않는다. 그것은 초등교육을 사회화 과정 (2) 즉 [가입하는being joined 집단의 가치, 기술, 태도가 도입되는adopted 방법]이라고 설명한 필립 잭슨이 확인했다. 의학에서는, 기관에서 인가하는 과정과 강의실의 "공식 커리큘럼", 애드혹 강의의 "비공식 커리큘럼"(침상 회진 등), 가르쳐지지 않은 것에 대한 "존재하지 않는null 커리큘럼"과 구별된다(정의표 참조).

The concept of a hidden curriculum is neither new nor limited to medical education. It was identified by Philip Jackson, who described elementary education as a socialization process (2)—the method by which the values, skills, and attitudes of a group being joined are adopted. In medicine, it is distinct fromthe “formal curriculum” of coursework and classroom lessons sanctioned by the institution, the “informal curriculum” of ad hoc instruction (such as bedside rounds), and the “null curriculum” of what is not taught (see the Table for definitions).

의학의 "문화"는 예시, 이야기, 의식, 상징, 그리고 정의된 위계구조를 통해 전해진다(4, 5).

The “culture” of medicine is passed down through examples, stories, rituals, symbols, and defined hierarchies (4, 5).

숨겨진 커리큘럼은 광범위한 효과를 가지고 있다. 예를 들어, 1차 진료에 대한 시스템적 편견은 미국 의료 시스템이 고령화 인구의 요구를 충족시킬 준비가 되어 있지 않은 데 기여한다(6, 7).

The hidden curriculum has large-scale effects. For example, systemic bias against primary care contributes to the U.S. health care system being unprepared to meet the needs of an aging population (6, 7).

방법

METHODS

이 직책 논문은 ACP 윤리, 전문가 및 인권 위원회(EPHRC)를 대표하여 개발되었다.

This position paper was developed on behalf of the ACP Ethics, Professionalism and Human Rights Committee (EPHRC).

ACP입장과 권고사항

ACP POSITIONS AND RECOMMENDATIONS

1. 숨겨진 커리큘럼은 공식 커리큘럼과 일치하는 긍정적인 커리큘럼이 되어야 한다. 교수진과 선임 임상의사는 공감대를 형성하고, 훈련 환경에서 긍정적이고 부정적인 행동에 대한 반성과 논의를 장려해야 하며, 임상의사의 안녕을 촉진해야 한다. 교실에서 가르치는 것은 머리맡에서 행해지는 것에 의해 강화되고 강화되어야 한다.

1. The hidden curriculum must become a positive curriculum that aligns with the formal curriculum. Faculty and senior clinicians should model empathy, encourage reflection and discussion of positive and negative behaviors in the training environment, and promote clinician wellness. What is taught in the classroom must be reinforced and enhanced by what is practiced at the bedside.

2. 학습 환경은 존중, 탐구, 정직성을 길러야 하며, 학습자를 포함한 모든 개인이 윤리, 전문성, 돌봄 제공에 대한 우려를 제기할 수 있도록 해야 한다. 팀워크와 동료에 대한 존경을 가르치고 입증해야 한다.

2. The learning environment should foster respect, inquiry, and honesty and empower every individual, including learners, to raise concerns about ethics, professionalism, and care delivery. Teamwork and respect for colleagues must be both taught and demonstrated.

3. 리더는 윤리적 우려에 대한 논의를 장려하고, 일상적 의사결정에 가치를 명시하며, 환자의 복지가 핵심 가치인 전문성에 대한 기대를 구체화함으로써 강력한 윤리 문화를 창조하고 유지해야 한다.

3. Leaders should create and sustain a strong ethical culture by encouraging discussion of ethical concerns, making values in everyday decision making explicit, and embodying expectations of professionalism in which patient well-being is a core value.

결론

CONCLUSION

의료 학습 환경의 교육 및 사회적 환경은 복잡한 영향력 체계다. 동료 관계에 걸친 역할 모델과 의학의 위계는 미래의 의사들의 직업적 정체성, 행동 및 태도의 형성에 기여한다. 숨겨진 커리큘럼의 영향에 대한 최선의 해결책은 그것을 밝혀내고, 그것의 긍정적인 측면을 공식적인 커리큘럼에 통합하며, 교육자와 임상의에 의해 그것의 부정적인 측면을 이해하고 완화시키는 접근법의 개발을 이끌어 내는 것이다.

The educational and social milieu of medical learning environments is a complex system of influences. Role models across peer relationships and the hierarchy of medicine contribute to the formation of professional identity, behaviors, and attitudes of future physicians. The best solutions to the influence of the hidden curriculum will uncover it, integrate its positive aspects into the formal curriculum, and lead to development of approaches to understand and mitigate its negative aspects by educators and practicing clinicians.

APPENDIX:EXPANDED RATIONALE FOR HIDDEN CURRICULA,ETHICS, AND PROFESSIONALISM:OPTIMIZING CLINICAL LEARNING ENVIRONMENTS IN BECOMING AND BEING A PHYSICIAN: A POSITION PAPER OF THE AMERICAN COLLEGE OF PHYSICIANS

Position 1 

숨겨진 커리큘럼은 공식적인 커리큘럼과 일치하는 긍정적인 커리큘럼이 되어야 한다. 교수진과 선임 임상의사는 공감대를 형성하고, 훈련 환경에서 긍정적이고 부정적인 행동에 대한 반성과 논의를 장려해야 하며, 임상의사의 안녕을 촉진해야 한다. 교실에서 가르치는 것은 머리맡에서 행해지는 것에 의해 강화되고 향상되어야 한다.

The hidden curriculum must become a positive curriculum that aligns with the formal curriculum. Faculty and senior clinicians should model empathy, encourage reflection and discussion of positive and negative behaviors in the training environment, and promote clinician wellness. What is taught in the classroom must be reinforced and enhanced by what is practiced at the bedside.

역할 모델로서 숙련된 의료진

Experienced Clinicians as Role Models

임상실습생, 인턴, 레지던트들은 환자와 가족과 대화하는 법, 옷 입는 법, 동료들과 교류하는 법, 환자를 진찰하고 돌보는 법을 배우는 견습생들이다. 만약 그들이 동정, 호기심, 존경, 공감의 문화에 참여한다면, 그들은 이러한 미덕을 채택할 가능성이 더 높으며, 특히 그것이 명시적 가치와 기대라고 확인될 때 더욱 그러하다. 이것은 긍정적인 잠재교육과정이다. 그러나 롤모델이 무례하거나 냉소적인 경우, 그러한 특성은 지속적 영향을 미치며, 그런 행동이 수용가능하다고 인식된다. 그것은 환자를 "301호실의 담낭"이라고 지칭하는 것처럼 간단하고 해로울 수 있다. 예를 들어 비만이나 물질 사용 장애로 곤경을 겪는struggle 환자를 대상화하거나 판단적으로 대하는 선임내과의사의 코멘트가 학습자 및 다른 사람들에게 영향을 미친다(9–11).

Clerkship students, interns, and residents are apprentices learning how to speak with patients and family members, dress, interact with colleagues, and examine and care for patients. If they participate in a culture of compassion, curiosity, respect, and empathy, they are more likely to adopt these virtues, especially when they are identified as explicit values and expectations. This is a positive hidden curriculum. If role models are disrespectful or cynical, however, those traits are perceived as acceptable, with lasting effects. It can be as simple—and harmful—as referring to a patient as “the gallbladder in room 301.” Comments by senior physicians who objectify or are judgmental of patients who, for example, struggle with obesity or substance use disorder affect learners and others (9–11).

문제를 의학적으로 다루는 사회에서 의사는 기초적인 것으로 돌아가서 강력한 환자-의사 관계를 모델링하고 "지식의 한계에 대한 겸손"(12)를 보여야 한다. 이것은 의사소통, 경청, 공감을 위한 시간과 윤리와 전문성에 대한 헌신이 필요하다.

In a society that tends to medicalize problems, physicians should get back to basics to model strong patient–physician relationships and demonstrate “humility about the limits of our knowledge” (12). This takes time—for communication, listening, and empathy—and a commitment to ethics and professionalism.

공감과 웰니스

Empathy and Wellness

환자는 공감하는 의사(13명)를 원하고, 공감의 증식은 의학교육의 1차 목표(14)이다. 그러나 의과대학과 레지던트 기간에는 공감이 감소하며, 이는 위태로운compromised 전문성 (15)과 관련이 있을 수 있다. 의사 공감은 긍정적인 임상 결과와 관련이 있지만, 이러한 이점을 실현하려면 공감을 유지하고 강화하는 방법(16)을 개발해야 한다.

Patients want empathic physicians (13), and cultivation of empathy is a primary objective of medical education (14). However, empathy declines during medical school and residency, and this may be associated with compromised professionalism (15). Physician empathy is associated with positive clinical outcomes, but realizing these benefits requires developing ways of maintaining and strengthening empathy (16).

소진이나, 낮은 웰빙, 우울 등에 의하여 이차적인 2차적으로 스트레스를 받는 것이 의사에게 공감의 감소(17, 18)와 관련이 있을 수 있다. 잠재커리큘럼이 학습자의 스트레스distress에 기여할 수 있다(19). 학생들이 동료들로부터 굴욕을 당하고, 사회적 지지가 부족하며, 과중한 업무량을 경험하는 환경은 공감의 감소에 기여할 수 있다. 지속적인 업무 내용 변경과 "압축적 업무"은 높은 수준의 의사 소진(20)과 비전문화에 기여한다. 교수들은 종종 그들 자신의 challenge에 대해 토론하기를 꺼려하는데, 이것은 웰빙을 소외시키는 숨겨진 커리큘럼을 강화할 수 있다.

Clinician distress secondary to burnout, low sense of well-being, or depression can be associated with a decline in empathy (17, 18). The hidden curriculum may contribute to learner distress (19). An environment in which students are humiliated by colleagues, lack social support, and experience intense workload can contribute to diminished empathy. Ongoing changes in work content and “work compression” contribute to high levels of physician burnout (20) and deprofessionalization. Faculty are often reluctant to discuss their own challenges, which can reinforce a hidden curriculum that marginalizes wellness.

의대와 레지던트 프로그램은 전문직업성, 의사 웰빙, 회복력(스트레스에 적응하는 능력)을 길러야 한다. 의대생의 4분의 1 이상이 우울증(21)을 앓고 있으며 미국정신과협회(ANS)는 전공의 자살률(22)에 대해 경각심을 나타냈다. 대학원 의학 교육 인증 위원회는 의사 복지를 촉진하기 위해 전공의와 기관에 대한 새로운 요구사항을 포함시켰다(23)

Medical schools and residency programs should foster professionalism, physician well-being, and resilience (the ability to adapt to stressors). More than one quarter of medical students have depressive symptoms (21), and the American Psychiatric Association has voiced alarm over rates of resident suicide (22). The Accreditation Council for Graduate Medical Education has included new requirements for residencies and institutions to promote physician well-being (23).

긍정적 역할 모델, 전문성, 경험 및 의료인의 건강 증진을 위한 모범 사례 제안

Best Practice Suggestions to Promote Positive Role Models, Medicine as a Profession, Empathy, and Clinician Wellness

환자와 학습자에 대한 공감과 존중을 모델링하는 것은 직업으로서의 의학의 핵심 가치를 재확인한다. 이러한 행동들은 훈련에서 실습을 통한 경험의 연속성에 영향을 미치고 의술과 과학의 실천에서 평생 윤리에 대한 반성을 함양하는 힘을 가지고 있다. 숙련된 임상의들은 그들의 감정적으로 도전적인 경험을 공유하도록 격려되어야 한다.

Modeling empathy and respect for patients and learners reaffirms core values of medicine as a profession. These behaviors have the power to influence the continuum of experiences from training through practice and foster lifelong reflection on ethics in the practice of the art and science of medicine. Experienced clinicians should be encouraged to share their emotionally challenging experiences.

숨겨진 커리큘럼을 공개하고 재정립하기 위한 전략에는 연습생이 환자의 죽음과 같은 정서적으로 도전적인 상황을 설명하기debrief 위해 확보된 시간, 그리고 전문직 정체성의 형성에 기여하는 암묵적 메시지와 긍정적인 경험에 대한 성찰을 위해 확보된 시간이 포함된다. 전문적인 형성은 명확한 커리큘럼 목표 (24)가 되어야 한다.

Strategies for revealing and realigning the hidden curriculum include dedicated time for trainees to debrief emotionally challenging situations, such as the death of a patient, and for reflection on positive and negative experiences and the implicit messages that contribute to formation of professional identity (Appendix Tables 2 and 3). Professional formation should become an explicit curricular objective (24).

웰니스 위원회는 임상의가 스트레스를 해소하고 직원과 연습생들에게 자신의 건강에 참여하는 것의 가치에 대한 메시지를 보내는 것을 도울 수 있다. 지원은 의미 있고, 비밀이 지켜져야 하고, 종적이며, 개인에 맞게 조정되어야 한다. 예를 들면 조언, 코칭, 비밀 동료 지원 단체, 그리고 사망한 환자들을 위한 병원 전체의 추도 예배 등이 있다.

Wellness committees may help clinicians address stress and send a message to staff and trainees about the value of attending to one's own health. Support must be meaningful, confidential, longitudinal, and tailored to individuals. Examples include advising, coaching, confidential peer support groups, and hospitalwide memorial services for deceased patients.

임상 기술 개발: 환자의 서비스에서... 아니면 아이패티엔트?

Clinical Skills Development: In the Service of the Patient ... or the iPatient?

마스터 임상가-교육자인 윌리엄 오슬러는 침대 머리맡에서 배우는 것이 의학 교육의 가장 중요한 부분이며, 그의 묘비가 오직 "그는 의대생을 BST를 위하여 병동으로 데려왔다"(25)라고만 읽히기를 원한다고 말했다. 간단하지만 강력한 침대 머리맡 기술을 보여줌으로써 닥터링doctoring의 기쁨을 나누는 의사는 교사의 위대한 혈통의 일부분이다. 이들은 그런 지식과 연민을 물려주고 학생에게 경이로움을 일깨우는 보상을 아는 사람이다. 심장 잡음을 강조하기 위한 침대 머리맡의 기술처럼 기본적인 것을 보여주고 그것을 환자의 역사와 연관시키는 것은 신체 진단과 중요한 교훈의 힘을 전달한다. 여기에는 뛰어난 임상 기술이 불필요한 영상검사를 피하는 데 도움이 된다는 것을 포함한다.

The master clinician-educator William Osler said that learning at the bedside was the most important part of medical education and wanted his headstone to read only, “He brought medical students into the wards for bedside teaching” (25). The physician who shares the joy of doctoring by demonstrating simple but powerful bedside skills is part of the great lineage of teachers who have passed down such knowledge and compassion and who know the reward of awakening a sense of wonder in a student. Demonstrating something as basic as bedside maneuvers to accentuate a cardiac murmur and correlating it with the patient's history conveys the power of physical diagnosis and important lessons, including that excellent clinical skills help to avoid unnecessary imaging studies.

BST는 효율을 우선시하는 문화에 의해 위협받을 수 있다. 교육자들이 침대 머리맡에서 가르치는 시간은 25% 미만이지만, 이 곳이야말로 학생들이 환자 중심 진료에 기초하는 치료적 관계, 공감, 전문성, 그리고 임상 및 커뮤니케이션 기술에 대해 가장 많이 배우는 곳이다.

Bedside teaching can be threatened by a culture that prioritizes efficiency. Educators spend less than 25% of teaching time at the bedside (26), but that is where students learn the most about therapeutic relationships, empathy, professionalism, and clinical and communications skills that are foundational to patientcentered care.

학생들은 공식적으로 상세한 병력청취와 신중한 신체검사 수행법을 배우면서 환자-의사 관계를 중시하도록 가르친다. 그럼에도 불구하고, 임상실습 기간 동안 학생들은 환자보다 컴퓨터와 더 많은 시간을 보내는 의사와 자주 마주친다. 이는 흔히 모든 곳에 존재하는omnipresent 전자건강기록(28, 29)에 의해 추진되지만, 규정(근무시간 제한 등), 기술 접근 용이성, 의사들에 대한 행정업무의 부담 증가(30) 등에 의해서도 유도된다. 혁신은 환자 관리의 질을 향상시킬 수 있지만 환자와의 상호작용을 대체해서는 안 된다. 학습자가 BST를 경험할 때, 그들은 미래의 교육방식으로 위해 그러한 회진을 선호하는 경향이 있다. 학생들은 회진에서 선생님들이 환자와 상호작용하고 신체 진단을 배우는 것을 볼 수 있는 유일한 기회를 제공한다고 언급하면서, 이것이 환자가 추상적인 질병이나 숙주가 아니라 독특한 사람(26)이라는 관점을 강화한다고 이야기한다.

Students are formally taught to value patient encounters and the patient–physician relationship by learning to take detailed histories and perform careful physical examinations. Nevertheless, during clerkship, students frequently encounter physicians who spend more time with computers than with patients (27). This is often driven by the omnipresent electronic health record (28, 29) but is also promoted by regulations (such as duty hour limits), easy access to technologies, and the increasing burden of administrative tasks (30) on physicians. Innovations can enhance the quality of patient care but should not supplant interactions with patients. When learners “experience bedside teaching, they tend to prefer such rounds for future instruction, commenting that bedside rounds provide them their only opportunity to see teachers interact with patients, learn physical diagnosis, and reinforce the perspective that patients are not abstract diseases or hosts but instead unique persons” (26).

내과 레지던트들은 환자와 직접 접촉하는 데 시간의 9%에서 12%를 소비하고(31~34) 환자의 컴퓨터 차트 검토, 주문 입력 및 문서화에 40%를 소비한다(35). 학생들은 "iPatient"가 전자 건강 기록, 실험실 및 영상 결과 및 기타 테스트에 기초하여 치료되는 작업실 또는 "snug 벙커"로 후퇴하는 것을 알아차린다. 그 팀은 가장 중요한 팀원이라고 할 수 있는 "실제 환자"는 빼 놓은 채로 화면 주위를 서성거리는 것이다.

Internal medicine residents spend 9% to 12% of their time in direct contact with patients (31–34) and 40% of their time on computer chart review, order entry, and documentation away from patients (35). Students notice the retreat to the workroom or “snug bunker,” where the “iPatient” is treated on the basis of the electronic health record, laboratory and imaging results, and other tests (36). The team huddles around the screen without the most important team member: the actual patient.

테크놀로지는 의료 서비스를 발전시키지만 환자, 교수, 전문성에 대한 의도하지 않은 결과가 과소평가될 수 있다. 기초적인 병력청취와 신체검사 기술은 의과대학 초기에 가르치지만 레지던트(37) 기간동안 위축될 수 있다. 또한 이러한 기술을 가르치고 모델링할 수 있는 임상의 수가 줄어드는 것에 대한 우려도 증가하고 있다. 현재의 건강관리 환경에서는 가르치고 역할 모델로서 행동할 시간을 찾는 것은 어려운 일이지만, 가르침은 practice의 의미와 기쁨에 기여할 수 있다. medicine이 천직이나 소명이라는 인식이 쇠퇴하는 것은 현재의 실천 상태에 대한 임상의들의 시각에 영향을 미칠 뿐만 아니라 수련자에게도 전달된다.

Technology advances medical care, but unintended consequences for patients, teaching, and professionalism can be underappreciated. Fundamental history-taking and physical examination skills are taught early in medical school but can atrophy by residency (37). There is also growing concern about the diminishing number of clinicians who are capable of teaching and modeling these skills. Finding the time to teach and act as a role model is challenging in the current health care environment, but teaching can contribute to the meaningfulness and joy of practice. A waning sense of medicine as a vocation or a calling not only affects the views of clinicians about the current state of practice but also is communicated to trainees.

환자와의 상호작용에 초점을 맞추면 의학의 실천에 내재된 인간성과 불확실성을 우리에게 일깨워준다. iPatient에게는 접촉touch과 눈맞춤이 신체적으로든 감정적으로든 어떤 것도 가져다 주지 않지만, 실제 환자들은 touch and eye contact를 크게 중시한다(36). 편안함과 치유적인 연결의 부재는 또한 신뢰와 치료적 관계를 형성하는 능력 그리고 후대에 의해 얼마나 훌륭한 치료를 보고 실천할 것인가에 지속적인 영향을 미칠 수 있다. 테크놀로지가 환자-의사 관계의 신성한 공간을 방해할 필요는 없다.

Focusing on interacting with the patient reminds us and learners of the humanity and uncertainty inherent in the practice of medicine. Touch and eye contact bring nothing, physically or emotionally, to the iPatient, but real patients value them greatly (36). The absence of comfort and healing connections can also have lasting effects on trust and the ability to form therapeutic relationships and on how excellent care will be viewed and practiced by future generations. Technology need not hamper the sacred space of the patient–physician relationship.

급격한 상태 변화를 겪는 환자를 진찰할 때 얻을 수 있는 것을 모델링하면 모든 팀 구성원이 환자를 재검진하고 임상적 추론 기술을 다듬는 데 도움이 된다. (부록 표 1의 표 2 참조). [컴퓨터 앞에 앉기 전에 침대 머리맡에 가는 이유]를 성찰하는 것도 patient-guided assessment의 중요성을 강조하는데 도움이 된다.

Modeling what can be gleaned from examining a patient with a sudden change in condition helps all team members refocus on the patient and refine clinical reasoning skills (see vignette 2 in Appendix Table 1). Reflecting on the reasons for going to the bedside before the computer helps emphasize the importance of patient-guided assessment.

"Medicine에서 가르침(teaching)이란 근본 가치(fundamental value)이다. "doctor"라는 단어가 "가르치다(to teach)"라는 의미의 라틴어 docere에서 왔다는 사실은 동료 및 학습자와 지식을 공유해야 할 의사의 의무를 확인시켜준다. 이러한 지식의 공유는 (수업 등을 통하여) 공식적(formally)으로 이루어질 수도 있으며, 역할모델(role model)로서 이루어질 수도 있다." 기관들은 교육에 대한 그들의 헌신을 확인해야만 하고 그것에 대한 적절한 자원, 시간, 그리고 인정을 제공해야 한다.

Teaching is a fundamental value in medicine. The word doctor, from the Latin docere (“to teach”), affirms the duty of physicians to share knowledge with colleagues and learners, formally and as role models (38). Institutions must affirm their commitment to teaching and provide appropriate resources, time, and recognition for it.

BestPractice 제안 Bedside 지식 재산권 교육 및 임상 스킬 개발을 홍보하기 위한.

Best Practice Suggestions to Promote Bedside Teaching and Clinical Skill Development

침대 옆에서 늘 경험이 풍부한 임상의로 모델링 되야 한다. 학습자를 관찰하고 개인화된 피드백을 공유하는 것이 아마도 임상 기술을 가르치고 침상 의학의 중요성을 전달하는 가장 효과적인 방법일 것이다. "hi-tech, lo-think" 의료 환경에서는 임상 기술과 환자-의사 관계를 희생하지 않고 디지털 스테토스코프, 휴대용 초음파 기계, 시뮬레이션, 비디오 아틀라스 등의 기술을 통합하는 방법의 개발이 시급하다(36).

Presence at the bedside must be modeled by experienced clinicians. Observing learners and sharing individualized feedback is perhaps the most effective method to teach clinical skills and convey the importance of bedside medicine. In a “hi-tech, lo-think” medical environment, the development of ways to integrate technology, such as digital stethoscopes, portable ultrasound machines, simulation, and video atlases, without sacrificing clinical skills and patient–physician relationships is urgently needed (36).

혁신적인 훈련 모델과 훈련생을 침상으로 데려오는 구조화된 침상 의료 커리큘럼은 신체 진단, 임상 추론, 의사소통 기술, 환자 중심 치료를 양성한다.

Innovative training models and structured bedside medicine curricula that bring trainees back to the bedside cultivate physical diagnosis, clinical reasoning, communication skills, and patient-centered care.

Position 2 

학습 환경은 존중, 탐구, 정직성을 길러야 하며, 학습자를 포함한 모든 개인이 윤리, 전문성 및 관리 제공에 대한 우려를 제기할 수 있도록 해야 한다. 팀워크와 동료에 대한 존경을 가르치고 입증해야 한다.

The learning environment should foster respect, inquiry, and honesty and empower every individual, including learners, to raise concerns about ethics, professionalism, and care delivery. Teamwork and respect for colleagues must be both taught and demonstrated.

안전·품질·윤리 향상을 위한 발언문화

A Culture of Speaking Up to Advance Safety, Quality, and Ethics

강력한 윤리적 문화를 조성하려면 팀원들이 자유롭게 우려를 표명할 수 있게 해야 한다(예: 낮은 품질의 케어나 방해 또는 문제가 있는 동료에 대해). 마르티네즈와 동료들은 [역할 모델에 대한 노출]이 [유해한 의료 오류의 공개]와 관련하여 연습생의 태도와 행동을 예측하는 것을 발견했다(43) 부정적인 역할 모델에 대한 더 많은 노출은 더 많은 부정적인 태도와 (공시와 관련된) 비전문적 행동의 가능성 증가와 독립적으로 연관되었다. [고위 임상의가 환자와 가족에 대해서 오류에 대한 책임을 회피하거나 투명하지 않게 처리하는 것을 보는 경우], 혹은 [공포의 문화를 경험하는 경우] 학생과 레지던트는 실수를 관찰하거나 실수를 저질렀을 때 말하지 않게 된다.

Creating a strong ethical culture requires that team members feel free to voice concerns (for example, about low-quality care or disruptive or impaired colleagues). Martinez and colleagues found that exposure to role models predicted trainee attitudes and behavior with regard to disclosure of harmful medical errors (43). Greater exposure to negative role models was independently associated with more negative attitudes and increased likelihood of unprofessional behavior related to disclosure. Students and residents who see senior clinicians evade responsibility to and transparency with patients and families about errors or who experience a culture of fear speak up less when observing or making a mistake.

환자 안전 이니셔티브의 중요성은 강의실에서 배우지만, 가장 설득력 있는 교훈은 임상 환경(44, 45)에서 배운다. 부록 표 1의 vignette 3에서와 같이 각 환자가 마주치기 전과 후에 손씻기를 관찰하는 것은 손씻기 캠페인이나 감염관리 강의보다 학생들의 행동에 더 큰 영향을 미칠 가능성이 있다.

Although the importance of patient safety initiatives is taught in the classroom, the most compelling lessons are taught in clinical environments (44, 45). Observing handwashing before and after each patient encounter, as in vignette 3 in Appendix Table 1, is likely to have a greater effect on student behavior than handwashing campaigns or infection control lectures.

위계

Hierarchy

[탐구, 학술, 지속적 개선의 환경 및 문화를 확립]하기 위해서는 위계계층으 상부에서 [모든 팀 구성원의 기여가 중요하다는 것]을 명시적으로 밝히는 것이 필요하다. 이러한 문화가 확립되어야 학습자가 겪는 윤리적 이슈나 도덕적 고통의 근원을 제기할 수 있다. Gaufberg와 동료들은 숨겨진 커리큘럼을 돌아본 의대생들의 절반이 의료 계층에서 "그들의 분수를 알아야 한다"는 강한 압박감을 느낀다는 것을 발견했다. 학생들은 또한 환자들이 의사 권한을 받아들여야 한다는 압박감을 느낀다고 인식했다(46).

Establishing an environment and culture of inquiry, scholarship, and continuous improvement that fosters the raising of ethical issues and sources of moral distress by learners (38) requires explicit reminders from the top of the hierarchy of the importance of contributions from all team members. Gaufberg and colleagues found that half of medical students reflecting on the hidden curriculum reported feeling intense pressure to “know their place” in the medical hierarchy. Students also perceived that patients felt pressured to accept physician authority (46).

표 3(부록 표 1)에서 학생은 주치의가 이전에 입력에 대한 개방성을 표시했었던 어떤 것을 말했을 수 있다. 학생들에게 [[환자의 최선의 이익]에 초점을 맞춘 우려를 전달하도록 가르치는 것]은 심지어 상급 팀 구성원들이 피드백을 요청하지 않을 때에도 학생들에게 힘을 준다.

In vignette 3 (Appendix Table 1), the student may have said something had the attending physician previously expressed openness to input. Teaching students to convey concerns focused on the best interests of patients empowers students even when senior team members do not invite feedback.

임상 환경에서 역할, 경험 및 평가의 위계적 구조는 귀중한 통찰력을 침묵시킬 위험이 있으며 도덕적 고통과 권력의 남용 가능성을 지니고 있다. 2016년 의과대학 졸업생의 절반 가까이가 교직원들의 공개적인 당혹감을 경험했고, 4분의 1 가까이가 공개적인 굴욕(1)을 경험했다. 졸업생들은 괴롭힘, 성차별주의 혹은 인종 차별주의적인 발언, 원치 않는 성적 진보, 성별에 근거한 훈련이나 보상의 기회 거부, 그리고 가장 흔히 임상 환경에서 나타난다. 졸업생의 36%가 아무 조치도 없을 것으로 보고 신고하지 않은 것으로 나타났고, 27%는 보복이 두려워 신고하지 않은 것으로 나타났다(1).

The hierarchical structure of roles, experience, and evaluation in clinical environments risks silencing valuable insights and carries the potential for moral distress and abuses of power. Almost half of 2016 medical school graduates experienced public embarrassment by faculty, and almost one quarter experienced public humiliation (1). Graduates highlighted bullying, sexist or racist remarks, unwanted sexual advances, denial of opportunities for training or rewards based on gender, and physical harm, most commonly in clinical settings. It is alarming to note that 36% of graduates indicated that they did not report these behaviors because they believed nothing would be done, and 27% did not report them because they feared reprisal (1).

환자 안전 및 평면 계층화를 위한 모범 사례 제안

Best Practice Suggestions to Promote Patient Safety and Flatten Hierarchy

교직원들과 레지던트들은 책임감의 문화culture of accountability 속에서 적극적으로 발언하도록 격려받아야 한다. 지식의 위계는 항상 존재할 것이고, 많은 면에서 다양한 학위와 지식을 가진 팀 구성원을 갖는 것은 효과적인 관리와 교육을 보장하는 데 도움이 된다. 교수개발과 학습 환경의 개입을 통해 개방성openness을 배양할 수 있으며, 이를 통해 학대mistreatment를 감시할 수 있다.

Faculty and residents should actively encourage speaking up in a culture of accountability. Hierarchy of knowledge will always exist, and in many ways having team members with varying degrees and knowledge helps ensure effective care and education. Openness can be nurtured through faculty development and interventions in the learning environment to monitor for mistreatment.

[환자 안전과 관련된 우려를 전달하고 해결하는 방식으로 의사소통 기술을 가르치는 것]이 팀 관계를 위태롭게 만들 가능성은 낮을 것이다. 질문의 형태로 우려를 제기하는 것은 위계적 환경에서 효과적일 수 있으며, 그러한 기법을 가르치는 것은 도덕적 용기를 강화시킬 수 있다(47). 기관은 보고를 권장해야 하는데, 종종 [익명의 메커니즘]이나 [관리나 감독에 직접 관여하지 않는 옴부즈퍼슨]을 사용하는 것이 가장 효과적일 수 있다.

Teaching communication skills in a manner that conveys and addresses concerns related to patient safety may be less likely to jeopardize team relationships. Raising concerns in the form of a question may be effective in a hierarchical setting, and teaching such techniques may bolster moral courage (47). Institutions should encourage reporting, which is often best accomplished using anonymous mechanisms or an ombudsperson not directly involved with care or supervision.

팀워크 및 프로페셔널 관계

Teamwork and Interprofessional Relationships

[정직과 존중을 담아 수행하는 팀워크]는 수준 높은 환자 진료(38)의 특징이다. 의사, 간호사, 레지던트 및 의대생 사이의 위계는 팀워크를 억제할 수 있다(48).

Teamwork performed with honesty and respect is a hallmark of high-quality patient care (38). Hierarchy among physicians, nurses, residents, and medical students can inhibit teamwork (48).

의료 서비스 제공은 점점 더 복잡해지고 있다. 일반적인 메디케어 환자는 1차 진료 의사 2명과 1차 진료 전문의 5명(49)을 본다. 컨설턴트 또는 부문 간의 논쟁은 고품질의 팀 기반 진료(48)를 방해한다. 성공적인 팀들은 존경, 신뢰, 동료애, 열린 의사소통, 그리고 상호 지원으로 특징지어진다. 단어의 선택, 상호작용의 톤, 그리고 문제를 제기하는 것에 대한 안전감 등이 효과적 협력을 유도할 수 있다.

Health care delivery is becoming increasingly complex. The typical Medicare patient sees 2 primary care physicians and 5 subspecialists annually (49). Discord between consultants or disciplines hinders high-quality, team-based care (48). Successful teams are characterized by respect, trust, collegiality, open communication, and mutual support. Choice of words, tone of interactions, and comfort level with raising issues drive the ability to work together effectively.

Vignette 4 (부록 표 1)에서는, 비록 교직 회진 중에 간호사의 방해를 받았을지라도, 환자의 요구가 우선한다. 겸손함을 모델링하고 모든 출처에서 관련 임상 정보를 수집할 기회를 놓쳤다. 검소함과 간호사의 관찰에 대한 고마운 인정은 좀더 적절한 대응이었을 것이다. 매일 라운드에서 간호 참여를 유도하는 구조는 팀워크를 키워 징계 사일로를 극복할 수 있다. 무례하거나 감사하지 않는 문화에 기여하는 근소한 메시지들은 다음 세대에 전달된다.

In vignette 4 (Appendix Table 1), although being interrupted by the nurse during teaching rounds may have been frustrating, patient needs come first. An opportunity to model humility and gather relevant clinical information from all sources was missed. Collegiality and grateful acknowledgment of the nurse's observations would have been a more appropriate response. A structure that invites nursing participation in daily rounds can foster teamwork and overcome disciplinary silos. Subtle and not-so-subtle messages contributing to a culture of disrespect or lack of appreciation are passed to the next generation.

팀워크 및 프로페셔널 관계 증진을 위한 모범 사례 제안

Best Practice Suggestions to Promote Better Teamwork and Interprofessional Relationships

의과대학과 훈련프로그램은 관계와 수준 높은 힘을 기르기 위해 전문직간 교육의 모델을 개발하고 있다. 전문직간 라운드는 로지스틱 측면에서 실행하기가 어렵지만, 병동에서의 가치에 대한 인식은 증가하고 있다. 병원은 병동을 보다 효과적인 임상 마이크로시스템이 되도록 accountable care unit으로 개편하고 있다. Accountable care unit에는 유닛 기반 팀, 구조화된 학제 침대 옆 라운드, 유닛 레벨 성과 보고, 유닛 레벨의 간호사와 의사 공동 책임(50)이 포함된다. 학제간 회진에는 의사, 간호사, 약사, 사회복지사, 사례 관리자, 물리치료사 및 가정치료 전문가가 포함될 수 있다.

Medical schools and training programs are developing models for interprofessional education to build relationships and level power. Although interdisciplinary rounds are logistically challenging to implement, there is increasing recognition of their value on the wards. Hospitals are reorganizing wards into accountable care units so that they are more effective clinical microsystems. Accountable care units include unit-based teams, structured interdisciplinary bedside rounds, unitlevel performance reporting, and unit-level nurse and physician co-leadership (50). Interdisciplinary rounds may include physicians, nurses, pharmacists, social workers, case managers, physical therapists, and home care specialists, creating in-person, synchronous communication.

Position 3

지도자들은 윤리적 우려에 대한 논의를 장려하고, 일상적인 의사결정에 가치를 명시하며, 환자의 복지가 핵심 가치인 전문성에 대한 기대를 구체화함으로써 강력한 윤리 문화를 만들고 유지해야 한다.

Leaders should create and sustain a strong ethical culture by encouraging discussion of ethical concerns, making values in everyday decision making explicit, and embodying expectations of professionalism in which patient well-being is a core value.

윤리와 전문직업성의 문화

A Culture of Ethics and Professionalism

의료진과 학습자는 양식, 프로세스 메트릭스 및 변제에 많은 시간을 할애하여 시간이 부족하다고 보고한다. 체계적이고 조직적인 힘은 연습과 학습 환경에 크게 영향을 미쳤다. 블록과 동료들은 레지던트들이 하루 중 12%만 직접 환자 진료에 쓰고, 하루에 한 명의 환자를 돌보는 데 8분도 걸리지 않는다는 것을 발견했다. 1989년과 2000년(31) 사이에 이루어진 관측에 비해 이러한 시간이 줄어들었다.

Clinicians and learners report insufficient time as a major challenge, with much time spent on forms, process metrics, and reimbursement. Systemic and organizational forces have profoundly affected practice and the learning environment. Block and colleagues found that residents spent only 12% of their day in direct patient care, with less than 8 minutes on the care of any one patient per day. These times were reduced compared with observations made between 1989 and 2000 (31).

2011년 업무 시간 제한은 환자 직접 진료를 위한 시간을 강조하게 만들었다. 대부분의 병원에서는 임상 업무량과 임상의 수가 그대로 유지되었다. 레지던트들은 같은 양의 일을 더 짧은 시간 안에 끝내야 하고, 힘든 선택을 강요하는 업무 압축을 경험하고 있다. 환자 진료는 항상 우선순위가 되어야 하기 때문에, 많은 레지던트들은 제한된 시간 내에 노트와 오더 작성을 완료하기를 것을 선택하고, bedside instruction이나, 가족미팅이나, 컨설턴트와의 토론에 참석하지 않는다. 이런 일이 일어날 때, medicine은 과제를 완료하는 데 더 집중하게 되고 환자나 독특한 교육 기회를 포착하는 것에 덜 집중하게 된다.

A stress on time for direct patient care is the 2011 duty hour restrictions. In most hospitals, the clinical workload and number of clinicians remained the same. Residents have to complete the same amount of work in less time and are experiencing work compression, forcing difficult choices. Because patient care should always be the priority, many residents choose to complete notes and place orders in limited time and miss attending bedside instruction, family meetings, or discussions with consultants. When this occurs, medicine becomes more focused on completing tasks and less focused on the patient and seizing unique educational opportunities.

레지던트는 전문직업성의 충돌을 경험한다(부록 표 1의 5번 참조). 프로그램 책임자와 교직원들은 종종 인가 상태를 유지하기 위해 [의무 시간에 대한 준수]를 강제해야 한다고 느끼는 반면, 훈련생들은 전문직업성이란 [환자의 요구와 교육]을 [의무 시간에 대한 엄격한 준수]보다 우선하는 것이라 믿는다. 훈련생들은 [중증 환자의 치료 목표를 논의하기 위해 가족 모임에 참여하는 것]이 [병원 내에서 근무할 수 있는 시간을 제한하는 규정을 지키는 것]보다 더 중요하다고 당연히 느낄 수 있다. 선임 레지던트와 교직원은 임상의사가 구현해야 할 가치에 대한 역할 모델 대신 '근무시간 경찰'이 될 수 있다. 교수진들은 그렇게 할 때 환자의 관리를 소유하는 전문성이 근무 시간과 상충된다는 메시지를 전달하는 것이 어려울 수 있다. 관행과 정책의 불일치는 윤리와 전문성을 훼손하며, 훈련생과 교수진에게 혼란스럽고 불공평unfair하다. 연습생들에게 갈등을 해결할 수 있는 대화를 장려하는 것은 그들이 전문가로서 발전하는 데 도움이 될 것이다.

Residents encounter conflicts with professionalism (51, 52) (see vignette 5 in Appendix Table 1). Program directors and faculty often feel compelled to enforce adherence to duty hours to maintain accreditation status, whereas trainees believe that professionalism dictates that patient needs and education should be prioritized over strict adherence to duty hours. Trainees may rightly feel that participating in a family meeting to discuss a critically ill patient's care goals is more important than obeying a rule limiting the number of hours they can stay in the hospital. Senior residents and faculty can become the “duty hour police” instead of role models for the values that clinicians should embody. Faculty may find it challenging to convey the message that professionalism means owning the patient's care when doing so conflicts with duty hours. A misalignment of practice and policy undermines ethics and professionalism and is confusing and unfair to trainees and faculty. Encouraging conversations that allow trainees to resolve conflicts will help them develop as professionals.

윤리 및 프로페셔널리즘 문화를 촉진하기 위한 모범 사례 제안

Best Practice Suggestions to Promote a Culture of Ethics and Professionalism

기관의 정책과 구조는 핵심이 되는 직업적 가치를 육성하고 촉진해야 한다. 스케줄링 정책은 각각의 고유한 임상 환경의 장점을 홍보하고 약점을 완화해야 한다. Trainee가 [환자를 돌보기 위해 present하기를 원하는 것]과 [Trainee의 건강 및 환자 안전을 증진하기 위한 규정을 존중하는 것] 사이에서 딜레마에 빠지지 않도록 명확한 기대가 있어야 한다. 프로그램 리더들은 고수할 수 있는 일정을 만들어 충돌을 최소화해야 한다.

Institutional policies and structures should nurture and promote core professional values. Scheduling policies should promote the strengths and mitigate the weaknesses of each unique clinical environment. Expectations should be sufficiently clear so that trainees do not feel caught between wanting to be present to care for patients and respecting regulations intended to promote trainee wellness and patient safety. Program leaders should minimize conflicts by creating schedules that enable adherence.

39. Stanford Medicine. Stanford Medicine 25: Promoting the Culture of Bedside Medicine. 2017. Accessed at http://stanfordmedicine25.stanford.edu on 22 November 2017.

40. University of Washington Medicine. The Colleges. 2017. Accessed at 

www.uwmedicine.org/education/md-program/current-students/the-college on 22 November 2017.

47. Thompson MP. The skills of inquiry and advocacy. Management Commune Q. 1993;7:95-106. XXX

41. Johns Hopkins Medicine Center for Innovative Medicine. Aliki Initiative. 2017. Accessed at www.hopkinscim.org/initiatives/aliki-initiative on 22 November 2017.

44. Lucey C, Souba W. Perspective: the problem with the problem of professionalism. Acad Med. 2010;85:1018-24. [PMID: 20505405] doi: 10.1097/ACM.0b013e3181dbe51f

Ann Intern Med. 2018 Apr 3;168(7):506-508. doi: 10.7326/M17-2058. Epub 2018 Feb 27.

Hidden Curricula, Ethics, and Professionalism: Optimizing Clinical Learning Environments in Becoming and Being a Physician: A Position Paper of the American College of Physicians.

학부의학교육에서 지속적 교육과정 개선을 위한 학생-교수 파트너십 촉진(Acad Med, 2019)

Fostering Student–Faculty Partnerships for Continuous Curricular Improvement in Undergraduate Medical Education

Kirstin W. Scott, MPhil, PhD, Dana G. Callahan, Jie Jane Chen, Marissa H. Lynn, David J. Cote, Anna Morenz, Josephine Fisher, Varnel L. Antoine, Elizabeth R. Lemoine, Shaunak K. Bakshi, Jessie Stuart, Edward M. Hundert, MD, Bernard S. Chang, MD, and Holly Gooding, MD, MSc

문제

Problem

학습 환경의 주요 이해당사자로서, 성인 학습자는 지속적인 품질 개선(CQI) 이니셔티브와 교육 개혁에 대한 의견을 제공할 수 있는 고유한 위치에 있다. 불행하게도, 의과대학들은 일반적으로 학생들을 교육 컨설턴트로 충분히 활용하지 못했으며, 커리큘럼 설계 과정에 부적절하게 참여시킬 수도 있다.1

As key stakeholders in the learning environment, adult learners are uniquely positioned to provide input on continuous quality improvement (CQI) initiatives and educational reforms. Unfortunately, medical schools have generally underused students as educational consultants and may inadequately engage them in the curricular design process.1

2015년 가을, 하버드 의과대학(HMS)은 학부 의과 교육을 위한 새로운 커리큘럼인 Pathways를 시행하였다.6 이 구현에는 커리큘럼 구조, 교육학, 내용 및 교수 역할의 완전한 변환이 포함되었다. 

(1) 핵심 교수진이 제공하는 CBCL(case based collaborative learning) 전임상 커리큘럼의 구현, 

(2) 초기 임상 노출의 통합 

(3) 임상실습을 3학년에서 2학년으로 이동. 

In fall 2015, Harvard Medical School (HMS) implemented Pathways, a new curriculum for undergraduate medical education.6 This implementation involved a complete transformation of curricular structure, pedagogy, content, and teaching roles, including the 

(1) implementation of a casebased collaborative learning (CBCL) preclerkship curriculum delivered by core teaching faculty, 

(2) integration of earlier clinical exposure, and 

(3) movement of the clerkship year from the third to the second year. 

또한, 이러한 변화에는 학생 평가의 변경과 임상실습후 통합 과학 과정의 개발이 포함되었다. Pathway 교육 대표단(Ed Reps) 프로그램은 새로운 커리큘럼의 배치와 함께 발생하는 불가피한 과제를 해결하고 새로운 커리큘럼의 최종 사용자(학생)를 이 과정에 참여시킴으로써 CQI를 가속화하기 위해 동시에 만들어졌다.

Additionally, this transformation included changes to student assessment and the development of postclerkship integrated science courses. The Pathways Education Representatives (Ed Reps) program was created simultaneously to address the inevitable challenges that come with the deployment of a new curriculum and to accelerate CQI by engaging the new curriculum’s end users—students—in this process.

접근

Approach

Pathways 커리큘럼 개시를 예상하고 Ed Reps 프로그램을 개발하기 위해, HMS 교직원들은 기존의 외부 및 내부 학생 참여 이니셔티브를 검토했다.

To develop the Ed Reps program in anticipation of the Pathways curriculum launch, HMS faculty examined existing external and internal student engagement initiatives.

HMS에서, 학생들은 역사적으로 공식적인 거버넌스 위원회의 참여와 코스 종료 평가의 완료를 통해 커리큘럼에 대한 피드백을 제공하였다(표 1).

At HMS, students historically provided feedback on the curriculum through participation on official governance committees and completion of end-of-course evaluations (Table 1).

Ed Reps 프로그램은 지속적이고 실시간 커리큘럼 개선을 위해 교직원과 학생 간의 더 큰 파트너십을 증진하는 문화를 육성하기 위해 2015년에 신설되었다. Ed Reps 프로그램은 학생들을 CQI 과정의 중심에 배치하고, 교수진과 훈련된 학생 대표자들 사이의 양방향 피드백을 위한 의사소통 메커니즘을 시기적절하고 효율적인 방법으로 제도화했다는 점에서 이전의 내부 노력과는 달랐다. CQI를 중심으로 한 이 실시간 학생-학업 제휴는 기존의 프로그램 보완에서 큰 변화를 의미하며(위 참조), 새로운 커리큘럼 출범 이후 필요할 것으로 예상되는 과정 내용과 교육학의 빈번한 미세조정refinement을 지원하기 위한 것이었다.

the Ed Reps program was created in 2015 to launch alongside the new curriculum with the aim of fostering a culture that promoted a greater sense of partnership between faculty and students for continuous and real-time curricular improvement. The Ed Reps program differed from previous internal efforts by placing students at the center of the CQI process and institutionalizing a communication mechanism for bidirectional feedback between faculty and trained student representatives in a timely, efficient manner. This real-time student–faculty partnership centered around CQI represented a major shift from the existing complement of programs (see above) and aimed to support the frequent refinement of course content and pedagogy that was anticipated to be needed following the launch of a new curriculum.

Ed Reps 선정, 교수진 멘토링 및 교육

Ed Reps selection, faculty mentorship, and training

학생들은 입학 후 2개월 이내에 이 [자발적인 지원 기반 프로그램]에 선발되는데, 이는 그들이 임상실습 기간과 그 이후까지 종단적으로 서비스를 계속할 것이라는 기대에서이다. 처음 2년 동안에는 Ed Reps 프로그램에 지원한 모든 학생들이 선발되었다(2015–2016 [AY15], 2016–2017 [AY16]). 3년차(학술년 2017~2018년 [AY17])부터는 제안된 자리가 줄어들었고(총 8개), 수석 에드 렙스는 지원서를 토대로 후보 순위를 매겼다.

Students are selected into this voluntary, application-based program within two months of matriculation with the expectation that they will continue their service longitudinally through their clerkship year and beyond. All students who applied to the Ed Reps program in the first two years were selected (21 in academic year 2015–2016 [AY15] and 19 in academic year 2016–2017 [AY16]). Starting in the third year (academic year 2017–2018 [AY17]), fewer slots were offered (8 in total), and senior Ed Reps ranked candidates based on their applications.

교수 멘토는 Ed Reps의 격주 회의에 참여함으로써 지원을 제공하며(아래 참조), 임시로 Ed Reps와 만날 수 있다. 멘토는 또한 다음에 대한 교육을 제공한다. 

• 성인 학습 이론, 

• Pathways 커리큘럼을 뒷받침하는 증거 기반 교육 전략, 

• 교수진 및 동료에게 피드백을 제공하기 위한 모범 사례 

• 필요에 따라 동료 학생을 제도적 지원에 연결하는 절차(예: 장애 사무소, 상담 및 정신 건강 서비스, 익명 학습 환경 보고 도구)

A faculty mentor provides support by participating in the Ed Reps’ biweekly meetings (see below) and is available to meet with Ed Reps on an ad hoc basis. The mentor also provides training in 

• adult learning theory, 

• the evidence-based teaching strategies underpinning the Pathways curriculum, 

• best practices for providing feedback to faculty and peers, and 

• procedures for connecting fellow students to institutional supports as needed (e.g., the disability office, counseling and mental health services, anonymous learning environment reporting tools).

프로그램 구조

Program structure

과정 감독과의 커뮤니케이션을 효율화하기 위해, Ed Reps가 각 사전 커리큘럼 과정과 4개 학습 커뮤니티의 리드 컨택 역할을 했다. 한 학습 커뮤니티는 40명의 학생과 2명의 리드 교직원으로 구성되어 있다. 수업 전 과정의 CBCL 세션마다 학생들은 4인 1조로 협력하여 새로운 지식을 수업 중인 사례에 적용하고, 그 후 교직원들이 전체 40인 학습 커뮤니티와 함께 사례 검토를 주도한다. 각 학습 커뮤니티는 교과과정이 일관성 있게 시행되도록 하기 위해 각 세션에 대해 동일한 준비 작업, 사례, 수업 내 자료 및 평가를 사용한다.

To streamline communication with course directors, one or two Ed Reps served as the lead contact for each preclerkship course and for each of four learning communities. A learning community comprises 40 students and two lead faculty. During each CBCL session in the preclerkship course, students work collaboratively in groups of four to apply new knowledge to in-class cases, after which faculty lead a review of the cases with the entire 40-person learning community. Each learning community uses the same preparatory work, cases, in-class materials, and assessments for each session to ensure that the curriculum is implemented consistently.

Ed Reps는 과정 내용, 교육학, 강의실 역학, 평가 및 학습에 미치는 영향에 대한 실시간 학생 피드백을 탐색했다. 피드백을 수집하는 방법이 진화했지만, 피드백은 일반적으로 비공식적인 동료 대화 및 학습 커뮤니티 미팅 외에 격주로 익명의 온라인 설문조사를 통해 수집되었다. 에드 레퍼스 

• 격주로 만나 수집된 피드백을 검토하고 과제를 파악하며 해결책을 도출한다. 

• 코스 이사 및 핵심 교직원과 정기적으로 만나 양방향 피드백을 전달하여 실시간으로 학습 환경을 최적화하십시오. 

• 주간 이메일과 직접 발표를 통해 학생들의 피드백에 대한 교수진의 반응을 업데이트했다. 

Ed Reps sought real-time student feedback about course content, pedagogy, classroom dynamics, assessments, and their impact on learning. Although methods for gathering feedback evolved, feedback was typically gathered through optional biweekly anonymous online surveys in addition to informal peer conversations and learning community meetings. The Ed Reps 

• met biweekly to review the gathered feedback, identify challenges, and generate solutions; 

• met regularly with course directors and core faculty to convey bidirectional feedback (see below) to optimize the learning environment in real time; and 

• updated their class on faculty responses to student feedback via weekly emails and in-person announcements. 

Ed Reps는 또한 주기적으로 학생들의 학습 환경에 대한 준비 및 참여 수준에 대한 교수 피드백을 검토했다. 또한 효과적인 학습 습관에 대한 제안을 검토했고, 동료들과 함께 Pathway 커리큘럼 뒤에 숨겨진 과학적 근거 등을 검토했다.

Ed Reps also periodically reviewed faculty feedback on students’ level of preparation for and engagement in the learning environment, suggestions for effective study habits, and the scientific rationale behind the Pathways curriculum with their peers.

성과

Outcomes

우리는 3명의 학생 조사와 1명의 교직원 조사를 포함하는 Ed Reps 영향 조사 프로젝트의 데이터를 제시한다.

We present data from the Ed Reps impact survey project, which includes three student surveys and one faculty survey.

학생 관점

Student perspectives

총 222명의 Pathway 학생들이 프로그램 초기 3년 동안 설문조사를 완료했다(AY15: 77/152 [50.7% 응답률(RR)], AY16: 68/145 [46.9% RR], AY17: 77/159 [48.4% RR], P = .94).

A total of 222 Pathways students completed the survey across the initial three years of the program (AY15: 77/152 [50.7% response rate (RR)]; AY16: 68/145 [46.9% RR]; AY17: 77/159 [48.4% RR]; P = .94).

대다수의 학생들은 에드 레퍼스(217; 97.7%)를 알고 있었으며, 대부분의 학생들은 에드 레퍼스에게 피드백을 제공했다고 보고했다(156; 70.3%). 응답자 중 대다수는 Ed Reps가 커리큘럼(202; 91.0%)에 긍정적인 영향을 미쳤고, 교직원에게 학생 피드백을 촉진했으며, 진행 중인 과정을 실시간으로 개선하는 데 도움이 되었다고 보고했다(194; 87.4%) 상대적으로 Ed Reps가 교수진과의 직접 소통의 장벽이라고 느끼는 학생은 거의 없었다(24; 10.8%).

The vast majority of students were aware of their Ed Reps (217; 97.7%), and most students reported providing feedback to their Ed Reps at some point in the year (156; 70.3%). A strong majority of respondents reported that Ed Reps had a positive impact on the curriculum (202; 91.0%), facilitated student feedback to faculty (212; 95.5%), and helped make real- time improvements to ongoing courses (194; 87.4%). Relatively few students felt that the Ed Reps were a barrier to direct communication with faculty (24; 10.8%).

여러 가지 중심 주제가 학생들의 자유 텍스트 응답에서 나왔다(표 2).

Several central themes emerged from the students’ free-text responses (Table 2).

학생들은 Ed Reps가 학생 투입을 위한 체계적인 경로를 제공함으로써 교직원들에게 적시에 통합된 피드백을 용이하게 해준다는 것을 인정했다. 학생들의 입력을 바탕으로 한 수업 변경의 실시간 방식에 주목하면서 학생 임파워먼트를 가치있게 여겼다. 일부 학생들은 피드백이 전체 클래스를 더 대표할 수 있도록 Ed Repers의 피드백 요청 및 커뮤니케이션 프로세스의 투명성을 높일 필요가 있다고 제안했다.

Students appreciated that Ed Reps facilitated timely, synthesized feedback to faculty by offering a structured path for student input. Student empowerment was valued, with students noting the real- time manner in which course changes were implemented based on their input. Some students suggested a need to increase the transparency of the Ed Reps’ feedback solicitation and communication processes to ensure that feedback was more representative of the entire class.

교수 관점

Faculty perspectives

총 47명(적격자 64명 중 73.4% RR)의 교수진이 설문조사를 완료했으며, 대부분 AY15와 AY16(42/47; 89.4%)에서 경로 커리큘럼에서 강의했다.

A total of 47 (out of 64 eligible) faculty members completed the survey (73.4% RR), most of whom taught in the Pathways curriculum in both AY15 and AY16 (42/47; 89.4%).

대다수의 교직원들은 Ed Reps가 학습 환경(34/37; 91.9%) 학생-학업 관계(33/37; 89.2%) 교수 및 학습 활동(32/36; 88.9%)에서 긍정적인 영향을 미친다는 데 동의했다. 여전히 과반수지만, Ed Reps가 학습 목표(19/33; 57.6%)와 기관의 규칙과 절차에 긍정적인 영향을 미친다는 데 동의한 교수 수는 더 적었다(16/30; 53.3%). Ed Reps의 피드백을 받은 교수들 중 거의 모든 교수들이 이 인풋에 기초하여 과목을 개선했다고 보고했다(35/37; 94.6%). 진행 중인 과정과 향후 과정에 대해 교수진이 보고한 커리큘럼 변경의 구체적인 영역은 그림 1과 같다.

The majority of faculty agreed that the Ed Reps had a positive impact in the following areas: the learning environment (34/37; 91.9%), student–faculty relationships (33/37; 89.2%), and teaching and learning activities (32/36; 88.9%). Although still a majority, fewer faculty agreed that the Ed Reps had a positive impact on learning objectives (19/33; 57.6%) and institutional rules and procedures (16/30; 53.3%). Of faculty who received feedback from the Ed Reps, almost all reported making changes to their course based on this input (35/37; 94.6%). Specific domains of curricular change reported by faculty for ongoing and future courses are shown in Figure 1.

다음 단계

Next Steps

프로그램 인식, 사용 및 만족도

Program awareness, use, and satisfaction

Ed Reps 프로그램에 대한 인식, 사용 및 만족도는 교직원과 학생들 사이에서 높았다. 상당수의 학생들은 Ed Reps가 커리큘럼에 긍정적인 영향을 끼치고, 교직원들에게 학생들의 피드백을 용이하게 하며, 진행 중인 과정의 실시간 개선을 돕는다고 생각했다. 중요한 것은, 대다수의 교직원들이 이 프로그램에 대해 긍정적인 반응을 보임에 따라, 학생들의 견해가 교직원의 반응과 echo하였다는 점이다. 교수진은 에드 렙스가 긍정적인 학습 환경을 조성하고 학생-학생-학생-교수간 파트너십을 촉진하는 데 미치는 영향을 긍정적으로 보고, 이 프로그램이 의도된 문화 변화, 즉 새로운 커리큘럼을 만드는 데 진정한 동반자 의식을 달성하는 데 도움이 되었음을 시사했다. 우리의 결과는 Ed Reps 프로그램 또한 실시간 커리큘럼 개선을 촉진한다는 목표를 달성했으며, 교수진의 거의 95%는 Ed Reps의 피드백에 대응하여 커리큘럼을 변경했다.

Awareness of, use of, and satisfaction with the Ed Reps program was high among faculty and students. A significant majority of students felt that the Ed Reps had a positive effect on the curriculum, facilitated student feedback to faculty, and helped make real-time improvements to ongoing courses. Importantly, students’ perspectives were echoed in faculty responses, with the majority of faculty reporting positive responses to the program. Faculty viewed the impact of Ed Reps in promoting a positive learning environment and facilitating student–faculty partnerships favorably, suggesting that the program helped to achieve the intended culture change: a true sense of partnership in creating the new curriculum. Our results demonstrate that the Ed Reps program also achieved its objective of facilitating real-time curricular improvement, with nearly 95% of faculty reporting making curricular changes in response to Ed Reps’ feedback.

연구 한계

Study limitations

당면 과제 및 향후 방향

Challenges and future directions

매년 Ed Reps impact survey를 학생들에게 계속 배포함에 따라, 연간 비교는 Ed Reps 프로그램 자체의 CQI(즉, 추세에 관한 모든 것을 식별, 추적 및 다루기 위해)에 사용될 것이다. impact survey에서 비롯되는 CQI의 한 가지 예는 (지원자들이 AY17에서 구현된 Ed Rep로서 직면할 수 있는 다섯 가지 시나리오에 대한 접근방식을 공유하도록 요구하는) 보다 엄격한 Ed Reps 선발 과정이다. 또한, Ed Reps는 동료 피드백을 수집하고 동료에게 교직원 반응을 다시 전달하는 방법을 개선하기 위해 이러한 impact survey 데이터를 계속 사용한다(예: 구조화된 주간 이메일 업데이트와 같은 표준화된 커뮤니케이션 프로세스를 통해).

As we continue to distribute the Ed Reps impact survey to students annually, the year-to-year comparisons will be used for CQI of the Ed Reps program itself (i.e., to identify, track, and address any concerning trends). One example of CQI resulting from the impact survey is the more rigorous Ed Reps selection process that requires candidates to share their approach to five scenarios they might encounter as an Ed Rep, which was implemented in AY17. Additionally, Ed Reps continue to use these impact survey data to improve their methods for collecting peer feedback and conveying faculty responses back to their peers (e.g., via standardized communications processes such as structured weekly email updates).

Fostering Student-Faculty Partnerships for Continuous Curricular Improvement in Undergraduate Medical Education.

'PBL 교육과정의 효과성: 이론, 실천, 논문다트'의 리비지팅(Med Educ, 2016)

Revisiting ‘Effectiveness of problem-based learning curricula: theory, practice and paper darts’

Geoffrey R Norman1 & Henk G Schmidt2

우리는 모두 문제 기반 학습(PBL)이 그것의 옹호자들에 의해 약속된 만병통치약이 아니라는 것에 동의했다. 우리가 말했듯이, 우리는 콜리버와 그 증거에 대해 크게 동의하지 않는다. 효과 크기가 중간 정도인지 중간 정도인지, 그리고 주의를 기울여야 하는지 또는 할인되어야 하는지에 대해서는 의견이 다를 수 있지만, 우리는 PBL이 인지적 성과 측면에서 극적인 차이를 가져오지 않는다는 것에 동의한다.'2

We all agreed that problem-based learning (PBL) is not the panacea promised by its advocates. As we said: ‘...we are not in substantial disagreement with Colliver about the evidence. While we may disagree as to whether an effect size is moderate or medium, and should be attended to or discounted, we do agree that PBL does not result in dramatic differences in cognitive outcomes.’2

두 논문 모두 몇 개의 고립된 사례와 체리선택된 사례에 근거하여 다음에 대해서 각자 허황된 주장을 사용했다: 

(i) 인지심리는 형편없는 과학이다, 

(ii) 인지심리는 훌륭한 과학이다. 

콜리버는 다음과 같이 썼다. '문제는 내가 보기에 이론이 약하다는 것이다. 이론적 개념은 부정확하며, 그들의 상호 관계와 중재와 결과와 같은 관찰 대상과의 관계에 대한 명확한 설명이 결여되어 있다. 또한 기초 연구는 이론과 관계없이 예상된 결과를 보장하는 것처럼 보이는 조작을 사용함으로써, 어쨌든 관측 가능한 것들에 실질적인 제약을 가하기에는 너무 비한정적이다. 간단히 말해서 이론과 연구의 관계는 기껏해야 느슨하다.'1

Both papers1,2 used flimsy arguments based on a couple of isolated and cherry-picked examples to illustrate that: (i) cognitive psychology is poor science, and (ii) cognitive psychology is wonderful science. Colliver wrote: ‘The problemis, as I see it, that the theory is weak; its theoretical concepts are imprecise, lacking explicit descriptions of their interrelationships and of their relationships with observables, such as interventions and outcomes. In addition, the basic research is contrived and ad hoc, using manipulations that seem to ensure the expected results regardless of the theory, which is too indefinite to place any real constraints on the observables anyway. In brief, the ties between theory and research are loose at best.’1

• 콜리버1은 모든 이론에 기초한 연구를 포기하고, 실용적인 커리큘럼 개입의 무작위화된 실험에 초점을 맞추는 것을 주장했다. 

• 우리는 문제 기반이든 그렇지 않든 학습의 근간을 이루는 메커니즘을 더 잘 이해하기 위해 이론에 기초한 환원주의적 연구를 옹호했다.

Colliver1 advocated abandoning all theory-based research and focusing on randomised experiments of practical curriculum interventions. We advocated (and continue to advocate) the opposite: more theory-based reductionist research to better understand the mechanisms underlying learning, whether problem-based or otherwise.

첫째, 이제 우리는 PBL의 효과에 대해 무엇을 알고 있는가? PBL이 학생들에게 하는 행동에 대한 연구는 두 가지 다른 경로를 따랐다. 즉, 보다 인기 있는 커리큘럼 비교, 2000년 논문, 1에서 비판받았고 인지적 관점에서 접근방식의 기본 요소에 대한 연구. 이러한 연구들은 일반적으로 초기에 문제에 직면하는 것이 후속 학습에 미치는 긍정적인 영향을 보여주었다.3

Firstly, what do we now know about the effectiveness of PBL? Research into what PBL does to students has followed two separate paths: 

• the more popular curriculum comparisons, criticised in our 2000 paper,1 and 

• studies into the basic elements of the approach from a cognitive perspective. 

These studies, have generally demonstrated positive effects of the initial confrontation with problems on subsequent learning.3

둘째로, 우리는 통제된 시험과 실질적인 개입에 대한 체계적인 검토를 통해 촉진된 교육 전략을 어느 정도까지 채택했는가? 어디로 이어졌는가?

Secondly, to what extent have we adopted the educational strategies promoted through controlled trials and systematic reviews of practical interventions? Where has this led?

이러한 체계적인 검토가 그 분야에 얼마나 기여했는가? David Cook은 e-러닝과 같은 교육 개입의 무작위화된 시험의 최우선적 결론은 그런 교육개입의 이득이 minimal하다는 것을 나타낸다고 지적한다. 그들은 교육을 하는 것은 교육을 하지 않는 것보다 낫지만, 어떤 유형의 교육도 다른 어떤 교육보다 무조건 낫지는 않다는 것을 보여준다.

How much have these systematic reviews contributed to the field? David Cook, points out that the overriding conclusions of randomised trials of education interventions like e-learning indicate minimal advantage; they show that education is better than no education and that no one type of education is robustly better than any other,7

시뮬레이션은 다른 대안적인 접근법보다는 약간 더 나은 것 같지만, 6 고충실도의 시뮬레이션은 고충실도의 시뮬레이션보다 장점이 없다.8 우리는 또한 무작위적인 실험을 통해 피드백이 학습을 향상시킨다는 것과 더불어 꽤 자명한 몇 가지 진리들을 배웠다.

Simulations seem to be a bit better than alternative approaches,6 but high-fidelity simulations have no advantage over those of low fidelity.8 We have also learned, from randomised trials, for example, that feedback enhances learning, along with a few other fairly self-evident truths.

셋째, 인지심리학 이론에 근거한 연구를 어느 정도까지 채택하였는가? 이게 어디서부터 시작됐지?

Thirdly, to what extent have we adopted research grounded in theories of cognitive psychology? Where has this led?

2000년 이전에 이미 학문으로서의 인지심리학이 의학 교육 내에서 상당한 영향력을 행사한 반면에, 연구가 사용되고 있던 인지심리학자들은 최근에야 이 분야로 이주하기 시작했다.

Whereas cognitive psychology as a discipline already had considerable influence within medical education prior to 2000, cognitive psychologists whose research was being used have themselves only recently begun to migrate nto the field.

콜리버의 요약과 대조적으로, 이 개인들이 행한 연구의 공통적인 특징은 인지심리의 기원 이후 50년 이상 동안 진화해 온 마음에 대한 모델이다.

By contrast with Colliver’s1 summary of the field, the common feature of the investigations these individuals have conducted is a model of the mind that has evolved over the 50-plus years since the origin of cognitive psychology

하나의 요소를 예로 들자면, 작업기억의 용량 제한이 개입 연구의 두 영역으로 이어져 상당한 실질적인 결과를 가져왔다.

To choose one element as an example, the limited capacity of working memory has led to two domains of intervention research with considerable practical consequences.

첫째, 메이어와 그의 동료들에 의해 수행되는 멀티미디어 학습에 대한 연구10,11은 큰 효과를 가져오는 교육 자료의 발표를 위한 겉보기에는 작은 전략을 탐구한다. 이러한 개입의 공통분모는 인지 부하에 초점을 맞춘다. 모든 개입은 생성 부하를 최대화하고 관련 없는 부하를 최소화하도록 설계된다.

First, research into multimedia learning conducted by Mayer and his associates10,11 explores seemingly small strategies for the presentation of educational materials that result in large effects. The common denominator of these interventions is the focus on cognitive load: all the interventions are designed to maximise generative load and minimise extraneous load.

둘째, 특히 시뮬레이션 영역에서 많은 연구가 인지 부하를 조작하였고, 학습에 직접적인 영향을 주었다. 그 결과 이론은 시뮬레이션, 가상 환자 프레젠테이션 및 기타 학습 영역에 대한 연구의 표준 관점이 되었다.12

Second, many studies, particularly in the simulation domain, have manipulated cognitive load and shown direct effects on learning. The resulting theory has become a standard perspective in research on simulation, virtual patient presentations and other areas of learning.12

이와 유사하게 장기기억의 연관적 특성associative nature은 학습과 실천 전략에 관한 실질적인 함의를 보여 주었다. 이 견해에 따르면, 모든 학습은 [서로 다른 기억 흔적memory traces 사이의 연관성을 강화하는 것]에 해당한다. 이러한 관점의 채택은 다양한 유형의 예시를 '혼합하는 것'의 가치에 대한 질문으로 이어지는데, 이 예시는 추가적인 기사에서 설명한 것처럼 학습자가 문제의 개념적 기초를 이해하는 데 도움이 될 수 있다.13

Similarly, the associative nature of long-term memory has demonstrated practical implications with regard to strategies for learning and practice. In this view, all learning amounts to strengthening the associations between different memory traces. The adoption of this perspective leads to questions about the value of ‘mixing’ examples of different types to facilitate practice that can help learners understand the conceptual basis of problems, as described in a further article.13

마찬가지로 '시험 강화 학습'에 관한 연구14,15는 기억력 회복을 촉진하는 반복적인 작은 시험에 시간을 바치는 것이 공부하는데 같은 시간을 소비하는 것보다 훨씬 효과적이라는 것을 반복적으로 보여줌으로써 심오한 영향을 끼쳤다.

Similarly, studies on ‘test-enhanced learning’14,15 have had a profound impact by showing repeatedly that devoting time to repeated small tests, which encourages memory retrieval, is far more effective than spending an equivalent amount of time studying.

11 Issa N, Mayer RE, Schuller M, Wang E, Shapiro MB, DaRosa DA. Teaching for understanding in medical classrooms using multimedia design principles. Med (4):388–96. Educ 2013; 47

Med Educ. 2016 Aug;50(8):793-7. doi: 10.1111/medu.12800.

Revisiting 'Effectiveness of problem-based learning curricula: theory, practice and paper darts'.

상황에 맞는 재교육: 의학교육시스템에서 성공과 실패에 부응하기(Acad Med, 2018)

Situating Remediation: Accommodating Success and Failure in Medical Education Systems

Rachel H. Ellaway, PhD, Calvin L. Chou, MD, PhD, and Adina L. Kalet, MD, MPH

CBME의 채택은 점점 더 높은 품질의 평가를 수행하는 데 초점을 맞추고 있으며, 이는 어려움을 겪고 있는 의료 학습자에게 교정하기 위한 통합 전략의 필요성을 강조하였다.2 그러나 교정조치remediation 관행은 CBME와 관련된 의학교육 관행의 변화에 따른 광범위한 결과에 거의 주의를 기울이지 않은 채로 수행되는 것으로 보인다.

The adoption of CBME has focused on conducting more and higher-quality assessments, which has highlighted the need for integrated strategies to remediate struggling medical learners.2 However, remediation practices appear to take place with little attention to broader consequences of the changes to medical education practice associated with CBME.

의학교육의 재교육

Remediation in Medical Education

의학교육의 재교육(remediation)은 "의사가 되기 위한 여정을 시작하였으나 항로를 벗어난 연수생에 대한 교정을 촉진하는 행위"로 정의되었다.3(p.xvii)

Remediation in medical education has been defined as “the act of facilitating a correction for trainees who started out on the journey toward becoming a physician but have moved off course.”3(p.xvii)

재교육은 학습자, 재교육자 역할을 하는 교수, 재교육이 발생하는 학습 맥락에 따라 서로 다른 형태를 갖는다.

Remediation takes different forms according to the particular problems involved, as well as the learners, the faculty who act as their remediators, and the learning contexts in which this takes place.

일반적으로 재교육 조치는 

• (1) 해결해야 할 요구나 결손need or deficit을 식별

• (2) 요구나 결손need or deficit을 학습 또는 성과 목표의 관점에서 프레이밍 

• (3) 추가 훈련 및 모니터링으로 구성된 일련의 사전정의된, 공식적 인가된 절차를 개발하고 실행

• (4) 학습자가 이를 충족했는지를 확인하기 위해 사전정의된 재교육 목표 달성 여부를 평가하고 종결.1,5,6

Generally, remediation involves 

• (1) identifying the need or deficit to be addressed; 

• (2) framing it in terms of required learning or performance goals; 

• (3) developing and executing a series of defined and officially sanctioned episodes of additional training and monitoring; and 

• (4) concluding with an assessment of whether the learner has met the predetermined remediation goals.1,5,6

재교육 조치는 하나 또는 그 이상의 감독자가 만족할 수 있도록, 특정 성과 부족을 해결하기 위한 집중적, 시간제한적, 고도로 구조화된 일련의 에피소드들이다.

Remediation is (or should be) a focused, time-limited, and highly structured series of episodes within which specific performance deficits must be addressed to the satisfaction of one or more supervisors.

• 따라서 프로젝트로서 재교육 조치는 반응적이기도 하고 적응적이기도 하다. 재교육은 개별 학습자가 실패의 위험에 처했을 때에만 시행되지만, 학습자가 어려움을 겪고 있는 특정 문제에 초점을 맞춰 이루어진다. 

• 재교육은 또한 경계적 프로젝트liminal undertaking이다. 재교육은 "메인스트림"의학교육의 바깥에 있다. 이는 학습자가 재교육을 받는 동안 학습자의 (발달)궤적이 중단되거나, 교정 활동이 학습자의 "정상" 학업과 병행하여 계속될 수 있기 때문이다.

• Remediation as an undertaking is therefore both reactive and adaptive; it is invoked only when individual learners are at risk of failing, with each instance focusing on the particular issues with which the learner is struggling. 

• Remediation is also a liminal undertaking. It sits outside “mainstream” medical education because a learner’s trajectory may be suspended while the learner is being remediated, or the remediation activity may continue in parallel with the learner’s “normal” studies.

재교육 조치는 정규 교육과 동일하지 않다. 더 구체적이고, 강렬하고, 집중되어 있으며, 부담stake이 평소보다 높다. 학습자는 추가 제재를 피하기 위해 필요한 퍼포먼스 개선 사항을 명확하고 안정적으로 입증해야 한다. 성공적으로 재교육 조치를 완료하는 것은 "정상적인" 훈련으로 다시 복귀함을 의미하고, 재교육에 실패하는 것은 probation되거나, 프로그램에서 완전히 제외되는 것이다.

remediation is not the same as regular training: It is more specific, intense, and focused, and the stakes are higher than usual. The learner must unambiguously and reliably demonstrate the required performance improvements to avoid further sanctions. To successfully complete remediation is to be rehabilitated back into “normal” training; to fail is to face probation or exclusion from the program.

대부분의 학습자에게는 교육과정을 거치며 재교육 조치가 거의 또는 전혀 수행되지 않지만, 재교육을 받는 학생은 과도한 양의 교수 및 행정적 시간 및 리소스를 요구한다.7 사실, 의료 교육 프로그램 지도자들 사이에서 흔한 불평은 그들이 상대적으로 소수에 해당하는 어려움을 겪고 있는 학습자들을 돕는 데 너무 많은 시간을 보낸다는 것이다.

Most learners undergo little or no remediation as they progress through their training, but those who do require a disproportionate amount of faculty and administrative time and resources.7 Indeed, a common complaint amongst medical education program leaders is that they spend much of their time helping relatively small numbers of struggling learners.

분명히 재교육 조치와 나머지 의료 교육 사이에는 교차점이 있다. 따라서 우리는 의학교육 시스템의 광범위한 맥락에서 재교육 조치를 고려할situate 필요가 있다. 이를 통해 단순히 재교육 practice를 guide할 뿐만 아니라, 다음의 문제도 다룰 수 있을 것이다.

• 건설적인 정렬, 

• 교정조치의 숨겨진 커리큘럼, 

• 교정조치 규칙 및 프로세스의 투명성 및 일관성 

• 교정조치가 의학교육 전반에 미치는 영향

Clearly, there are intersections between remediation and the rest of medical education. We therefore need to situate remediation in the broader context of medical education systems, not just to guide remediation practices but also to address issues of 

• constructive alignment, 

• the hidden curricula of remediation, 

• the transparency and consistency of remediation rules and processes, and 

• the impact of remediation on medical education as a whole.

교육자로서 우리는 실패에 따르는 각종 비용을 본다. 여기에는 학습자의 (시간, 비용, 평판, 스트레스), 교사(시간, 스트레스) 및 프로그램(보급, 생존자의 죄책감) 등이 있다. 학습자에게 fail 주는 것을 어려워하면서 만성적인 "실패 실패" 현상이 발생하였다

As educators, we see the costs of failure for learners (time, fees, reputation, stress), their teachers (time, stress), and their programs (coverage, survivor guilt). The difficulties associated with failing learners have led to a chronic “failure to fail” phenomenon,10

이런 점에서 의학교육 제도의 실패는 의료시스템의 문제가 된다. 비록 "실패실패"가 세계적이며, 여러 학문분야에서 생기는 문제지만, 12 캐나다와 미국과 같은 개인주의 문화와 연관되는 것 같이 보이며, 이 두 나라에서는 의과대학 교육과정에서 유급률attrition이 낮다. 학부 의과대학 교육 프로그램의 국제적으로 attrition rate는 약 11%,13%로 추정되었지만, 이 비율은 미국(3.4%)에서는 훨씬 낮고 캐나다(0.4%)에서는 심지어 더 낮다.15

The failure of the medical education system in this regard becomes a health care system problem. Although “failure to fail” is a worldwide and multidisciplinary problem,12 it seems particularly relevant to the more individualist cultures of Canada and the United States, which have low rates of attrition from medical training. The international rate of attrition for undergraduate medical education programs has been estimated at around 11%,13 but the rate is far lower in the United States (3.4%)14 and an order of magnitude lower still in Canada (0.4%).15

각 기관에서는 다음을 우려한다.

• 학습자 제적에 따른 법적 영향, 

• 막대한 금융부채의 현실, 

• 훈련을 마치지 못하는 개인에게 있어, 만족스럽고 합리적인 대안 부족

institution concerns regarding 

• the legal implications of dismissing a learner, 

• the reality of heavy financial debt, and 

• a lack of satisfying and reasonable alternatives to the medical profession for individuals who are unable to complete their training.

지역 기반 교정 모델

A Zone-Based Model of Remediation

우리는 규범적인 의학 교육 관행을 두 개의 하위 시스템 측면에서 설명할 수 있다. 하나는 성공과 완성에 초점을 맞추며, 다른 하나는 실패와 배제에 초점을 맞추고 있다. 각각은 서로 다른 규칙과 관행을 가지고 있으며, 각각 자체의 문헌과 증거 기반을 가지고 있다.9,16–18 우리는 두 서브시스템 사이의 교량으로서 재교육 조치를 고려할 수 있다.

We can describe normative medical education practice in terms of two intertwined subsystems: one focused on success and completion, the other focused on failure and exclusion. Each has different rules and practices, and each has its own literature and evidence base.9,16–18 We can consider remediation as a bridge between these two subsystems:

세 서브시스템 간의 주요 차이는 표 1에 제시되어 있다.

Key differences between the three subsystems are set out in Table 1.

우리는 5개 실천구역의 관점에서 이러한 차이점들을 재도입할 것을 제안한다.

We propose reframing these differences in terms of five zones of practice.

• 구역 1과 2는 성공 서브시스템을 반영한다. 

• 영역 1에서 학습자는 예상 수준 이상에서 수행하며, 가르치는 것은 학습자의 독립적인 실천에 대한 지속적인 진행을 지원하는 데 초점을 맞추고 있다. 

• 영역 2에서 학습자는 예상 수준 이하를 수행하고 있으며(끔찍하게 그렇지 않지만), 학습자가 영역 1로 돌아갈 수 있도록 가르치는 것은 본질적으로 수정된다. 

• 교정조치 하위시스템인 구역 3에서 학습자는 허용 가능한 최소 표준 이하로 수행하며 능동적인 교정조치를 수행하고 있으며, 학습자는 성공 또는 실패 하위시스템으로 종료해야 한다. 

• In Zone 3, the remediation subsystem, the learner is performing below an acceptable minimal standard and is undergoing active remediation; the learner must exit to either the success or failure subsystem. 

• 마지막으로, 고장 서브시스템은 구역 4와 5로 나뉜다. 

• 구역 4에서 학습자는 지속적으로 허용 가능한 표준 이하로 수행해 왔으며, 중단되거나, 보호관찰에 처해지거나, 프로그램의 구성 요소를 다시 수강해야 한다. 

• 5구역에서는 학습자가 프로그램에서 제외된다. 

• Finally, the failure subsystem is divided into Zones 4 and 5. 

• In Zone 4, the learner has consistently been performing below an acceptable standard and is either suspended, placed on probation, or required to retake a component of the program. 

• In Zone 5, the learner is excluded from the program. 

구역 1-3의 규칙과 비교하여, 구역 4의 규칙은 더 엄격한 경향이 있다. 왜냐하면 학습자가 분명히 정규 프로그램 활동에 덜 참여하고 배제될 가능성이 있기 때문이다. 3구역처럼, 4구역은 일시적이며 위나 아래로 해결해야 한다. 구역 5의 규칙은 학습자를 프로그램에서 제외하는 방법에 관한 것이다. 배제에 문제가 없는 경우 짧은 단계가 될 수 있지만, 항소appeal가 수반될 경우 종종 길어진다drawn out.

Compared with the rules in Zones 1–3, the rules in Zone 4 tend to be more austere, because the learner explicitly participates less in regular programmatic activities and there is a very real possibility of exclusion. Zone 4, like Zone 3, is temporary and must resolve up or down. The rules in Zone 5 are about how to exclude a learner from a program—this may be a brief phase if the exclusion is unchallenged, but it is often drawn out if appeals are involved.

구역 사이의 임계값을 시간 경과에 따라 상승하는 방식으로 다시 매핑할 수 있다(그림 2). 이 모델의 주요 결과는 학습자의 성과가 학습자가 어려움을 겪거나 실패하기 시작하기 위해 절대치absolute term로 분류될 필요가 없다는 것이다. 예상 파라미터에 대한 진전없음nonprogression도 교정조치 또는 심지어 제외로 이어질 수 있다.

we can remap the thresholds between zones as rising over time (Figure 2). A key consequence of this model is that a learner’s performance need not fall in absolute terms for the learner to begin to struggle or fail: Nonprogression within expected parameters can lead to remediation or even exclusion.

실제로 영역 간 임계값은 시험, 과제, 임상 기술 이정표 또는 기대 성능의 동등한 기준점으로 표시된다. 이와 같이, 구역의 상대적 크기는 다를 수 있으며, 임계값은 우리가 제시한 것과 같이 선형이거나, 또는 서로 평행하지 않을 것이다. 전문성과 같이 실체가 덜 드러나는 역량의 경우, 평가 데이터는 거의 항상 해석에 개방되어 있다. 그러므로, 맥락은 언제나 중요할 것이다.

In practice, thresholds between zones would be marked by exams, assignments, clinical skills milestones, or equivalent reference points of expected performance. As such, the relative sizes of zones may differ, and the thresholds are unlikely to be as linear or parallel as we have presented them. in the case of less tangible aspects of competence, such as professionalism, assessment data are nearly always open to interpretation. Therefore, context will always matter,

의학교육 시스템의 구역 기반 모델을 구현하는 데에는 다음을 포함할 것이다. 

• (1) 어떤 practice 차원을 지도화할 것인지 결정(CanMEDS19 또는 대학원 의학 교육 인증 위원회21 역량) 

• (2) 사용할 임계값 이벤트 선택(과제, 시험, 관찰된 실습 등) 

• (3) 퍼포먼스 척도가 다른 수준의  통합 모델에 의미 있게 매핑될 수 있도록 보장한다. 

• (4) 기대 퍼포먼스, 허용 퍼포먼스 및 허용할 수 없는 퍼포먼스를 구별하기 위해 가능한 한 정확하게 성능 임계값을 고정한다. 

• (5) 각 단계에서 경계 퍼포먼스를 구성하는 측면에서 이러한 성능 임계값을 매핑한다. 

• (6) 임계값이 접근(형식적) 또는 교차(요약적)될 때 교직원과 학습자의 역할 및 책임 측면에서 적용할 규칙 정의.

Implementing a zone-based model of a medical education system would involve 

• (1) deciding what dimensions of practice to map (such as CanMEDS19 or Accreditation Council for Graduate Medical Education21 competencies); 

• (2) selecting the threshold events (assignments, exams, observed practice, etc.) to use; 

• (3) ensuring that performance measures can meaningfully map to an integrated model of different levels of performance; 

• (4) anchoring performance thresholds as precisely as possible to differentiate between expected, acceptable, and unacceptable performance; 

• (5) mapping these performance thresholds in terms of what constitutes borderline performance at each stage; and 

• (6) defining the rules to apply in terms of faculty and learner roles and responsibilities when thresholds are approached (formative) or crossed (summative).

함의

Implications

이러한 방식으로 시스템을 전체적으로 고려할 때, 각 구역이 다른 구역에 비해 조정될 수 있고, 구역은 모두 CBME의 원칙과 일치할 수 있다(CBME는 거의 전적으로 1과 2에만 초점을 맞추는 경향이 있다).

Considering the system as a whole in this way allows for each zone to be adjusted relative to the others and that the zones can all align with the tenets of CBME (which has tended to focus almost exclusively on Zones 1 and 2).

우리 모델의 중요한 의미는, [시간을 학습자 progression의 한 요소로만 고려되는] 가장 이상적인 역량 기반 프로그램에서도, 학습자는 결국 실패하고 제적dismissed될 수 있다는 것이다. 이 모델은 학교가 의학교육 과정에서 모든 학습자에 대해 투자할 수 있는 노력이 내재적으로 현실적 한계가 있음을 인정함으로써 CBME의 맥락에서 학습자의 저성능 관리에 대한 체계적인 대응을 제공한다.

One key implication of our model is that, even in the most idealized competency- based program where time is all but ignored as a factor in learner progression, a learner can still eventually fail and be dismissed. By acknowledging intrinsic practical limits to the effort schools can invest in getting all of their learners through medical training, this model provides a systematic response to managing learner underperformance in the context of CBME.

이 접근법은 또한 우리가 의료 교육 시스템에 관한 더 많은 전체론적 질문들을 고려할 수 있게 해준다. 예를 들어.

This approach also allows us to consider more holistic questions regarding medical education systems. For instance,

대부분의 학습자(즉, 교정되지 않은 학습자)는 성적이 낮은 소수의 학습자보다 관심을 덜 받는다. 우리는 능력이 떨어지는 소수의 급박한 필요성보다는 모든 학습자의 기회에 더 고르게 초점을 맞춰야 하는가? 우리는 아마도 학업적으로나 사회적으로 회복력이 있는 학습자들을 선택함으로써 실패한 학습자들의 문제를 해결하기 위해 입학 절차를 살펴봐야 할까?

most learners (i.e., those who are not remediated) receive less attention than the few learners who underperform. Should we focus more evenly on opportunities for every learner rather than on the acute needs of the less able few? Should we perhaps look to the admissions process to fix the problem of failing learners by selecting more academically or socially resilient learners?

이러한 질문들은 단순히 심리학적 또는 형평성 차원에서 해결될 수 없다; 이 질문에 대한 대답은 제한된 자원과 증가하는 책무수준을 감안할 때 의료 교육 시스템이 (현실적으로) 감당할 수 있는 것을 반영해야 한다.

These questions cannot be resolved purely on psychometric or equity grounds; their answers must also reflect what the medical education system can afford given its limited resources and increasing levels of accountability.

한걸음 더 나아가자면, 우리는 remedial action과 remediation의 차이를 구별해야 한다. 

• 교정조치Remedial action은 전문적 숙달과 독립적인 의료행위를 향해 학습자의 발전을 촉진하는 것으로서, 대체로 구역 2에서 발생하고, 지지적이고, 비공식적이며, 단기적인 사건으로 정의할 수 있다. 

• 반면, 재교육Remediation은 Zone 3에서 일어나는 것이며, 메인스트림 교육과정(Zones 1과 2)과는 다른 스키마(수집된 규칙, 역할, 책임 및 임계값)로 지속적인 저성능underperformance에 대한 공식적인 대응이다.

In advancing this argument, we should differentiate between remedial action and remediation. 

• We define remedial action as largely supportive, informal, and short-term events in Zone 2 in which a preceptor facilitates a learner’s progression toward professional mastery and independent practice. 

• Remediation (Zone 3), on the other hand, is a formal response to sustained underperformance, with a different schema (its collected rules, roles, responsibilities, and thresholds) than the ones for the mainstream curriculum (Zones 1 and 2).

교정 조치와 재교육은 모두 course correction이지만, 사건을 유발하는 저성능의 깊이와 지속 시간, 그리고 무엇보다 실패에 따른 결과에 차이가 있다.

While both remedial action and remediation are course corrections, they differ in terms of the depth and duration of underperformance that triggers the event and the rules of engagement involved—in particular, the consequences of failure.

선의를 가진 remediator들은 너무 자주 [개선이 일어날 가능성이 훨씬 떨어지는] 때까지도 학습자를 돕기 위해 노력할 것이기 때문에 이 차이는 중요하다. 이는 결국 '실패 실패' 현상에 기여한다.10

This difference is important because well-meaning remediators will too often keep trying to help a learner well beyond the point where improvement is likely to occur. This, in turn, contributes to the “failure to fail” phenomenon.10

이 모델을 제안하며, 재교육조치는 의학교육 시스템의 일부로 명시적으로 구성되어야 하며, 나중에 하려고 미뤄두거나afterthought, "아웃사이더" 활동으로 구성되어서는 안 된다고 주장한다. 또한 재교육은 선택된 일부 교수에게 맡겨져서는 안되며, 교육자 공동체에서 갖는 공동의 책임이 되어야 한다.22 재교육의 영역에서 학습자와 engage하는 것은 일반적으로 정규 교과과정에서 가르칠 때보다 더 많은 교수의 시간을 필요로 하고 더 많은 노력을 소비하며 더 많은 고급 기술을 보유해야 한다.

In proposing this model, we argue that remediation should be explicitly structured as part of medical education systems, and not as an afterthought or an “outsider” activity as too often seems to be the case. Moreover, remediation should be a shared responsibility for a community of educators rather than being left to a select few.22 When engaging with learners in the remediation zone, faculty typically need to take more time, expend more effort, and possess more advanced skills than when they teach in the routine curriculum.

우리의 구역 모델은 교정조치와 나머지 의료 교육을 통합하기 위한 시스템 수준의 대응이며, 따라서 그것은 더 많은 전술적 해결책과 연계될 수 있다. 

• 예를 들어, "심각하지 않은" 전문성 과실을 보인 의학 학습자에게 제안된 한 가지 예는(예: 그림 1과 2의 학습자 B의 궤적 참조) 학습자의 관점을 듣고 그 학습자에게 안내된 성찰 기회를 제공하는 협의회를 포함한다.

• 또 다른 기법은 학습자가 자신의 교정적 개입을 설계하고 구현하는 데 관여하는 것이다. 이는 자율성과 자기조절학습을 촉진할 수 있는 저비용 모델이다.

• 보다 통합된 접근방식은 완전한 교정조치가 필요하기 전에 학습자를 교정하는 데 도움이 될 수 있으며, 이는 다시 스트레스를 줄이고 교수진의 자원을 더 잘 활용할 수 있다.

Our model of zones is a systems-level response to integrating remediation with the rest of medical education, and as such it can be linked to a number of more tactical solutions. 

• One example, proposed for medical learners with “moderate” professionalism lapses (e.g., see the trajectory of Learner B in Figures 1 and 2), involves a council that hears the learner’s perspective and provides a guided reflection opportunity for that learner.23 

• Another technique is to involve learners in designing and implementing their own remedial interventions—a low- cost model that can promote autonomy and self-regulated learning.24 

• A more integrated approach may help to correct learners before full remediation is needed, which may in turn reduce stress and make better use of faculty resources.18,25,26

이 모델을 발전시킬 때, 우리는 서로 다른 역량에 대한 서로 다른 문제들은 [심각성과 교정가능성] 측면에서 서로 다른 과제를 제시한다는 것을 인정해야 한다. 예를 들어 전문직업성 문제는 의료 지식의 결핍이나 격차보다 더 심각하고 다루기 어려운 경향이 있다.

In advancing this model, we should also acknowledge that different problems in different competencies present different challenges in terms of both seriousness and remediability. For instance, professionalism problems tend to be more serious and less tractable than lapses or gaps in medical knowledge.

교정조치가 필요한 학습자는 다음의 여러 가지에 대해 동시적 struggle을 나타낸다.

Learners requiring remediation often present several simultaneous struggles involving 

• personal issues, 

• problems with institutional cultures, 

• extraprogram challenges (e.g., mental health), 

• learning-related issues (e.g., learning disabilities), and/or 

• professionalism-related issues.

의료 교육자로서, 우리는 환자 치료의 이상으로 여기는 것과 동일한 휴머니즘적 접근방식을 재교육에도 통합하도록 노력해야 한다. 학습자를 교정조치에 이르게 하는 여러 측면을 완전히 이해하려면 인내심, 능동적 경청 및 성찰이 필요하다. 그러나, 우리는 학습자가 failure subsystem에 들어갔을 때, 동정심으로 인해 궁극적인 판단이 흐려지는 것을 허락해서는 안 된다. 이는 임상적으로 비유하자면, (말기환자에 대한) 완화의료로의 전환일 수 있다.

As medical educators, we should try to incorporate the same humanistic approach in remediation situations that we ideally bring to patient care. Fully understanding the multiple facets that bring a learner to remediation requires patience, active listening, and reflection. Yet, we cannot allow our acceptance and compassion to cloud our ultimate judgment when a learner enters the failure subsystem. A clinical analogy could be the consideration of and transition to palliative care.

비록 우리는 이 다섯 가지 영역에 대한 간단한 모델, 그것들을 정의하는 스키마, 그것들을 횡단하는 학습자들을 위한 가능한 표현형 및 교육적 반응을 제시하지만, 우리는 현실이 더 복잡하고 모델이 추상화되고 이상적이라는 것을 인정한다. 대부분의 학습자들은 서로 다른 역량을 개발하는 데 있어서 고르지 못한 길을 택할 것이다. CBME의 개념을 구축함에 있어, 우리는 역량의 측정은 실용적이어야 하고 목적에 적합해야 한다는 그들의 공통된 과제를 계승한다.

Although we present a simple model for these five zones, the schemas that define them, and possible phenotypes and educational responses for the learners who traverse them, we acknowledge that reality is more complex and that the model is perforce abstract and idealized. Most learners will likely take an uneven path in developing different competencies. In building on concepts of CBME, we inherit their common challenge: that measurements of competencies need to be practical and fit for purpose.

결론들

Conclusions

Situating Remediation: Accommodating Success and Failure in Medical Education Systems.