아시아 고등교육에서 성과-기반 협력적 교수학습 (NEW DIRECTIONS FOR TEACHING AND LEARNING, 2015)

Outcomes-Based Collaborative Teaching and Learning in Asian Higher Education

Gertina J. van Schalkwyk





 

OBCTL 환경을 연출하는 것은 고등교육을 전통적인 내용-기반, 투입-기반 교육 접근법으로부터 학생-기반, 총체적holistic, 지식의 공동-구성co-construction을 향한 것이다.

Choreographing an outcomes-based collaborative teaching and learning (OBCTL) environment aims to move learning in higher educa- tion settings from the traditional content-based and input-driven teaching approaches (i.e., information transference) to an approach that is student- centered, holistic, and geared toward knowledge co-construction.


아시아 고등교육에 국한되지 않더라도, 이러한 원칙을은 손쉽게 유교적 유산이 퍼져있는 맥락CHC에 전이가능하다

Although not specific to the Asian higher educational setting, the principles are easily transferable to contexts where the Confucian heritage culture (CHC) pre- vails (e.g., China, Japan, Southeast Asia).

 

성과바탕교육

Outcomes-Based Education


OBE는 20세기 후반부에 기원하여, 전통적 내용-기반, 투입-기반 접근법과는 달랐다.

Outcomes-based education (OBE) originated in the second half of the twen- tieth century and differs from traditional content-based and input-driven approaches in the sense that those types of teaching and learning were mainly textbook driven and instructor centered (Pliner and Johnson 2004; Van der Horst and McDonald 2004).


OBE의 근원은 1950년대에 '교육목표'를 설정하려는 움직임과 관련되어 있다. Ralph Tyler는 학생들이 학습프로세스를 마친 이후에 무엇을 할 수 있는가에 초점을 둔 명확한 목표를 설정하는 것이 중요함을 밝혔다. Bloom 등은  잘 알려진 Bloom’s taxonomy를 개발

The roots of OBE lie in the 1950s with the movement toward setting educational objectives. Ralph Tyler (1949) identified the importance of for- mulating clearly defined objectives with the focus on what the student should be able to do after completing the learning process and mastering the content. Bloomand colleagues (1956) developed the well-known Bloom’s taxonomy


1960년대에 미국에서 역량바탕교육competency-based education 이 등장하였고, 이것의 주된 목표는 학생들이 학교과정을 다 마친 이후에 적절히 준비되게끔 하는 것이었다.

The 1960s saw the emergence of competency-based education in the United States with the main purpose of ensuring the adequate preparation of students for a life after school.


여기서 초점은 모든 학생들이 특정 스킬이나 커리어에 있어서 도달가능한 가장 높은 수준을 달성하게 해주는 것이다. 이를 위해서 교수자는 demonstrable capabilities에 대한 학습목표를 개발해야 했다. 평가는 점수grade 그 자체를 내기 위한 것이 아니라, 역량을 확실하게 도달하게 만들기 위한 것이고, 추가적 훈련이 필요한지 결정하기 위한 것이었다. 구성주의적 패러다임에 굳건한 기반을 둔 CBE는 학습은 개인의 것이며, 개인의 목적-지향적이어야 한다는 생각을 지지했다. 

The focus was to ensure understanding and enable all students to achieve the highest possible levels of learning of a particular skill or career. To this end, the instructor developed learning objectives geared toward demonstra- ble capabilities. Assessment was not to determine a grade per se but to en- sure competency and to determine if more training was necessary. Firmly rooted in the constructivist paradigm, competency-based education sup- ported the idea that learning was individual and that the individual needed to be goal oriented (Voorhees 2001; Weddel 2006).


OBE의 또 다른 선조는 완전학습이다.

Another predecessor of OBE was mastery learning,


OBE에 영향을 준 마지막 선조는 준거-기반 평가이다.

The final pre- decessor that influenced OBE was the development of criteria-referenced as- sessment.


OBE가 초반에는 학생이 무엇을 해야하는가(학습의 성과)에만 초점을 두었지만, 이후에는 성과를 확실하게 달성하기 위한 OBTL에서의 '교육 프로세스'에 대한 발달도 포함하였다.

Although OBE initially focused only on what the students need to do (the outcomes of learning), later developments also referred to the teach- ing process involved in outcomes-based teaching and learning (OBTL) to ensure achievement of the outcomes.


 

이 모델에서 교육자들은 학습성과를 교육적 결정, 평가 설계, 수업 계획 등에 사용해야 한다.

Educators in this model were required to use the learning outcomes as a focus when they make in- structional decisions, design assessments, and plan their lessons.


 

교육 프로세스는 세 가지 핵심적 특징을 포함한다.

Biggs and Tang (2007): teaching process involves three essential features:

  • (1) the intended outcomes of teaching and learning stated at the start;
  • (2) in- tended learning outcomes guide the teaching process and increase the like- lihood that most students will achieve success; and
  • (3) assessment should determine how well students achieve the outcomes.


따라서 OBTL은 학생이 전체 과정의 일반적 목표general objectives를 달성하기 위해서 특정 학습상황 또는 학습섹션의 중간 혹은 마지막에 무엇을 할 수 있어야 하는가에 초점을 둔다.

Thus, OBTL focuses on what students must be able to do or achieve during or at the end of a learning situation or section in order to attain the general objectives of the course.


또한 OBTL 은 모든 학생이 높은 수준의 학습을 하게끔 서포트해주는 방향으로 패러다임 변화를 시사한다. 동기부여가 덜 되었거나 능력이 없다고 학생을 비난하거나 선생이 부적절하다고 비난하지 않는다. OBTL에서는 학생이 무엇을 할 수 있으며, 학생이 하는 것이 어떻게 교육과 관련되는가에 초점을 둔다. OBTL에서 교수자의 역할은 'teach'가 아니라 'facilitte'이다.

Furthermore, OBTL implies a paradigm shift toward supporting high levels of learning for all students. It comprises an approach that moves away from blaming students for lacking motivation or capabilities or blaming teachers for assumed inadequacies. Rather, it focuses on what students can do and how what students do relates to teaching (Biggs and Tang 2007). In the OBTL approach, the role of the instructor changes: The instructor should not teach but rather facilitate learning by stimulating a range of activ- ities that will support the achievement of the learning outcomes.


따라서 과정 설계에 있어서 학습목표 설정이 가장 중요하다.

Therefore, determining the learning outcomes is the most important aspect of course planning,


 

OBCTL

Outcomes-Based Collaborative Teaching and Learning


CTL은 실제 삶의 상황과 연결된 교수-학습 프로세스에 초점을 두고, real world에서 성과가 달성되도록 한다.

Collaborative teaching and learning (CTL) focuses on the teaching and learning processes that connect to real- life situations and the ways outcomes are achieved in the real world.


OBCTL 은 "다른 사람과의 결합된 활동으로서의 지식 - 사람들이 함께 하는 것"에 초점을 둔다.

OBCTL fo- cuses on “knowledge as constructed in conjoint activities with others—in what people do together” (McNamee 2007, 314).


이러한 (OBCTL) 접근법에는 모든 집단(교수, 학생, 교육내용)의 '협동적 노력'이 의도한 학습목표를 달성하는데 관련된다는 믿음이 전제되어 있다.

Underlying this approach is the belief that collaborative efforts among all parties—that is, the instructor, the students, and the subject matter—are relevant in order to achieve in- tended learning outcomes for a program or course.


따라서 OBCTL은 교육적 세팅에 참여하는 학생의 노력에 가치를 두는 실용적 접근법이다. 많은 아시아 유교문화권의 expectations of success, social responsibility, and up- ward mobility 등과 잘 맞는다. Shi는 중극 학생들이 - 서양학생들과 마찬가지로 - 능동적 학습과 교사-학생간 더 많은 상호작용을 가치롭게 여김을 주장했다. 비록 "서양에서는 성공을 노력보다는 능력에 따르는 것으로 보는 경향이 있지만, 중국인들은 노력을 더 중요하게" 보지만, OBCTL은 개인과 그룹이 교육 맥락에서 excel하게끔 해주며, 능력과 노력을 모두 적용한다.

Thus, OBCTL is a pragmatic approach to teaching and learning that values the effort students espouse when engaging in an educational setting. It aligns well with the expectations of success, social responsibility, and up- ward mobility instilled in many Asian students coming from Confucian her- itage cultures (Phuong-Mai, Terlouw, and Pilot 2005). Shi (2006) claims that Chinese students, like Western students, value active learning and a more interactive relationship with teachers and peers. Although “western- ers tend to see success as being attributable more to ability than to effort, [and] ethnic Chinese see effort as more important” (Biggs and Tang 2007, 33), OBCTL allows individuals and groups to excel in the educational con- text, applying both ability and effort.


 

OBCTL연출하기

Choreographing OBCTL.


Sound한 OBCTL환경에서 학생들은 지지적 요소supportive elements를 활용employ하고, 기본을 배우고, 다른 사람과 상호작용적, 협동적인 방식으로 성과에 도달한다.

Thus, in a sound OBCTL environment, stu- dents will achieve the outcomes once they employ the supportive elements, learn the basics, and engage with others (the instructor, peers, and the broader context) in an interactive and collaborative manner (Van Offenbeek 2001).


잘 연출된 OBCTL환경에서 학생들은 자신에게 필요한 supportive elements 를 얻을 필요가 있다.

In a well-choreographed OBCTL environment, students need to ac- quire the necessary supportive elements instrumental in achieving the out- comes


supportive elements 에는 다음과 같은 것이 있으며, supportive elements 는 성과가 아니다. 한 예를 들자면 해당 분야의 개념을 알고 이해하는 것과 같은 내용에 대한 마스터는 성과가 될 수 없다.

These supportive elements involve preparation, performance, interactions with others, completion of various tasks, and continuous assessment of progress and are intended to enable students to successfully achieve the outcomes of a course or program. The supportive elements are not out- comes. As an example, mastering content, as in know and understand con- cepts of the discipline, can never be an outcome,


OBCTL 과목 설계와 기획의 핵심 요소

Key Elements of Course Design and Planning for OBCTL


다섯 개 요소를 포함한다.

Most of the examples take a systematic approach involving five key elements—

  • analysis,
  • planning and conceptualizing,
  • conducting,
  • assessment, and
  • re- flecting.


첫 요소는 교수-학습이 일어나는 맥락(기관, 과, 교실, 시설)을 분석하는 것이다.

The first element entails an analysis of the context in which teach- ing and learning will take place—that is, the institutional, departmental, and classroom resources and facilities.


분석과 밀접하게 연결된 것이 계획과 개념화planning and conceptualizing 이다. 이 요소는 학습경험의 최종 목표로서 specific learning outcome을 작성하고, 이 outcome을 outcome 도달을 촉진할 수 있는 전략들과 건설적 합치constructive alignment 하는 것이다.

Closely linked to the analysis is the planning and conceptualizing of a course in OBCTL. This element refers primarily to the writing of specific learning outcomes as the end product of the learning experience and the constructive alignment of these outcomes with strategies for facilitating the achievement of the outcomes.


과목을 계획planning할 때, 교수자는 교수-학습의 최종 목표로서 달성하고자 하는 목표를 그려야 한다. 과목의 목표(objective of a course)는 교수자가 그 교육적 설계로부터 달성하고자 바라는 것의 단순한 기술이며, 과목의 goal과 그 과목이 들어가있는 프로그램의 outcome이 잘 align되어야 한다.

In the planning for a course, the instructor begins with envisioning the objectives or goals that he or she wants to achieve as the end prod- uct of teaching and learning. The objective of a course is a simple state- ment of what the instructor hopes to achieve with the instructional design and involves aligning the course goal with the expected outcomes of the study program in which the course fits.


objective of a course 가 전체적 내용과 전체적 학습경험의 맥락에 대한 것이라면, 학습성과learning outcome은 특정한 지식 혹은 스킬에 대해서 학생에게 기대되는 것으로, 특정한 맥락에서 보여지는 것이고displayed, 학습의 관찰가능한 최종 산출물로서 평가 대상이 된다.

Whereas the objective for the course describes the overall content and context of the learning experience, the learning outcomes refer to achieve- ments expected of students and draw on specific knowledge and skills, dis- played in a particular context and demonstrated and evaluated as clearly observable end products of learning.


OBCTL에서 course outline에서 드러나는 과목의 설계와 계획은 교수자와 학생 사이의 contract of learning로서 정점을 찍는다culminate. course outline은 종종 syllabus라고도 불린다.

In OBCTL, the design and planning culminate in a course outline that serves as a contract of learning between instructor and student. The course outline is sometimes referred to as the syllabus, and, similar to a syllabus, it guides the planning and design of a course as a unique learning experience aimed at achieving the desired outcomes or results (Biggs and Tang 2007; Pliner and Johnson 2004).

 

 


 

ILO 작성

Writing Intended Learning Outcomes


knowledge, skills, standards, performances, objectives, courses, modules,and goals  등의 용어는 outcome이란 용어를 대체할 수 없다.

Prior to writing a learning outcome, one needs to understand that knowledge, skills, standards, performances, objectives, courses, modules,and goals are not in- terchangeable terms for the word “outcome.”


두 종류의 학습성과가 있다. Critical cross-field outcome과 specific outcome이다.

There are two kinds of learning outcomes: critical cross-field outcomes and specific outcomes (Olivier 1998; Van der Horst and McDonald 2004).

 

  • Critical cross-field outcomes are usually designed by the programand apply to all the learning areas within the field or discipline in the programof study. Thus, critical outcomes are generic and cross-curricular and are linked or aligned to all levels of the program and the institutional vision in general (Biggs and Tang 2007).
  • Specific outcomes, the second kind of outcomes, are the ILOs that an instructor develops when planning for the course.

 


 

ILO의 기능은 두 가지이다.

Writing ILOs in OBCTL requires careful planning. It is advisable not to have more than seven outcomes for the course and often fewer for each lesson within the course. The function of ILOs is twofold:

  • 교수자들에게 학생이 무엇을 알아야 하고 할 수 있어야 하는지 미리 알 수 있게 해준다.
    (1) They enable the instructor to know in advance what students are expected to know and do; and
  • 학생들에게 자신들이 무엇을 알아야 하고 할 수 있어야 하는지 미리 알 수 있게 해준다.
    (2) they enable students to know in ad- vance what they will be expected to know and do or achieve.

 

 

 


 

ILO는 세 가지 핵심 요인을 고려해야 한다.

An ILO always involves consideration of three key components:

  • 지식을 가지고 해야 하는 행위의 종류(동사)
    (1) the kind of action to perform with available knowledge (i.e., the verb);
  • 달성해야 하는 과업(명사, 목적어)
    (2) the task or aspect relevant to the course area that should be achieved (i.e., the noun/object); and
  • 성취의 복잡성 혹은 이해의 수준 (qualifier)
    (3) the intended level of understanding or complexity of the achievement (i.e., the qualifier) (e.g., Biggs and Tang 2007).

 

 


 

ILO를 작성할 때, '동사'는 해야 하는 활동을 강조한다. 즉, 동사는 성과의 특성을 보여준다.

When writing ILOs, the verb signifies the activity that is going to take place, for example,

  • describe a procedure,
  • compile a budget,
  • solve a prob- lem,
  • identify and explain the learning styles.

In a sense, the verb indicates the characteristics of the outcome,


일부 동사는 다양한 범위의 action을 함축한다. “explain,” “critique,” “compare,” “describe,” or “review,” 을 위해서는 분석적 기술, 비판적 사고, 다양한 의사소통 기술을 필요로 한다.

Some action verbs do im- ply a range of actions that embody the envisioned attributes set as critical outcomes for the program. For example, in order to “explain,” “critique,” “compare,” “describe,” or “review,” the student will have to exhibit ana- lytical skills, critical thinking, and various communication skills.

 

“explain how knowledge of different approaches to human develop- ment can enhance well-being” 와 같은 ILO를 위해서는...아래와 같은 스킬이 있어야 할 것이다.

Thus, an ILO such as “explain how knowledge of different approaches to human develop- ment can enhance well-being” implicitly refers to the

  • knowledge underlying human development,
  • analytical skills for comparing different approaches, and
  • written or oral modes of communication—

the student cannot explain anything without having developed appropriate skills.

 

 


 

 

명사/목적어는 무엇을 달성할 것인지를 표현해준다.

The noun/object spells out what is going to be achieved . It names and limits the issue or topic to be addressed and the knowledge area that has to be accessed in order to complete the task.


qualifier or context 는 성취의 파라미터 혹은 방법론을 의미한다.

The qualifier or context refers to the parameters and methodologies of the achievement . The qual-ifiers or modifiers, as they are sometimes called, also describe the range of complexity


  • Bloom’s taxonomy has been in use for many decades, and
  • Anderson and Krathwohl (2001) present the most up-to-date and comprehensive classification ac- cording to six cognitive domains relevant to learning at higher education level.
  • Biggs and Collis (1982) devised a structure for the observed learning outcome (SOLO).


Biggs and Collis 는 학습의 양적단계와 질적단계에 대해서 언급했다.

Biggs and Collis also refer to the quantitative and quali- tative stages of learning that should occur over time as the student engages in the course or learning program.

  • 양적단계: 디테일을 배우는 것 The quantitative stage relates to learning of detail, such as the specific knowledge aspects involved in a course, while
  • 질적단계: 디테일을 통합하여 더 발전된 수준으로 적용시키는 것 the qualitative stage relates to the integration of the detail in more advanced levels of application and thus guides the assessment strategies that one can use to gain evidence of learning.

ILOs 는 두 가지의 지식과 관련되며, 다른 층위의 이해와 관련된다.

In the example, the ILOs represent the active verbs relevant to

  • two kinds of knowledge (i.e., declarative knowledge and functioning knowl- edge) and
  • different levels of understanding (i.e., unistructural, multistruc- tural, and relational) included in the SOLO model (see Biggs and Tang 2007).


선언적 지식Declarative knowledge : 추상적, 개념적. 사물에 대해서 아는 것. 내용 지식.

Declarative knowledge is knowledge that is abstract and conceptual, dealing with knowing about things. It usually refers to content knowledge accrued from reading and research and not from personal experience or application. Active verbs such as “identify,” “classify,” “select,” and “con- ceptualize” in the ILOs refer to knowing about the concepts, principles, and processes of physical geology. Knowledge about the subject matter or content is therefore embedded in the ILOs.

 

기능적 지식Functioning (or professional) knowledge : 구체적, 실용적. 선언적 지식을 활용하여 특정 과업을 수행하는 학습자의 경험에 있는 것

Functioning (or professional) knowledge refers to specific and pragmatic knowledge and is underpinned by understanding the subject matter. It is knowledge within the experience of the learner who uses declarative (the- oretical) knowledge to perform certain tasks, such as solving problems, analyzing results, or discussing key processes in the ILOs for the course example just presented.


 

ILO를 위한 평가 기준

Assessment Standards for ILOs


세 가지 유형의 평가로 구성된다.

Standard setting for acceptable evidence comprises three types of assessment (Wiggins and McTighe 2005):


1. The performance task is at the heart of the learning and is meant to be a real-world challenge in the thoughtful and effective use of knowledge and skills—an authentic test of understanding in context.


2. Criteria referenced assessment involves regular or continuous tasks such as quizzes, term papers, reflections, and various in-class and out of-class learning projects that provide the instructor and student with timely feedback on how well the facts and concepts are being understood and applied in different contexts.


3. Unprompted assessment and self-assessment engage the student actively in achieving the learning outcomes and are used to make adjustments in order to achieve the required standards of learning.



아시아 고등교육에서의 OBCTL

OBCTL in Asian Higher Education


적극적 참여와 공동-구성을 억압했던 이전의 경험이 OBCTL모델에서 아시아 학생들의 문제해결과 새로운 지식을 억압함. 아시아 학생들이 성공적인 과제 달성을 위해서 어떻게 협력할지 자동적으로 알게 될 것이라는 것은 오류

Prior learning experi- ences that suppressed active involvement and the co-construction of prob- lem solving and new knowledge often restrict Asian students in the OBCTL model. It is a fallacy to think that Asian students automatically know how to collaborate toward successful completion of a learning task.

  • 개인의 책임과 경쟁에 대한 동기부여
    On one hand, they are highly motivated toward individual accountability and competi- tive when striving for grades.
  • 조화와 갈등 회피에 대한 가치
    On the other hand, Asian students place a high value on harmony and the avoidance of conflict (i.e., argumentation).

CHC는 교사와 학생 사이에 거의 타협불가능한 권력 위계를 규정함

The Confucian heritage culture also defines the positioning of instructor and student in an almost nonnegotiable power hierarchy (Van Schalkwyk 2007).


지식의 공동구성 프로세스를 공유하는 것은 아시아 학생들에게 기존의 현실에 위배되는 것이다. conversational activity와 대화에 참여하는 것은 익숙치 않은 개념이다.

Sharing in the process of knowledge co-construction seems almost a violation of their existing “realities,” and engaging in conversational activity and talk as required for OBCTL is an unfamiliar concept to most students in an Asian higher education setting (Biggs and Tang 2007).


아시아 학생 이해

Understanding the Asian Student.

 

단순한 '이식'은 성공할 수 없음.

Merely “transplanting” teaching models from non-Asian contexts (e.g., Western pedagogies) to the Asian context is inappropriate and often unsuccessful. Although Asian stu- dents are predisposed to issues such as interrelatedness, social orientation, and expending effort in their educational activities, they still need guid- ance to ensure success in collaborating with others to co-construct knowl- edge and solve problems.


요즘 중국 학생들은 서양 학생들과 차이가 별로 없다.

Despite some apparent differences between Asian and non-Asian stu- dents, Shi (2006, 122) claims that “contemporary Chinese students demon- strate different characteristics from those described in many previous stud- ies” and that they “show little difference from their Western counterparts by being active learners and preferring a more interactive relationships with their teachers.” Li and Campbell (2008) also found that Asian stu- dents value the significance of group discussions, particularly when engag- ing in their nonnative language (e.g., English).


 

아시아 고등교육에서의 서구에서 훈련받은 교육자

Western-Trained Instructor in the Asian Higher Education Context.


1. Understanding one’s own motives.


2. Knowing how Asian students came to be.


동남아 학생들은 혼날 때 빙긋 웃는데, 이러한 미소가 존중하지 않음을 의미하는 것이 아니라 잘못을 인정하고 혼나는 것에 대한 불편한 감정이 없음을 보여주려는 노력이다.

For example, Weinstein, Tomlinson-Clarke, and Curran (2004, 26) comment that “Southeast Asian students smile while being scolded if they are unaware that the smiles are meant not as disrespect, but as an admission of guilt and an effort to show that there are no hard feelings.”


3. Understanding the context.


4. Reflecting on taken-for-granted assumptions.


중국학생들에게 의견을 드러내지 않는다고 혼내는 것은 그들 부모가 '선생님 말을 잘 듣고 배우라'라고 가르치는 것과 상충할 수 있다.

For example, “reprimanding Chinese students for not being willing to express their opinions may conflict with their parents’ directive to listen and learn what the teacher tells them” (Weinstein, Tomlinson-Clarke, and Cur- ran 2004, 32).


5. Choreographing a caring learning environment.


The aim is to grant “privilege and honour [to] the personal experiences, desires, motivations, knowledge and skills” (Carlson and Erickson 2001, 207) of students and to create a caring learning com- munity in which students feel respected, trusted, and supported by the instructor and by one another.


Weinstein, C. S., S. Tomlinson-Clarke, and M. Curran. 2004. “Toward a Conception of Culturally Responsive Classroom Management.” Journal of Teacher Education 55: 25–38.




 


 


 


 







Research Article

You have full text access to this content

Outcomes-Based Collaborative Teaching and Learning in Asian Higher Education

  1. Gertina J. van Schalkwyk1,2

Article first published online: 22 JUN 2015

DOI: 10.1002/tl.20128

New Directions for Teaching and Learning

New Directions for Teaching and Learning

Special Issue: From the Confucian Way to Collaborative Knowledge Co-Construction

Volume 2015Issue 142,pages 19–40Summer 2015


커크패트릭 레벨과 교육의 '근거'(Med Educ, 2012)

Kirkpatrick’s levels and education ‘evidence’

Sarah Yardley1 & Tim Dornan2









도입

INTRODUCTION 


최근의 책에서 Donald Kirkpatrick 은 어떻게 평가모델에서 네 개의 descriptor에 이르게 되었는지를 설명했다. 그는 기술 훈련은 반응-학습-행동-효과로 평가해야함을 관찰했다. 커크패트릭의 목적은 관리자에게 학습자와 학습자가 근무하는 조직에 대해서 즉각적으로 확인가능하고 측정하기 쉬운 결과를 제공하는 것이었다. 기업의 리더들은 훈련이 효과과 있었다는 구체적 증거(판매량이라던가, 제품의 질, 수익성)를 필요로 한다. 산업계에서 성공적으로 사용한 보고는 다른 영역으로의 확산을 가져왔다. 커크패트릭 그 자신도 여러 곳에서 찬사가 쏟아진 만큼 이 네 단계의 validation은 필요없다는 입장을 밝혔다. 그러나 커크패트릭 모델이 의학교육에서 널리 사용되고 있지만 비판이나 분석은 없다.

In a recent book, Donald Kirkpatrick explains how he arrived at the set of four descriptors that are now widely used to evaluate the impact of interventions in education.2 He had observed that technical training could be evaluated by measuring learners’ reactions, learning and behaviour, and their impact on the organisations for which the learners worked.3 Kirkpatrick’s purpose was to provide managers with promptly identifiable and easy-to-measure outcomes in learners and the organisations for which they worked. Business leaders needing tangible evidence that training would enhance their sales volume, product quality and profitability quickly implemented his ideas. Reports of their successful use in business attracted interest from other fields and his ideas spread. Kirkpatrick himself said there was no need to validate the descriptors because accolades poured in.2 Despite the wide use of Kirkpatrick’s levels in medical education, there has been no review or critique of their use in this context.



방법

METHODS



결과

RESULTS


교육 인터벤션 평가를 위한 커크패트릭 레벨의 적합성

The suitability of Kirkpatrick’s levels for appraising education interventions


대다수의 연구에서 커크패트릭 레벨을 heuristics로 사용하였다. 단지 네 개의 연구만이 미 모델의 사용을 비판했으며, 이 중 하나는 커크패트릭의 레벨이 인적자원개발 분야에서 무비판적으로 적용되고 있음을 지적했다. Abernathy는 이 '레벨'이 교육훈련의 평가에 대해서 어떤 질문을 던지고 어떤 결과를 내야하는가에 영향을 준다면서, 이 레벨은 '연성(soft)' 성과 혹은 지속학습의 평가에는 부적절하다고 지적했다. Alliger와 Janak은 커크패트릭 모델이 가정하고 있는, 그리고 훈련 결과의 모양을 빚어내는 세 가지 요소를 지적했다. 

Most articles found by our search used Kirkpatrick’s levels as heuristics in education evaluation; just four critiqued their use11–14 and one of these found that Kirkpatrick’s levels were applied uncritically in the field of human resource development.14 Abernathy,12noting that the levels could influence the questions asked and results produced, rejected them as unsuitable for evaluating either ‘soft’ outcomes or continuous learning (as opposed to time-limited interventions). Alliger and Janak identified three types of assumption by which Kirkpatrick’s model could tacitly shape research findings, comprising: 

    • 레벨에 숫자를 붙임으로서 위계를 가정함
      assumptions of hierarchy associated with the numeric labelling of levels; 
    • 레벨 간 인과관계를 가정함
      assumptions of causal links between levels, and 
    • 레벨 간 정적 상관관계를 가정함
      assumptions that the levels are positively inter-correlated.11 

Blanchard 등은 어떤 연구든 평가를 하기에 앞서서 커크패트릭 레벨과 상관 없이 목적이 정의되어야 한다고 주장했다.

Blanchard et al.13 argued that the purpose of any research had to be determined before any evaluation of it at any particular Kirkpatrick level could be considered. 


비록 이들 중 어떤 연구도 의학교육에 대한 것은 아니지만, 의학교육에 적응가능한 것으로 보이며, 커크패트릭도 그 자신이 각 '레벨'을 훈련 휴리스틱으로 사용했기 때문에 (어떻게 숙고한 연습과 사회적 학습을 통해서 전문가를 키우는가가 아니라) 이들 저자의 의견에 동의했을 것이다. 그는 단기적인, 실재하는 목적(판매량, 질, 수익성) 등을 측정하기로 선택했다. 무형의 훈련성과에 대한 커크패트릭의 해결책은 - 그가 스스로 책에서도 언급한 바와 같이 - 유형의 이익과 연결시키는 것이며, 왜냐하면 훈련은 구체적인 측정가능한 행동을 목적으로 하고 있는 훈련이 시장가치를 인정받을 수 있기 때문이다.

Although none of those studies concerned medical education, they seem applicable to it and Kirkpatrick himself might have agreed with these authors because he actually advocated using the levels as a training heuristic,2 not to evaluate how professionals become expert practitioners through deliberate practice and social learning. He chose the levels to measure very short-term and tangible endpoints like sales volume, quality and profitability. Kirkpatrick’s solution to intangible benefits of training, which he acknowl- edged in his original work, was to link them to tangible benefits because training orientated towards specific measurable behaviours could be assigned a market value.2


커크패트릭이 커크패트릭 레벨을 성공적으로 적용했다고 인용한 여러 개의 참고문헌 중 어떤 것도 의학교육에 관련된 것은 없으며, 비지니스 분야와는 특성이 다르다(다양한 집단의 니즈를 충족시켜야 함). 커크패트릭 레벨의 문제점은 각 레벨에서 고려하는 수혜자가 모두 다르다는 것이다. 레벨1~3은 학습자이며 레벨4a는 조직, 레벨4b는 환자이다.

Of his numerous references to successful applications of the levels,2 none came from a field as complex as medical education, which differs from business in that it is required to meet the needs, equitably, of a whole array of beneficiaries, including patients, students, practitioners, communities and health care organisations. A problem with Kirkpatrick’s levels is that different levels concern different beneficiaries: levels 1–3 concern learners; level 4a concerns organisations, and level 4b concerns patients.


이 구조에서 교사 역시 완전히 사라져 있다. 이 모델은 질적/양적 방법론으로 평가가능한 무수한 성과에 대한 평가를 포괄하는데 한계가 있으며, 뿐만 아니라 어떻게 그리고 왜 복잡한 인터벤션의 특정 요소와 어떠한 결과의 관계 있어서 그러한 결과가 나타났는지도 설명해주지 못한다. 이 모델은 그저 기대 성과를 측정하는데 사용될 뿐이며, 기대하지 않았던 결과는 무시한다. 즉, '의도한 대로 A라는 결과가 나타났는가?'를 물어보는 것이지 '이 인터벤션의 결과는 무엇인가?'라고 묻지 않는다. 임상적으로 이에 적합한 비유는 신약의 의도한 효과만 측정하고, 부작용은 측정하지 않는 것이다.

Teachers are missing from the scheme altogether. The model does not allow for the rich variety of outcomes that can be evaluated using qualitative as well as quantitative methodologies, nor explain how or why such out- comes are consequential to particular elements of complex interventions. It tends only to be used to measure anticipated outcomes and ignores unanticipated consequences. That is, it asks ‘Was outcome X achieved as intended, or not?’ rather than ‘What were the outcomes of this intervention?’ A clinical parallel would be a clinical trial that measured only the intended effects of a new drug and not its side-effects.




커크패트릭 레벨의 의학교육에 대한 적용

Application of Kirkpatrick’s levels to medical education research


커크패트릭 모델이 나온 40년이 자나서, BEME는 문헌리뷰의 기준 위한 커크패트릭 레벨의 modified version을 도입하였다

Forty years after Kirkpatrick’s original work, the BEME collaboration adopted a modified version of Kirkpatrick’s levels (which it named a ‘hierarchy’) as a grading standard for bibliographic reviews (Table 2). A prototype coding sheet, accompanied by explanatory notes, offered two complementary ways of appraising evi- dence, using either Kirkpatrick’s ‘hierarchy’ to grade the impact of interventions (Table 2) or a simple anchored rating scale of 1–5 of the ‘strength’ (Table 3) or trustworthiness of findings.


우리의 첫 번째 BEME 리뷰는 그 레벨을 사용하고, 위계로서 받아들여서 높은 수준의 커크패트릭 레벨을 더 중요한 성과로 지칭했다. 이 연구에서 24%의 성과는 레벨 에 있었으며 - 우리는 그 당시 이것을 중요하지 않은 것으로 평가했고 - 76%에서는 더 중요한, 높은 수준의 성과 평가로 나아갔다. 총 64%의 성과가 레벨 2에 있었으며, 레벨 3과 레벨 4를 합해도 12%밖에 남지 않았다. 우리가 연구성과의 '강도'에 대해 평가했을 때는 출판도니 결과의 42%만이 강력한연구성과(3점 이상) 이면서 중요한 연구성과(레벨 2 이상)에 해당되었고, 그 대부분은 레벨 2에 있었다.

Our own first BEME review9 (of early workplace experience in undergraduate medical education) used the levels and, accepting them as a hierarchy, treated a higher Kirkpatrick level as indicative of a more important outcome. This review found that 24% of outcomes were at level 1, which we then regarded as unimportant, and the other 76% were progressively more important according to their higher levels. A total of 64% of outcomes were found to be at level 2, leaving only 12% at levels 3 and 4 combined. When we added in an appraisal of the ‘strength’ of outcomes (Table 3), only 42% of published outcomes were both strong (rated at ‡ 3) and important (Kirkpatrick level ‡ 2) and then mostly at level 2 in the hierarchy.


그러나 레벨 3, 4 성과가 매우 미미하다는 것을 보여준 것은 우리만은 아니었으며 14개의 분석된 자료 중 레벨 3, 4를 평가한 것이 50%를 넘는 것은 3개 뿐이었다.

It shows we were not alone in finding relatively fewKirkpatrick level 3 or 4 outcomes. In only three of 14 data analyses (21%) were half or more of the outcomes rated at a level > 2. 


Table 1에서 기술한 대부분의 연구는 레벨 1 혹은 레벨 2a, 2b를 측정하고 있으며, 이들은 각각 description (레벨 1) and justification (레벨 2a, 2b) 연구라고 명명되었으며 나름의 가치가 있다. 문제는 'clarification study'의 성과인데, 이것이야말로 의학교육연구를 더욱 강화시키는 토대가 되는 연구이며, 모든 커크패트릭 레벨에 맞을 수 있는 연구이다. 그러나 우리가 어떻게, 왜 특정 효과가 인터벤션의 특정 요소의 결과로 나타나는지를 이해하지 못한다면, 교육의 이익을 최대화하기 위해 개선하는데 어려움을 겪을 것이다. 구체적인 예를 들어보자면, 한 연구를 통해서 학습자의 정서에 영향을 주는 교육 인터벤션에 대한 clarify를 한다고 했을 때, 이것은 레벨 1 혹은 레벨 2 에 대한 것이며 상대적으로 중요하지 않은 결과로 여겨질 수 있다. 그러나 이것은 학습자의 professional development에 중요하다는 것이 자명하다. 늘 '결과'가 '과정'보다 중요한 것일까?

Most papers in Table 1 described what learners experienced (level 1) or measured what they learned (levels 2a and 2b); these have been more simply termed ‘description’ and ‘justification’ studies, respectively, and each has its own value.23 The snag is that outcomes in ‘clarification studies’, which are a rich basis on which to strengthen medical education,23 could fit under any or all of Kirkpatrick’s levels. Yet, unless we understand how, and why, effects are consequential to particular elements or interactions, it will be difficult to refine education to maximise benefit. To give a specific example, it is possible that a study clarifying how an educational intervention affected learners’ emotions could be classified as demonstrating outcomes at level 1 (reactions) or 2 (attitudes), which are regarded as relatively unimportant, despite being self-evidently important to the professional development of the learners. Are outcomes necessarily more important than processes (which are not included in Kirkpatrick’s levels)?


Holton은 충분한 이론적 근거나 지지적 근거가 부족한 상태에서 낮은 레벨의 성과가 높은 레벨의 성과의 전제조건이 된다는 위계를 사용하는 것은 부적절하다고 지적했다.

Holton criticised their use as a hierarchy on the grounds that they lack important attributes of a theory and lack supportive evidence to indicate that lower-level outcomes are prerequisite to higher-level ones.14





의학교육 연구 평가를 위한 대안

Alternatives for appraising research in medical education


상대적으로 단순하나 교육훈련 인터벤션의 평가를 위해서는, 신속하게 드러나고 쉽게 관찰가능한, 전통적인 실험 설계에서의 성과를 평가하여 '레벨'이 (학습자 외의) 중요한 수혜자(대개 환자)에게 직접적 관심을 갖게 해줄 수 있다. 그러나 앞선 리뷰를 보면, 복잡하고, 장기 성과가 중요하고, 결과에 대한 평가만큼이나 과정에 대한 평가가 중요한 여러 교육 인터벤션에서는 부적합함을 보여준 바 있다. 실제로, 우리의 리뷰는 커크패트릭 레벨을 잘 못된 유형의 근거로 활용하는 것은 오히려 해로울 수 있음을 지적했다.

When evaluating relatively simple training interventions, the outcomes of which emerge rapidly and are easily observed within classical experiment designs, the levels can direct attention to important beneficiaries other than learners (notably patients). The preceding review, however, leads us to conclude they are unsuitable for the higher proportion of education interventions, which are complex, in which the most important outcomes are longer-term, and in which process evaluation is as important as (perhaps even more important than) outcome evaluation. Indeed, our review found a body of opinion that considered that Kirkpatrick’s levels, applied to the wrong type of evidence, might be harmful.11–14



그렇다면 '근거의 종류가 평가를 편향시키지 않는' 대안으로 무엇이 있을까? 다른 식으로 표현하자면, 어떻게 우리가 추구하는 가치를 손상시키지 않으면서 적합한 '레벨'을 포함하는 균형을 잡을 수 있을까? 현재의 지식으로는 negative finding을 포함시키고, 추가 연구나 실천에 유용한 새로운 혹은 더 철저한 작업에 대한 구체적 요구를 포함시키는 방법이 있다.

What alternative ways are there, then, to critique the quality of various types of evidence in a scholarly way without allowing the type of evidence to bias its evaluation? Put another way, how do we balance the right level of inclusiveness with rigour in our approach to value? It is important that the current state of knowledge, including ‘negative’ findings and specific needs for new or more rigorous work to usefully inform further research or practice innovation, is represented.


다양한 systematic review  

The scholarship of systematic review in clinical science takes its origins from a paper published 40 years ago by the epidemiologist Archie Cochrane, in which he berated medical practice for being ineffective or frankly harmful.27 

    • The Cochrane Collaboration (http://www.cochrane.org) came into existence to promote clinical trials, using systematic review and statistical meta-analysis to synthesise findings from their aggregated results. ‘Evidence’ was rated as ‘weak’ or ‘strong’ according to standard criteria, which appraised its ability to support the statistical estimation of effect sizes. The Cochrane approach is not the only one in the health domain. 
    • The Joanna Briggs Institute (http://www.joan- nabriggs.edu.au/about/home.php) and the W K Kellogg Foundation (http://www.wkkf.org), both of which seek to improve health care practice through multidisciplinary working, have taken a pluralistic approach and do not place randomised controlled trials at the top of a hierarchy, regardless of the question posed. 
    • Recognising that the hypoth- etico-deductive, experimental approach of natural sciences is ‘ill-equipped to help us understand com- plex, comprehensive, and collaborative community initiatives’ (http://www.wkkf.org/knowledge-center/ resources/2010/w-k-kellogg-Foundation-Evaluation- Handbook.aspx), they allow questions to be asked and answered without forcing complex systems to fit the evaluative tools of one dominant research para- digm. 
    • By contrast, the Campbell Collaboration (http://www.campbell collaboration.org), which reviews evidence related to education, crime and justice, and social welfare, has aligned itself with the Cochrane Collaboration in holding data that are suitable for statistical meta-analysis as of intrinsically higher quality.




따라서, 이들 리뷰의 서로 다른 방법론은 서로 다른 '인식론적' 정의로부터 시작한다. '인식론적' 이라는 단어는 인식자(knower)와 지식(known)의 관계를 의미하는 것이다. 코크란 접근법은 전통적인 과학적 방법론에 따른 것이며, 실증주의적 인식론에 바탕을 두고, 복잡한 상황을 상대적으로 단순한 실험적 설계 내에서의 변수 간 비교로 환원한다. 비판적 평가에 있어서 코크란 접근법의 기준은 그것의 인식론적 입장과 일관된다. 그러나 Pope 등은 systematic review는 비록 그것이 임상영역에 강한 선호를 보이지만 (여러 대안 사이에 선택을 도와주기 때문에) 이것이 근거를 종합하는 유일한 방법은 아님을 주장한다.

Thus, different review methodologies start from different ‘epistemological’ assumptions, where the term ‘epistemological’ refers to the relationship between the knower and the known. The Cochrane approach, drawn from classical scientific methodology, has a positivist epistemology which allows it to reduce complex situations to a comparison of variables within relatively simple experiment designs. Its standards of critical appraisal are consistent with its epistemological stance. Pope et al. noted that systematic review, although it is strongly favoured in the clinical domain because it helps in making choices between alternative treatments, is not the only way of syn- thesising evidence.28


The Cochrane Collaboration이 '의사결정을 지지'하기 위하여 근거를 사용하는 방식은 '지식을 지지'하기 위하여 근거를 사용하는 (비-이분법적) 방법과 구분된다. 근거를 종합하는 집합적, 해석적 방법은 질적 근거와 양적 근거를 혼합하거나, 질적 근거만을 가지고 종합하기도 한다. 이러한 방법은 '지식을 지지'하는 더 나은 방법이 될 수 있으며, 실증주의적 인식론보다는 구성주의적 인식론에 기초한다. 의학교육연구는, 우리의 리뷰에서 보여준 바와 같이, 다원주의적이다. 따라서 bibliographic research가 커크패트릭의 평가에 따르지 않는 다섯 중 네 명의 리뷰어는 어디에 있는가?

The Cochrane Collaboration’s use of evidence for ‘decision support’ can be distinguished from the (non-dichotomous) use of evidence for ‘knowledge support’. Aggregative or interpretive methods of evidence synthesis that mix qualitative with quantitative evidence, or synthesise qualitative evidence alone, give better knowledge support and start from constructionist rather than positivist epistemological assumptions.28 Medical education research, our reviews have shown, is pluralistic. So where does that leave the four out of five reviewers whose bibliographic research does not lend itself to Kirkpatrick rating?



비판적 평가의 레퍼런스 기준을 정의하는 것이 아니라, 이 리뷰는 그러한 기준이 과연 존재할 수 있는지, 그리고 근거의 종합을 위한 계획을 수립할 때 얼마나 많은 질문에 대한 답이 필요한가에 대한 의구심을 던지는 것이다. 독자로 하여금 근거를 평가할 수 있는 토대를 전혀 주지 않기보다는, 우리는 논리적 접근을 위한 사고실험을 하고자 한다.
Far from defining a reference standard for critical appraisal, this review casts doubt on whether such a standard could ever exist and shows how many questions must be answered when planning an evidence synthesis. Rather than leave the reader with no basis on which to appraise evidence, we conducted a thought experiment in order to define a logical approach. 

실증주의적 원칙에 따라 진행된 실험에 있어서 근거기반의학의 비판적 평가 도구는 교육근거에도 적용될 수 있다. 이 섹션의 첫 문단에서 제시한 조건과 같이 그렇게 상대적으로 단순한 훈련 인터벤션의 평가에서 커크패트릭의 레벨은 적절하다. 대부분의 경우에서는 (아마 의학교육 근거의 80%는 될 것이다) 구성주의적 인식론이 적합하다. 이 경우에 비판적 평가는 (BEME scale 1~5와 같은) 결과의 신뢰성에 대한 단순한 종합적 판단이 아니다. 비록 한 리뷰 안에 포함된 개개의 연구마다 개별적으로 비판적 평가를 위한 도구가 적용될 수는 있지만, 종합적 결론에 대한 신뢰도에 있어서 이득이 되는 정도는 미미하다. 
For experimental research conducted on positivist principles, the critical appraisal tools of evidence-based medicine can be applied to education evidence. Under the conditions defined in the first paragraph of this section, such as in the evaluation of relatively simple training interventions, Kirkpatrick’s levels are appropriate. In the majority of cases (perhaps 80% of medical education evidence syntheses), a constructionist epistemology is likely to be appropriate, in which case critical appraisal will rest on simple global judgements of trustworthiness, such as the BEME scale of 1–5. Although critical appraisal tools appropriate to individual methodologies could be applied to individual studies included within a review, any gain in reliability is likely to make little difference to the overall conclusions pieced together from multiple different methodologies.


DISCUSSION


근거를 종합하는 것의 예술은, 우리의 결론으로는, 하나의 방법론이나 평가기준을 다양한 것들에 고정시키는 것이 아니라 여러 측면이 고려된 선택을 내리는 것에 있다. 이것은 Eva가 말한 '질(quality)의 단일한 결정권자는 없다'것과 같은 것이며, 왜냐하면 어떤 근거가 놓이는 위치가 그것의 유용성을 결정하기 때문이다.

The art of evidence synthesis, we conclude, lies in making well-considered choices rather than valorising one methodology or appraisal standard over another, echoing Eva’s view that there can be no single arbiter of quality because it is the use to which evidence is put that determines its utility.29


근거의 다양한 활용방법이 - 그것이 무엇이 되었든 - 어떤 방법을 사용할 것인지를 좌우한다.

The use of evidence to support policy, define outcomes, identify new research questions, answer practical teaching questions, inform teachers’ personal development, serve as a debating tool or establish the ‘state of knowledge’ on a subject can all dictate different methodologies


중립적인 것으로 보여지는 지식의 현 상태('state of knowledge')를 알아내는 것조차 존재론적, 인신론적 지위가 있다. 만약 질문이 '단순한 인터벤션의 효과'를 플라시보와 비교하는 것이라면 'naive realist'적 존재론과 인식론에 따라 코크란의 비판적 평가 기준을 사용하게 하고 효과크기를 측정하게끔 할 것이다. 더 환원주의적 관점에서는 결과는 더 명확할지언정, 활용가능도는 더 떨어질 것이다.

Even the last of these, which is often presented as a neutral assessment, involves ontological and epistemological positioning. If the topic in question is the efficacy of a simple interven- tion compared with a placebo administered under controlled conditions, a ‘naive realist’ ontology and epistemology30 would direct the use of Cochrane critical appraisal standards and estimation of effect sizes. The more reductionist a review, the clearer its results, but perhaps also the less applicable they are.


의학교육자들인 근거중심의학에서 벗어나는 지점은 단순한 실험의 결과와 실제 상황에서의 적용 사이에 있는 큰 격차이다. 프로세스는 물론 맥락이 교육 성과에 영향을 미친다. 더 나아가 경험의 스토리가 사라진다면 풍부한 뉘앙스는 물론 심지어 정보의 모든 핵심이 사라질 수도 있다.

Where medical education really deviates from evidence-based medicine is in its recognition of a wide gap between the results of simple experiments and their applicability in ‘real practice’. Context as well as process impacts on educational outcomes. Moreover, rich nuances or even the whole essence of information may be lost when stories of experience are omitted.


이 모든 이유로 인해, 리뷰어는 양적 자료는 물론 질적 자료를 고려하여 연구자가 교육행위의 상대주의적, 사회적 실천의 한 부분으로서 존재하기 위한 대화에 맞는 주장을 구성(construct)해야한다. 만약 연구자가 정책에 영향을 미치고 있다면 현실주의자적 입장과 수반적(attendant) 방법이 적합할 수 있으며, 리뷰어가 다음의 문제를 위해서는 실용주의적 판단을 내려야 한다.

      • 내가 의사로서 원저를 읽을 때 거기서 무엇을 얻어야 하는가? 
      • 그 맥락 속에서 받아들여야 할 것은 무엇이며, 더 정제되거나 뉘앙스를 파악해야 할 것은 무엇인가? 
      • 나는 어떻게 이 주제의 연구를 계층화하여 부분적으로 도움이 되는 정보를 버리지 않고서도 강력한 근거와 제한적 근거를 알아볼 수 있을 것인가?

For all of these reasons, it is likely a reviewer will need to consider qualitative as well as quantitative sources of evidence and ‘construct’ an argument fitted to the conversation he or she wants to be part of in the relativist, social world of education practice. If the reviewer wants to influence policy, a realist stance and attendant methods may be appropriate, 31 whereby the reviewer uses pragmatic judgement to answer questions like: If I were reading the original papers as a practitioner, what would I take away from them? What would I accept within context or pass judgement on in a more refined or nuanced manner than the current systematic review process allows? How can I stratify the studies on this topic to see where evidence is strongest or limited without unnecessarily discounting partially helpful informa-tion?



우리의 포괄적 결론은 근거가 사용되는 목적이 근거를 종합하는 방법의 신뢰성과 최선의 방법이 무엇인지에 영향을 준다는 것이다. 과학적 실험의 방법론적 가정이나 환자에게 돌아올 이득에 대한 임상적 가정을 근거의 기준으로서 채택하지 않는다면, 우리는 연구자들이 다음과 같이 근거를 종합할 것을 권고한다.

Our broad conclusion is that the purpose to which evidence is put influences its trustworthiness and the best way of synthesising it. Having rejected the methodological assumptions of scientific experimentation and the clinical assumption of patient benefit as reference standards of evidence, we suggest that researchers synthesising evidence should: 

    • state very clearly the aims of their work; 
    • make their epistemological and ontological assumptions explicit; 
    • admit any evidence that is appropriate to the aim, including complex and qualitative evidence; 
    • consider features of empirical research such as the strength of its theoretical orientation and its relevance to the review question when considering its weight in the final synthesis, and 
    • make absolutely transparent, when reporting a review, the decisions they took and their reasons for taking them.









 2012 Jan;46(1):97-106. doi: 10.1111/j.1365-2923.2011.04076.x.

Kirkpatrick's levels and education 'evidence'.

Author information

  • 1Keele University Medical School, Faculty of Health, Keele, UK. syardley@doctors.org.uk

Abstract

OBJECTIVES:

This study aims to review, critically, the suitability of Kirkpatrick's levels for appraising interventions in medical education, to review empirical evidence of their application in this context, and to explore alternative ways of appraising research evidence.

METHODS:

The mixed methods used in this research included a narrative literature review, a critical review of theory and qualitative empirical analysis, conducted within a process of cooperative inquiry.

RESULTS:

Kirkpatrick's levels, introduced to evaluate training in industry, involve so many implicit assumptions that they are suitable for use only in relatively simple instructional designs, short-term endpoints and beneficiaries other than learners. Such conditions are met by perhaps one-fifth of medical education evidence reviews. Under other conditions, the hierarchical application of the levels as a critical appraisal tool adds little value and leaves reviewers to make global judgements of the trustworthiness of the data.

CONCLUSIONS:

Far from defining a reference standard critical appraisal tool, this research shows that 'quality' is defined as much by the purpose to which evidence is to be put as by any invariant and objectively measurable quality. Pending further research, we offer a simple way of deciding how to appraise the quality of medical education research.

© Blackwell Publishing Ltd 2012.


고등교육 프로그램 평가에 커크패트릭 4단계 평가모형 활용 (Educ Asse Eval Acc, 2010)

Adaptation of Kirkpatrick’s four level model of training criteria to assessment of learning outcomes and program evaluation in Higher Education

Ludmila Praslova







1.1 평가의 정의와 목적

1.1 Definitions and purposes of assessment


평가의 정의

Definitions of assessment


평가는 다양한 상황에서, 다양한 의미로 사용됨. 학생에게 점수를 부여하는 것, 학생의 성취도에 대한 자료를 모아서 프로그램이나 기관 단위의 성취도를 점검하는 것 등. 다양한 수준에서 이뤄진다(교실, 과목, 프로그램, 교육 일반, 기관 등)

The term assessment is used in various contexts and has somewhat different connotations. For example, it is commonly used to describe the processes used to certify individual students or even to award grades (Ewell 2001). On the other hand, for accreditation purposes, assessment refers to the collection and use of aggregated data about student attainment to examine the degree to which program or institution-level learning goals are being achieved (Ewell 2001). Thus, assessment takes place at multiple levels: the classroom, course, program, general education, and institution (Bers 2008).


Ewell은 "평가는 학생이 학업단계마다 무엇을 알고 무엇을 할 수 있는지에 대한 타당하고 신뢰도있는 근거를 수집하는 체계적 방법으로 구성되어 있으며, 학생의 학습성과에 대한 공식-기술에 의해서 좌우된다."

(p.1). Ewell (2006) suggests that “Assessment comprises a set of systematic methods for collecting valid and reliable evidence of what students know and can do at various stages in their academic careers . . . governed by formal statements of student learning outcomes” (Ewell 2006, p. 10).



평가에 있어서 이해관계자

Stakeholder emphasis on assessment


평가에 있어서 이해관계자의 Interest는 전 세계적으로 높아지고 있다.

Growing stakeholder interest in assessment appears to be a global phenom- enon.



기관 차원에서의 피드백으로서의 평가

Assessment as vital institutional feedback



Allen에 따르면, 외부에서 지속적으로 평가를 요구하는 것이 평가의 중요도가 높아지는 한 가지 이유이다. 그러나 더 중요한 이유는 고등교육에서 점차 '가르치는 것'보다 '배우는 것'에 초점을 두어 학생의 성과를 강조하기 때문이다. 따라서 교육 성과에 대한 평가는 외부 이해관계자의 요구를 만족시키기 위해서만 행해지는 것이 아니다. 학습에 대한 평가는 고등교육기관이 핵심 교육 미션에 대한 피드백을 받기 위한 것이다.

According to Allen (2006), an external requirement for continuous assessment is only one of the reasons that underlie the growing importance of assessment. Perhaps an even more important reason is the overall movement of Higher Education toward being learning-focused and emphasizing student outcomes, as opposed to being teaching-focused. Thus, assessment of educational outcomes is not something that should only be done to satisfy external stakeholder requirements. Assessment of student learning is also a way for Institutions of Higher Education to receive feedback regarding the effectiveness of their core educational mission.


시스템스-이론에 따르면 고등교육기관은 환경과 여러가지로 연결되어 있는 open system으로 볼 수 있다.

According to the systems theory, institutions of Higher education, like other social organizations, can be understood as open systems connected to their environment in multiple ways, including input, output, and feedback (Katz and Kahn 1966).


조직 차원이나 기관 차원에서 환경과 어떻게 상호작용하는가에 대한 정보는 피드백의 형태로 나타나며, 이는 어떤 변화가 필요한지를 찾아서 그 변화를 이루고 이를 통해 적절하게 기능하여 그 시스템 내에서 살아남기 위한 것이다.

Information regarding organizational or institutional functioning in relation to the environment, in the form of feedback, is essential to adjustment and making needed changes and thus to proper functioning and, ultimately, to the survival of the system (Katz and Kahn 1966).



1.2 평가 수행에 관한 기관 차원의 어려움

1.2 Institutional struggles with assessment


평가에 대한 기관 내적/외적 중요도에도 불구하고, 여러 대학들은 여전히 평가를 이해하고 평가결과를 교수-학습의 개선을 위해 사용하는 것에 어려움을 겪는다. 또한 학생 성과를 평가하는 기술적 측면에서도 어려움을 겪고 있어 학습준거의 명확화, 적절한 평가도구 선정 등이 그것이다.

Despite both external and internal importance of assessment, many colleges and universities still struggle with understanding assessment and using assessment results to improve learning and teaching (Bers 2008), as well as with technical aspects of assessing student outcomes, including clarification of learning criteria and selecting appropriate measures and instruments (Allen 2006;Bers2008; Brittingham et al. 2008;Ewell2001).



1.3 평가를 위한 접근법

1.3 Overview of proposed approach to assessment


4단계 모형은 classic framework이다.

The four level model is a classic framework for assessing training effectiveness in organizational contexts.


Alliger 등은 그것을 보다 정교화했는데, behavior criteria를 transfer criteria라고 명명한다거나, reaction을 affective reaction과 utility judgement로 나눈다거나 하는 것이 그것이다.

Alliger et al. (1997) proposed some augmentation to the framework and further refined terminology and criteria, for example, by referring to behavior criteria as transfer criteria, and by specifying affective reactions and utility judgments as subtypes of reaction criteria.



2 고등교육에서 4단계 모형의 적용

2 Adaptation of the four level model of training evaluation criteria to assessment in Higher Education



Reaction과 Learning은 internal한 것으로, 프로그램 내에서 발생한 것에 초점을 둔다. Behavior와 Result는 프로그램 이후에 발생한 것에 관심을 두므로 external 하다고 본다.

Reaction and learning criteria are considered internal, because they focus on what occurs within the training program. Behavioral and results criteria focus on changes that occur outside (and typically after) the program, and are thus seen as external criteria.


2.1 반응

2.1 Reaction criteria


Alliger는 얼마나 프로그램을 즐겼는가 affective reactions 와 얼마나 배웠다고 생각하나 utility judgments로 나누었다.

Alliger et al. (1997) proposed the distinction between trainee’s reports regarding how much they enjoyed the training (affective reactions) and how much they believe they have learned (utility judgments) within the reaction criteria.


많은 여구자들이 reaction과 다른 나 머지 사이에 관련이 부족함을 지적했고, Alliger 등은 affective reaction과 다른 level은 관련이 없고, utility judgement와 다른 level은 약한 상관관계가 있다고 보여주었다.

Many researchers have pointed out the lack of relationship between reaction criteria and the other three levels of criteria (learning, behavior and results), and the meta-analytic study by Alliger et al. (1997) found no relationship between affective reactions and other levels, and only a weak relationship between utility judgments and the other levels of criteria.


그러나 많은 연구자들이 reaction 평가에 대해 유의할 것을 지적했음에도, 가장 흔히 평가하는 것으로 아직 남아있다.

However, despite the fact that many researchers caution against the use of reactions alone for the assessment of learning, reaction level criteria remain the most often assessed (Alliger et al. 1997; Arthur et al. 2003a; Dysvik and Martinsen 2008; Van Buren and Erskine 2002).



2.2 학습

2.2 Learning criteria


학습은 학습성과의 측정이며 다양한 형태의 지식검사를 하거나 훈련프로그램 직후에 수행능력이나 스킬 검사를 한다.

Learning criteria are measures of the learning outcomes, typically assessed by using various forms of knowledge tests, but also by immediate post-training measures of performance and skill demonstration in the training context (Alliger et al. 1997).


Alliger 등은 immediate knowledge, knowledge retention and behavior/skill demonstration 로 나누었지만, 큰 지지를 받지는 못하고 있다.

Alliger et al. (1997) proposed specifying immediate knowledge, knowledge retention and behavior/skill demon- stration measured within training as subtypes of learning criteria, but this idea received relatively limited support.


2.3 행동

2.3 Behavioral criteria


Transfer라고도 한다.

Behavioral criteria are also referred to as transfer criteria, a terminology change proposed by Alliger et al. (1997).


조직에서 Behavioral criteria는 supervisor rating이나 수행능력의 객관적 지표에 의해서 평가한다.

In organizations, behavioral criteria are typically operationalized as supervisor ratings or objective indicators of performance such as job outputs (Alliger et al. 1997; Arthur et al. 2003a; Landy and Conte 2007).


비록 Learning과 Behavior가 개념적으로 관련되어 있을 것으로 기대할 수 있으나, 연구 결과는 이 둘 사이에 중등도 상관관계만을 보여준다. 이는 수련-후 환경이 학습한 내용이나 기술을 적용할 기회를 주지 않아서 일 수 있다. 이러한 잠재적 제약은 평가도구 설계, 자료 수집, 자료 해석에 고려되어야 한다.

Although learning criteria and behavioral criteria conceptually are expected to be related, research has found relatively modest relationship between the two (Alliger et al. 1997; Arthur et al. 2003a). This is typically attributed to the fact that post-training environments may or may not provide opportunities for the learned material or skills to be demonstrated (Arthur et al. 2003a). This potential constraint needs to be considered in design of assessment instruments, and in collection and interpretation of behavioral data.


2.4 결과

2.4 Results criteria


Results는 매우 중요하지만 동시에 평가가 매우 어렵기도 하다. 조직 수준의 세팅에서 productivity gains, increased customer satisfaction, increased employee morale following management training, or increase in profitability of organizations  등으로 나타난다. 다른 level들에 비해서 평가 빈도가 현저히 낮다. Alliger는 조직 차원의 제약이 results 단계의 자료 수집을 어렵게 하며, 따라서 sponsor들은 비현실적 기대를 해서는 안된다고 했다.

Results criteria are both highly desirable and most difficult to evaluate. In organizational settings, they are operationalized by productivity gains, increased customer satisfaction, increased employee morale following management training, or increase in profitability of organizations (Arthur et al. 2003a; Landy and Conte 2007). Results are often difficult to estimate and results criteria are used considerably less frequently than assessments of any other level of Kirkpatrick’s model. Alliger et al. (1997) caution that organizational constraints substantially limit opportunities for collecting results data and remind that sponsors of training may have unrealistic expectations with regard to results level outcomes.


고등교육에서 results criteria에는 이해관계자가 다양하게 개입되어 있다.

Results criteria in Higher Education and multiple stakeholders of education


교육으로부터 이득을 보는 적어도 두 개의 집단이 있다. a) 학생, b) 사회.

Thus, it appears that there are at least two parties that are to profit from education: a) the student, who should develop skills useful for the workplace and life in general, and b) the society, which is interested in college graduates who are competent and responsible contributors to local and global communities.


따라서 results criteria에는 광범위한 성과가 포함되어야 한다. 또한 이 대부분은 개인과 사회 모두에 이익이 되어야 한다.

Thus, results criteria in education may include a wide range of outcomes, such as 

  • alumni employment and workplace success, 
  • graduate school admission, 
  • service to underprivileged groups or work to promote peace and justice, 
  • literary or artistic work, 
  • personal and family stability, and 
  • responsible citizenship. 

Moreover, most of these outcomes benefit both individual and the society




Alliger, G. M., Tannenbaum, S. I., Bennett, W., Jr., Traver, H., & Shotland, A. (1997). A meta-analysis of relations among training criteria. Personnel Psychology, 50, 341–358.


Katz, D., & Kahn, R. L. (1966). The social psychology of organizations. New York: Wiley.













Adaptation of Kirkpatrick’s four level model of training criteria to assessment of learning outcomes and program evaluation in Higher Education


Ludmila Praslova


Received: 7 July 2009 / Accepted: 11 May 2010 /

Published online: 25 May 2010

Springer Science+Business Media, LLC 2010


Abstract Assessment of educational effectiveness provides vitally important feedback to Institutions of Higher Education. It also provides important information to external stakeholders, such as prospective students, parents, governmental and local regulatory entities, professional and regional accrediting organizations, and representatives of the workforce. However, selecting appropriate indicators of educational effectiveness of programs and institutions is a difficult task, especially when criteria of effectiveness are not well defined. This article proposes a comprehensive and systematic approach to aligning criteria for educational effectiveness with specific indicators of achievement of these criteria by adapting a popular organizational training evaluation framework, the Kirkpatrick’s four level model of training criteria (Kirkpatrick 1959; 1976; 1996), to assessment in Higher Education. The four level model consists of reaction, learning, behavior and results criteria. Adaptation of this model to Higher Education helps to clarify the criteria and create plans for assessment of educational outcomes in which specific instruments and indicators are linked to corresponding criteria. This provides a rich context for understanding the role of various indicators in the overall mosaic of assessment. It also provides Institutions of Higher Education rich and multilevel feedback regarding the effectiveness of their effort to serve their multiple stakeholders. The importance of such feedback is contextualized both in the reality of stakeholder pressures and in theoretical understanding of colleges and universities as open systems according to the systems theory (Katz and Kahn 1966). Although the focus of this article is on Higher Education, core principles and ideas will be applicable to different types and levels of educational programs.


Keywords Assessment . Evaluation . Program evaluation . Higher Education . Education . Criteria

커크패트릭 평가의 네 단계를 열어줄 일곱 개의 열쇠(Performance Improvement, 2006)

Seven Keys to Unlock the Four Levels of Evaluation

by Donald L. Kirkpatrick






First Key: Analyze Your Resources

To do this, you must answer the following questions:

Does your job consist of only one function—evaluating training programs—or does it include other and perhaps more important duties and responsibilities of planning the curriculum and teaching?

• How large a staff do you have for evaluation?

• How much of your budget can you spend on evaluating programs?

• How much help and cooperation can you get from other departments such as Human Resources or sales if you are evaluating sales training programs?

• How much support and help can you get from line managers if you are training their subordinates in programs such as Leadership Development for Supervisors?




Second Key: Involve Your Managers

If you are going to be effective in evaluating programs, you need to have your managers’ encouragement and support


1. Ask for their input in deciding on subject content. George Odiorne, in one of his books, made the following statement: “If you want people to support your decisions, give them a feeling of ownership.”


2. Get your managers to establish an encouraging climate regarding the program.


3. Ask for their helping evaluating the program. Levels 3 (Behavior) and 4 (Results) require this help. You can evaluate Levels 1 (Reaction) and 2 (Learning) without involving managers because you have control over these two levels. But Levels 3 and 4 are typically influenced by factors beyond those within your control




Third Key: Start at Level 1 (Reaction) and Continue Through Levels 2, 3, and 4 as Resources Permit


Some trainers or HPT professionals refer to Level 1 as “happiness ratings” or “smile sheets,” and I agree! That’s exactly what they are. They measure the reaction of the participants to the program. But those trainers also claim that these evaluations are not of much value. I disagree.


In business, industry, and government, there is a slight difference. First, they may not pay for the program, and the existence of the program doesn’t depend on their attendance. But you can be sure that they will be telling somebody—perhaps even their boss—whether they thought the program was worthwhile.


And when the reactions are positive, the chances of learning are improved.



Fourth Key: Evaluate Reaction

Here are the guidelines for evaluating Reaction:

1. Decide what you want to find out—make a list of items to which you want the reaction of the participants (i.e., subject content, leader’s effectiveness, schedule, audiovisual aids, handouts, case studies, facilities, meals, etc.).

2. Design a form that will quantify reaction. The most common form consists of a five point scale: either Excellent, Very Good, Good, Fair, and Poor; or Strongly Agree, Agree, Neutral, Disagree, and Strongly Disagree. The objective is to get as much information as possible in the shortest period of time. Participants are not eager to spend time writing the answers to questions.

3. Provide the opportunity for written comments. End your reaction sheet with the question, “What would have improved the program?”

4. Get 100% immediate response. When the participants leave the program, have them put their completed reaction sheet on the back table. Do not tell them to fill out the form and send it back, or do not ask them to email their reactions. If you do either of these, you will not get enough responses to represent the entire group.

5. Be sure you get “honest” answers. Tell participants you want their honest answers and do not ask them to sign the form.

6. Establish an acceptable standard for their combined reaction and tabulate the forms to see if you achieved or exceeded that standard.



Fifth Key: Evaluate Learning

Here are the guidelines for evaluating Learning:

1. Measure before and after knowledge, skills, and attitudes.

2. Use a form the participants can complete for evaluating knowledge and attitude change.

3. Use a performance test for evaluating skills.

4. Get 100% response.

5. For knowledge and attitudes, design a test that measures what you want them to know and the attitudes you want them to have at the end of the program. 

6. A question that usually arises about the pretest and posttest is whether the same form can be used or if “Form A” and “Form B” should be developed. There are too many problems when you try to develop a “Form A” and “Form B” that will cover the same knowledge and attitudes. So use the same form.



Sixth Key: Evaluate Behavior

Here are the guidelines for evaluating Behavior:

1. Measure on a before-and-after basis if practical. If this is not practical, the alternative is to measure after the program and ask, “What changes in behavior have occurred since you attended the program?”

2. Allow time for behavior change to take place. 3 months or 6 months after the program, or maybe never. The best compromise seems to be 3 months after the program.

3. Use a patterned interview or written survey asking the same questions of all respondents. One important question to include is, “Do you plan to change your behavior in the future?”

4. Decide who will be polled. For example, the following options are possible:

• The participants

• The bosses of the participant

• The subordinates of participants

5. Based on the fact that some participants have not changed their behavior but did answer positively the question, “Do you plan to change your behavior in the future?” repeat the research after 3 more months.



Seventh Key: Evaluate Results

Here are the guidelines for evaluating Results:

1. Measure on a before-and-after basis.

2. Allow time for results to develop—perhaps 6 months or a year.

3. Repeat at appropriate times.

4. Use a control group if practical. A “control” group is individuals who did not attend the program. An “experimental” group is the participants. U








Seven keys to unlock the four levels of evaluation

  1. Donald L. Kirkpatrick

Article first published online: 10 AUG 2006

DOI: 10.1002/pfi.2006.4930450702

Copyright © 2006 International Society for Performance Improvement

가짜 교수의 의심스러운 수업: 의과대학생들의 생각없는 강의평가 (Med Educ, 2015)

A curious case of the phantom professor: mindless teaching evaluations by medical students

Sebastian Uijtdehaage & Christopher O’Neal






강의평가의 타당성에 대한 의문과 비뚤림에 대한 우려가 심해지고 있다. 또한 진실되지 못하다거나 학생들이 생각없이 평가를 해서 그 타당성을 해한다는 연구도 잇다.

Unfortunately, there is a burgeoning body of research from undergraduate and professional courses at North American campuses that casts serious doubt on the validity of SETs,1 suggests they are rife with biases2,3 and even untruths,4,5 and indicates that students may complete evaluations in a mindless manner that further harms the validity of the process.6



우리는 8주 과목에 가상의 교수자를 집어넣었다. 이 교수자에게는 다른 교수들과는 확실히 구분되는, 성-중립적 이름을 넣고, 일반적 강의제목(폐질환 개론)을 넣었다. 학생들은 과목 종료 후 2주 이내에 이 가상의 교수자를 포함한 모든 교수에 대해서 강의평가를 하게 되었다.

We inserted one fictitious lecturer into the evaluation forms for two 8-week, pre-clinical, classroomstyle courses (for the Year 2 class of 2010 and the Year 1 class of 2011). We gave these ‘lecturers’ gender-ambiguous names (e.g. ‘Pat Turner’, ‘Chris Miller’) that were distinct from existing names, and added generic lecture titles (e.g. ‘Introduction, Lung Disease’) (Table 1). Students were required to submit their anonymous ratings of all lecturers, including the fictitious ones, within 2 weeks after the course using our online evaluation system CoursEval (ConnectEDU, Inc., Boston, MA, USA).


학생들은 '적용불가능함' 이라는 옵션을 선택할 수도 있었다.

Students could choose not to evaluate a lecturer by marking the option ‘Not Applicable’.


그 다음 해에, 우리는 같은 절차를 매력적인 젊은 모델의 사진을 넣어서 다시 시행했다. 실제로 교육에 참여한 교수는 23명에서 52명 사이였다.

The following year, we repeated this process (in the classes of 2011 and 2012), but also included a small portrait (150 9 150 pixels) of an attractive young model who, perhaps regretfully, did not resemble any of our faculty members. The number of actual lecturers in each course ranged from 23 to 52, most of whom were depicted in portraits of similar dimensions in our evaluation system.



심지어 많은 학생들은 가상의 교수자의 교육 수행능력에 대한 코멘트를 남기기도 했다. 3명의 학생은 이 강의를 기억하지는 못하지만 이런 강의가 있었으면 한다라고 기술하였지만, 또 다른 3명의 학생은 '정말 훌륭한 강의였습니다' 와 같이 지어내서 기술하기도 했다.

A handful of students even went so far as to provide comments on the performance of the fictitious lecturers. Although three students explicitly stated that they did not recall the lectures but wished they had (‘I don’t think we had this lecture but it would have been useful!’), three other students confabulated: ‘She provided a great context’; ‘Lectures moved too fast for me’, and ‘More time for her lectures’.






이런 생각없는 평가는 근래의 문제만은 아니다. 1977년의 Reynolds의 연구와도 상통한다. 학생들은 취소되어서 실제로는 진행되지도 않은 영화수업에 대해서 실제 진행된 역사수업보다 높은 점수를 주었다. 

Mindless evaluation is not a modern problem. Our findings echo those described by Reynolds in a landmark 1977 paper.7 Like us, he serendipitously found that a vast majority of undergraduate psychology students rated a movie on sexuality higher than a lecture on the history of psychology, although in fact neither event had taken place (due to cancellations). Where our scenario becomes more problematic than that described by Reynolds7 is in the unique structure of a medical curriculum, in which a multitude of instructors teach in the same course and are evaluated in bulk by students.



Dunegan과 Hrivnak은 강의평가의 세 가지 위험요소를 꼽았다.

Dunegan and Hrivnak6 describe three risk factors that may encourage mindless evaluation practices: 

(i) the cognitively taxing nature of SETs; 

(ii) the lack of perceived impact of SETs on the curriculum, and 

(iii) the degree to which the evaluation task is experienced as just another routine ‘chore’. 

Clearly, all of these risk factors may present themselves in a medical school environment.


  • 첫 번째: With regard to the first risk factor, evaluating teachers is a cognitively demanding task when it is done conscientiously weeks after the fact.
  • 두 번째: Chen and Hoshower9 use expectancy theory to show that students are less motivated to partake in an activity such as evaluation if they fail to see the likelihood that the activity will lead to a desired outcome (e.g. teacher change).
  • 세 번째: Lastly, medical students can certainly be forgiven for finding evaluations to be painfully routine and burdensome. As SETs are part of the mainstay of teaching assessment, medical students fill out evaluations numerous times per year during all 4 years of their training




Dunegan과 Hrivnak의 프레임워크를 기반으로, 강의평가의 대안을 마련하였다. 예컨대 코스를 시작할 때 일부 학생들이 '전향적(후향적이 아닌) 평가자'가 되는 것이다. 이들에게 전문성훈련을 시키는 과정 중에서 평가도구의 효과적 활용에 대하여 먼저 교육을 받는다. 또한 팀으로서 이 학생들은 건설적 피드백을 제공하는 방법을 연습한다. 이 학생들은 공동으로 종합적 보고서를 작성하여 과목 책임교수와 각 교수들에게 전달한다. 평가도구는 predictive evaluation에 초점을 두며 opinion-based evaluation이 안다. predictive evaluation이 같은 결과를 내면서도 더 적은 응답만을 요구함이 연구된 바 있다. 교수자들은 이 보고서에 대해 응답할 것을 요구받을 수도 있으며, 어떻게 이러한 피드백이 활용되거나 활용되지 않을 것인가를 설명해야 한다. 학생 평가팀을 통해서 많은 것을 얻을 수 있을 뿐더러 이러한 방법은 학생들이 '생각을 하며' 평가를 하도록 하며, 더 중요하게는 교육개선과 승진결정에 더 강건한 기반을 제공한다.

Using the framework described by Dunegan and Hrivnak,6 we can conceive of an alternative approach to the SET that may mitigate the risk factors described here. For example, at the beginning of a course, a sample of students in a class could be charged to be prospective (not retrospective) course and faculty evaluators. As part of their professionalism training, these students could first be educated in the effective use of evaluation tools that can be employed in situ (e.g. with hand-held devices) and that do not rely on the activation of episodic memory. As a team, these students could practise providing constructive feedback when, upon completion of the course, they collaborate on a comprehensive report to the course chair and teachers involved in the course. Evaluation tools could be focused on predictive evaluations (e.g. by asking students to predict their peers’ opinions of a teacher) rather than on opinion-based evaluations; predictive evaluations have been shown to require fewer responses to achieve the same result.10 Faculty members could be required to respond to these reports and explain how the feedback is to be used or not used so that students understand the impact of their efforts. In addition to the educational benefit to be derived from practising teamwork and providing constructive feedback, such an approach may engage students in a mindful way and, importantly, may yield information that provides a more robust foundation for programme improvement and promotion decisions.



'학생들이 참석하지도 않은 수업에 평가할 정도로 능숙해지면서 학기가 끝날 때 까지 기다릴 필요도 없게 되었다'

The present study should raise a red flag to medical schools in which students are asked to evaluate numerous lecturers after a time delay. It defies common sense (and a huge body of literature) to expect that such an evaluation approach procures a solid foundation on which decisions regarding faculty promotions and course improvement can be based. If we continue along this path, we may just as well follow Reynolds’s tongue-in-cheek suggestion that ‘as students become sufficiently skilled in evaluating [. . .] lectures without being there, [. . .] there would be no need [for them] to wait until the end of the semester to fill out evaluations’.7









 2015 Sep;49(9):928-32. doi: 10.1111/medu.12647.

curious case of the phantom professormindless teaching evaluations by medical students.

Author information

  • 1Center for Educational Development and Research, David Geffen School of Medicine, University of California Los Angeles, Los Angeles, California, USA.

Abstract

CONTEXT:

Student evaluations of teaching (SETs) inform faculty promotion decisions and course improvement, a process that is predicated on the assumption that students complete the evaluations with diligence. Anecdotal evidence suggests that this may not be so.

OBJECTIVES:

We sought to determine the degree to which medical students complete SETs deliberately in a classroom-style, multi-instructor course.

METHODS:

We inserted one fictitious lecturer into each of two pre-clinical courses. Students were required to submit their anonymous ratings of all lecturers, including the fictitious one, within 2 weeks after the course using a 5-point Likert scale, but could choose not to evaluate a lecturer. The following year, we repeated this but included a portrait of the fictitious lecturer. The number of actual lecturers in each course ranged from 23 to 52.

RESULTS:

Response rates were 99% and 94%, respectively, in the 2 years of the study. Without a portrait, 66% (183 of 277) of students evaluated the fictitious lecturer, but fewer students (49%, 140 of 285) did so with a portrait (chi-squared test, p < 0.0001).

CONCLUSIONS:

These findings suggest that many medical students complete SETs mindlessly, even when a photograph is included, without careful consideration of whom they are evaluating and much less of how that faculty member performed. This hampers programme quality improvement and may harm the academic advancement of faculty members. We present a framework that suggests a fundamentally different approach to SET that involves students prospectively and proactively.

© 2015 John Wiley & Sons Ltd.

PMID:
 
26296409
 
[PubMed - in process]


선택과목: AMEE Guide No. 46

Student Selected Components (SSCs): AMEE Guide No 46

SIMON C. RILEY

College of Medicine and Veterinary Medicine, University of Edinburgh, Edinburgh, UK






Aims of this guide

용어

This Guide aims to provide practical advice and guidance to those faculty involved in developing and planning medical curricula, in programmes that are both new, or undergoing significant review, with the inclusion of an increased element of student choice. The Guide is of equal practical use to those already running or improving an existing SSC programme. The previous AMEE Guide “The Core Curriculum with Options or Special Study Modules” (Harden & Davis 1995) reviewed this new subject, whilst mostly concentrated on defining core and the place of Special Study Modules (SSMs). This current guide will expand further on this, examining the role and value added by integrating Student Selected Components (SSCs) to the core medical curriculum, as well as examining any potential pitfalls and problems. The review covers a very broad spectrum of topics in medical education and will emphasise their relevance in the SSC context, including some up-to-date references as entry points to the current literature in each. It will draw upon examples from existing SSC programmes, highlighting good practice and novel ideas. It is intended that this guide will also help to open the debate on the concept of personal choice in the medical curriculum; the opportunities, challenges and educational validity raised by this somewhat experimental component in use throughout UK medical schools, which is being adopted to a similar or lesser degree elsewhere across the world.



Introduction

선택과목(SSC)에 대해서 GMC는 TD에서 모든 영국의 의과대학에 '필수'교육과정이 2/3, 그 외, 즉 '선택'교육과정이 1/3로 구성된 의대 교육과정의 상당한 변화를 요구했다. 초기에는 SSM이라고 불린 이 과정은 후에 SSC로 재명명되었고(TD2), '학생들에게 장기간에 걸쳐서 끊임없이 증가하는 지식과 환경의 변화에 일생동안 직면하게 될 전문직에게 요구될 지적, 태도적 자세'를 준비하기 위한 기간으로 설명하고 있다.

The Student Selected Components (SSCs) can perhaps be regarded as one of the more radical innovations in medical curricula (Lowry 1992; Harden and Davis 1995). The General Medical Council (GMC) in its document ‘Tomorrows Doctors’ (GMC 1993), directed all UK medical schools to profoundly change the design of medical curricula and move into a new framework of ‘core curriculum’ constituting two thirds of the course, in conjunction with the remaining third, or ‘options’ component. These options were originally termed Special Study Modules (SSMs), and later relabeled SSCs in Tomorrow's Doctors 2 (GMC 2003). They were to provide opportunities for both choice, and depth of study to prepare students for the ‘long term intellectual and attitudinal demands of a professional life that will be constantly challenged by growth of knowledge and change of circumstance’ (GMC 1993).


선택과목의 도입의 원동력은 지식의 과도한 주입에서 오는 문제, 보다 학습자 중심의 학생 경험을 강조하는 변화 등이 주되게 작용하고 있다. 1980년대 후반과 1990년대 초반에는 전통적 교유과정의 근본적 문제를 인식하였다. 이 근본적 문제란 지식 습득에 지나친 강조를 하고, 전문직업성은 그만큼 강조하지 않는다는 것이다. GMC Recommendation에서는 다음과 같이 말한다.

우리는 여기서 다시 한 번 1957년과 1967년에 학생에게 가해지는 과도한 지식이 최대한 감소되어야함을 강조한다. 사실적 지식을 암기하고 재생산해내는 것이 중요한 학습의 원칙과 독립적 사고력의 개발을 가로막아서는 안된다. 학생은 독립적으로 일할 수 있는 능력을 배양해야 한다. 이를 위해서 학생은 개인적 학습을 위한 충분한 자유 시간을 가져야 하며, 교육과정 전체에 걸쳐서 자기 (주도) 학습을 해야 한다.

The main driving forces behind these changes were the fulminating problems of factual overload, and a proposed shift to a more learner-centred and stimulating student experience. In the late 1980s and early 1990s, there was a strong perception of fundamental problems with previous traditional curricula, which were narrow and constrained with far too much emphasis placed upon knowledge acquisition and insufficient on professionalism (Lowry 1992). Indeed, in the introduction to Tomorrow's Doctors (GMC 1993), it quoted the GMC Recommendations on Basic Medical Education report of 1980 with: ‘We therefore reiterate the views expressed in the recommendations of 1957 and 1967 that the student's factual load should be reduced as far as possible, to ensure that “the memorizing and reproduction of factual data should not be allowed to interfere with the primary need for fostering the critical study principles and the development of independent thought”. The student should also acquire and cultivate the ability to work independently. He must therefore have a certain amount of free time for private study and self education throughout the curriculum’. Underpinned by significant advances in educational theory, medical education was ripe for major change.



GMC의 급진적인 주장에도 불구하고 어떻게 해야하는지에 대해서는 설명된 바가 별로 없었다. 다만 교육과정의 1/3에 달하는 상당부분을 차지해야 한다는 것 분이었다. 그러나 어떤 요소를 포함시킬지에 대한 전례가 전혀 없는 것은 아니다. 1980년대까지 일부 영국 의과대학에서는 임상 'elective'를 하고 있었고, 종종 해외로까지 나가기도 했다. 이어진 TD2에는 보다 자세한 내용이 되어 있는데, 여기서는 '전통적인 5년 교육과정에서는 25%~33% 정도가 SSC로 가능하며, 최소한 각 학생이 수강하는 SSC의 2/3는 의학과 관련된 과목이어야 한다'라고 나와 있다.

Despite this radical proposal in Tomorrow's Doctors (GMC 1993) to introduce choice and depth of study with SSMs, there was very limited guidance about what or how these changes should be implemented, except that they should make up the very significant proportion (approximately one third) of the total curriculum time. However, this choice element was not completely without precedent. Previous to and through the 1980s there had been some choice in UK medical curricula, with the clinical ‘elective’ attachments, often taken abroad, becoming well established. Subsequently, Tomorrow's Doctors 2 (GMC 2003) was somewhat more prescriptive about what knowledge, skills and attitudes should be delivered in the curriculum. This guidance also decreased the time commitment expecting ‘…that in a standard five-year curriculum between 25% and 33% would normally be available for SSCs’, with ‘…at least two thirds of each student's SSCs must be in subjects related to medicine’.


또한 SSC에 대해서 'SSC는 핵심 교육과정을 보충해주면서, 학생들에게 다음의 것을 제공해야 한다'라고 한다.

It was also more prescriptive about SSCs, indicating ‘SSCs support the core curriculum and must allow students to do the following:


  • 연구 능력 Learn about and begin to develop and use research skills.
  • 자신의 학습에 대한 통제, 자기주도학습 능력 Have greater control over their own learning and develop their self-directed learning skills.
  • 필수과정을 벗어나는 내용에 대한 심도있는 내용 Study, in depth, topics of particular interest outside the core curriculum.
  • 자신의 능력과 기술에 대한 자신감 향상 Develop greater confidence in their own skills and abilities.
  • 자신이 한 작업을 말/시각/글로 발표 Present the results of their work verbally, visually or in writing.
  • 진로 계획 Consider potential career paths.’

평가와 관련해서 TD2에서는 '필수 와 선택 교육의 내용은 모두 최종 결과에 반영되어야 한다. 두 가지 모두에서 합격(satisfied)판정을 받지 못한 학생은 졸업할 수 없다.'라고 말한다.

With respect to assessment, Tomorrow's Doctors 2 also stated that ‘student performance in both the core and SSC parts of the curriculum must be assessed and must contribute to their overall result. Students who have not satisfied the examiners in both parts of the curriculum must not be allowed to graduate’.


모든 영국 의과대학은 SSC를 개발하여 포함시키고 있다. 그러나 여전히 어떻게 해야하는지는 불분명해서 학교마다 편차가 크다. 심지어 동일한 인증평가 보고서에서도 어떤 SSC가 바람직한가에 대해서 견해 차이가 관찰된다.

All UK medical schools have now developed and embedded SSCs into their curricula in a wide variety of different ways, sometimes exhibiting great innovation, and creating diversity between schools (Christopher et al. 2002). These were stated aims in Tomorrow's Doctors (GMC 1993) to reflect the autonomy and the particular strengths of their school and help to define their own programme. Nevertheless, the lack of guidance in Tomorrow's Doctors (GMC 1993), and what represented independent evolution of SSCs in different schools, has resulted in some SSC programmes upon accreditation being deemed unsatisfactory to varying degrees in their learning objectives, content, student choice, timetabling and assessment (Christopher et al. 2002; Murdoch-Eaton et al. 2004; GMC 2009). The lack of guidance is also reflected in those same GMC accreditation reports, which have a somewhat inconsistent view on what is acceptable as an SSC (Ellershaw et al. 2007).


학부 교육과정 시간표상에서 SSC는 지속적으로 필수 교육과정으로부터 축소 압박을 받고 있고, 이는 4년제 교육과정에서 특히 두드러진다. TD3에서 25~33%의 시간을 할애해야 한다는 요건은 사라졌으며, 어떻게 SSC가 교육과정에 통합되어야 하는가가 재평가받고 있다.

In undergraduate curricula timetables, SSCs are continually under pressure from the requirements of the core curriculum, especially in shorter medical courses such as four year graduate entry programmes. In the GMC document Strategic Options for Undergraduate Medical Education (GMC 2006) ‘Most respondents did not support increasing SSCs in the curricula’. In the subsequent consultation document of Tomorrow's Doctors 3 (GMC 2008) the previous requirement of 25–33% of the curriculum time dedicated to SSCs is absent, and how SSCs integrate into the curriculum is still being reappraised.


이러한 초창기의 문제에도 불구하고 SSC과정과 전체 교육프로그램을 개발에 대한 가이드가 만들어지고 있다. 

Despite these initial problems, help to develop SSC courses and whole programmes has begun to emerge, particularly from consortia groups of schools who have offered definitions of purpose and assessable key tasks (Murdoch-Eaton et al. 2004; Stark et al. 2005; Ellershaw et al. 2007; Scottish Doctor 2007; Riley et al. 2008a). Nevertheless, the long term outcomes and educational benefits of this GMC initiative to implement SSCs, although based on sound educational principles, has not been examined in any depth. The evidence of their contribution to improving medical education remains to be determined.



SSCs in an international context


세계적으로 국가에 따라서 학생들이 교육과정 모델에 의해서 제약을 받기도 한다. 일부에서는 UK와 같은 scheme을 도입하려는 정도의 열정을 보이지는 않기도 하지만, 전 세계적으로 교육과정 설계를 위한 국제적 협력을 하여 선택 요소를 늘리려는 방향으로 가고 있는 것은 확실하다. 미국에서도 의과대학 교육에 관하여 변화를 요구하며 프로페셔널리즘을 강조해야 한다는 우려가 있었다. 그러나 여전히 교육과정을 변화시키는 가장 좋은 방법에 대한 논란이 있으며, 일부는 '근본적 재구조화'를 그 대안으로 제시한다.

By and large the underlying reasoning behind the implementation of SSCs by the GMC in the UK is the same as that in the medical education community world-wide. Namely, that there is information overload, lack of choice and intellectual challenge, and a need for learner-centred curricula; all reflecting the need to prepare medical graduates to be adaptable to profound change which is present in the modern medical profession. Elsewhere in the world student choice can be more constrained depending upon their curricula models. Nevertheless, there is a worldwide trend towards courses with a significant choice component (Karle 2004) and in international collaborations on curriculum design (Harden & Hart 2002), although there does not seem to be the same enthusiasm to implement schemes with anything like the timetable commitment as in the UK. In the USA, similar concerns have been expressed about the delivery of medical teaching, extending back nearly a century (Christakis 1995), with demands for a change of culture (Brater et al. 2007) and an increase in professionalism (Humphrey et al. 2007). There remains a major debate on the best way forward to change the curriculum, with some suggesting “fundamental restructuring” (Cooke et al. 2006). The appropriateness and validity of an SSC type format should be carefully considered in these consultations.


WFME는 의학교육의 스탠다드를 제시하며 '선택 영역'을 교육과정 설계시 중요한 요소로 다룬 바 있다. 

The World Federation for Medical Education (WFME) has produced its document: ‘Global Standards for Quality Improvement’ (WFME 2003), which identifies ‘optional content’ as an important component of curriculum design. In conjunction with the Association of Medical Education in Europe (AMEE), WFME have commented on medical education and the Bologna Process, which aims for convergence of accepted set of standards throughout tertiary education across Europe (WFME 2005). This document also acknowledges the importance of establishing not only pan-European, but also global standards. In this regard, a major project undertaken by the Institute for International Medical Education identified seven domains to make up the ‘Global Minimum Essential Requirements’ for a physician (Schwarz & Wojtczak 2002). As will be discussed in this guide, at least four of these seven domains can in part be achieved through SSCs: 

  • ‘Critical Thinking and Research’, 
  • ‘Professional Values, Attitudes, Behaviour and Ethics’, 
  • ‘Communication Skills’, and 
  • ‘Management of Information’. 


SSCs can potentially contribute to the other domains, namely, 

  • ‘Scientific Foundation of Medicine’, and perhaps even include 
  • ‘Population Health and Health Systems’ and 
  • ‘Clinical Skills’, depending upon the design and content of the SSC programme.



Defining the ‘purpose’ of an SSC programme



SSC를 필수 교육과정과 통합하기

Integrating SSCs with the core curriculum

선택과정은 필수 교육과정과의 관계에서 다음과 같은 목적을 가지고 있을 수 있다.

Much care and consideration is required to create a learner-centred educational environment for medicine (Ludmerer 2004; Graffam 2007), and incorporation of an SSC programme should assist in this. In a well designed medical curriculum providing a learning environment which recognises learner autonomy, and delivers its teaching through a timetable with both core and significant student choice elements, an SSC programme needs to be well integrated, with clear purpose. In the UK, where SSCs are required to have a 25–33% curriculum time commitment, most schools have implemented purposeful SSC programmes. These permit choice but also perhaps reflect the strengths and distinctive qualities of their own programmes (GMC 2003). The purpose may be closely linked to complement the core curriculum by 

  • providing opportunities to gain a greater depth of clinical skill, insight and knowledge of specialties, which create choice in career exploration. In addition, or alternatively, it may...
  • provide a theme outside core or even an opportunity outside medicine, permitting students to explore broad and rich external interests (GMC 2003, 2008; Riley et al. 2008a).


Scottish Medical Schools SSC Liaison Group은 SSC의 목적에 대해서 Box 1과 같이 기술한 바 있다.

The Scottish Medical Schools SSC Liaison Group has developed a consensus statement on the purpose of SSC programmes in Scottish Medical Schools, as stated in Box 1. The group is made up of the Directors of SSCs from all of the Scottish Medical Schools. They all represent undergraduate medical programmes and consist of a preclinical school, a school with an integrated problem-based learning curriculum, and with three other schools which use a hybrid range of curriculum teaching and learning methodology. Despite these differences, there is good consensus in their courses reflecting the purpose specified in the GMC guidelines in Tomorrow's Doctors 2 (GMC 1993) and by Murdoch-Eaton et al. (2004).





Deriving purpose from learning outcomes



SSC에서 다루는 필수 역량

Core learning is delivered by SSCs

SSC의 목적은 구체적인 학습성과를 도달하는 것이다. 이들 학습성과는 순차적이고, 점진적이며, 핵심내용의 성과와 통합되어야 하며, 교수와 학생 모두에게 명확해야 한다. 명확성과 연속성은 교육과정 mapping을 통해서 이뤄질 수 있다. 통합된, 상보적인, 일관된 프로그램을 만들기 위해서는 교육과정 성과와 평가의 alignment가 중요하다. 

The purpose of an SSC programme is to achieve specific learning outcomes. These learning outcomes should be sequential, progressive and integrated with the outcomes derived from core teaching, with clarity to both students and staff (Hirsh et al. 2007). This clarity and continuity can be demonstrated by curriculum mapping the learning outcomes of both core and SSC programmes (Harden 2001; Prideaux 2003; Willett 2008), although mapping some of the more generic skills represents a different type of challenge (Robley et al. 2005). Alignment of curriculum outcomes with assessment is a critical step to create an integrated, complementary and coherent programme, which should result in an educationally stimulating and successful course (Harden 2001; Willett 2008).


질문을 확장시키면 다음과 같다. "SSC에서 필수 학습성과를 다루어야 하는가?" TD3에 따르자면 아마 이 답은 '그렇다'라고 해야 할 것이다. SSC에서 다루는 것 중 '필수'라고 할 수 없는 유일한 부분은 의학을 벗어나는 범위의 지식일텐데, 이 조차도 이들 내용에서 학습한 일반적인 기술들이 많은 경우 '전이가능'하기 때문에 core라고 할 수 있다.

The question now arises as curricula develop and expand: “should SSCs deliver core learning outcomes?” The answer appears to be a resounding ‘yes’, when judged in the consultation document for Tomorrow's Doctors 3 (GMC 2008). Delivery of core learning outcomes by SSCs has become much better defined since 1993, and this can be best represented in Figure 1, which shows that now in 2009, most of the learning outcomes attained during SSCs are defined as core. The only learning outside core may be knowledge outside medicine, although generic skills developed in this type of learning environment are usually transferable, and hence defined as core.






모든 학생이 모든 핵심성과에 도달해야 한다. 

All students should achieve all core outcomes

SSC에서 필수 지식/술기/태도를 다룬다고 한다면, 어떤 과목을 선택하든 불이익이 없도록 각 SSC에서 동등한 기회가 주어져야 할 것이다. 이를 위해서는 아마도 광범위한 일반적인 인성적 전문직업적 기술이 SSC에서 다뤄져야 할 것이며, 필수 내용과 어느 정도 상보적 관계에 있어야 할 것이다. 이 관계가 Fig2에 나와 있다. 일부 학생들만 특정 SSC에 대한 기회가 주어진다면 그것은 문제일 것이므로 필수 성과와 선택 사이에 균형을 잘 맞춰야 한다. 그러나 모든 필수 임상술기를 SSC에 의해서 다룰 수는 없는데, 왜냐하면 이것은 '진정한'선택권을 주는 것이 아니며, 균질하지 못한 SSC의 특성상 내용 전달의 일관성이나 모든 학생이 그 목표에 도달했다는 것이 불가능할 수 있다.

If core knowledge, skills and attitudes are delivered in SSCs, then there needs to be equal opportunity in each SSC, so students are not disadvantaged depending upon which SSC they take. It is now perhaps appropriate that a wide range of generic personal and professional skills are delivered in SSCs, and this will to a greater or lesser degree complement the core teaching. This accumulation of overall generic learning outcomes is illustrated in Figure 2. It is also appropriate that SSCs permit the further development of extra clinically-based skills and knowledge that represent greater depth of learning beyond the basic core requirements, reflecting student choice and interests. A problem in the delivery of the curriculum exists if only some students get the opportunity to achieve this outcome whilst others miss out (Bidwai 2001). This requires achieving a balance between core learning outcomes and providing student choice. It is unlikely that all core clinical skills could be delivered by SSCs, firstly, because this cannot then be defined as providing true choice, and secondly, because consistency of delivery and attainment by all students cannot be assured due to the heterogeneity of SSCs (GMC 2003; Murdoch-Eaton et al. 2004).





개별 학생이 자신의 진전과 성취, 학습목표에 대해서 스스로 mapping하는 것이 필요할 것이며, 이 자체가 중요한 학습 성과이기도 하다. 완전히 통합된 교육과정이라면 단 하나의 SSC를 놓치는 것조차 부적절한데, 왜냐면 이로 인해 필수 역량을 배양하지 못했을 것이기 때문이다.

It may be appropriate for individual students to take responsibility for mapping the attainment of their own progress, achievements and learning outcomes throughout the programme (Riley et al. 2009), forming an important learning outcome in itself. SSCs are sometimes seen as an opportunity for a student catch up, for instance if they missed part of the course for health reasons, or to take remedial teaching after failing a clinical attachment. In a fully integrated programme, missing an SSC should be regarded as inappropriate because the student may not attain core skills and competencies.



SSC학습성과 통합하기 

Integrating SSC learning outcomes

새로운 교육과정 혹은 교육과정 변화를 겪는 것은 완전히 통합된 SSC를 만들 수 있는 좋은 기회이다. 그러나 SSC를 도입하려는 시도는 상당한 저항에 부딪칠 수 있는데, 그럼에도 불구하고 보건의료가 급격한 주변 환경의 변화를 겪는 것을 고려한다면, 교육과정 내에서 SSC는 그러한 변화에 빠르게 대응할 수 있을 뿐 아니라, 향후 필수 내용으로 다뤄질 것을 선도적으로 다루는 역할도 가능하다. 

A new programme, or an existing programme undergoing profound curriculum change represents an obvious opportunity to construct from first principles a course with fully integrated SSCs. The conceptual framework of a learner-centred curriculum, particularly with the integration between core and SSCs, needs careful planning, and its implementation is dependent upon the course delivery, the medical environment where the teaching is delivered, its assessment methodology and the course ethos or theme (Harden 2000; Davis & Harden 2003; Ludmerer 2004). Succeeding in curricular change has been well described elsewhere (Bland et al. 2000; Cooke et al. 2006; Davis & Harden 2003), and the implementation of SSCs as a significant proportion of a whole programme, perhaps being regarded as a more radical feature, may encounter some resistance and hostility during these changes. Nevertheless, with health care being such a rapidly changing environment, SSCs may be an area in the curriculum that can readily respond to these changes, and indeed act as a forerunner to what may subsequently become core.


SSC프로그램의 목적과 어떻게 필수내용과 통합될 것인가는 다음의 것들에 달려있다.

The purpose of the SSC programme, and how it integrates with the core will be influenced by:


  • Theme of the Medical School – a medical school may have a particular reputation, ethos, approach, and range of clinical or research expertise. This can provide a theme for the SSC programme, which creates these distinct qualities in the medical graduate.
  • Type of programme – Most UK medical schools have a five year undergraduate medical programme, although with the newly developing graduate-entry programmes, some of these are over four years. Some UK schools also still create opportunity for an integrated year leading to either an honours programme or the attainment of an extra degree, and a preclinical school should liaise with their linked clinical schools to share learning objectives to prepare its students. Many international schools take six years to graduate their medical students, usually because of a first year course that equips the student in the basic sciences needed for medicine. Hence, there are many variations on a theme. Inclusion of an SSC programme into these variations needs careful planning with clarity of purpose for the various components. Intercalated years were often designed to give the student experience, depth and breadth of an interest, the very purpose of an SSC. Graduate entry courses expect students to have successfully established adult learning and transferable professional skills in other environments (Macpherson & Kenny 2008), some of the competencies that SSC are designed for. Providing challenging opportunities, ensuring that all students achieve all the learning outcomes, whilst avoiding any duplication so students do not become disengaged by repetition are essential to ensure full integration.
  • Type of curriculum – It is true to say that there is now greater thought given to the way curricula are structured and delivered. Curricula may be based on learning outcomes (Harden 2007), or competencies (Scottish Doctor 2008), but whatever way they are designed and delivered they must also be matched by appropriate assessment (Schuwirth 2007). What is not clear is the way that SSCs influence curricula delivery or how the teaching methodology adopted by the curriculum influences the SSCs. Many SSCs are designed to develop student-centred learning, which represents a quality measure of a Problem Based Learning type course. Despite schools becoming more integrated, many still believe in a pre-clinical, clinical divide. Should SSCs be pre-clinical and clinical and can we assure that there is effective communication of purpose between the two components?


SSC와 필수 사이의 균형 

Balance between SSCs and core (“core and options”)

필수와 SSC사이의 주된 갈등요인을 Box 2에 정리하였다. 필수적 'generic' 기술 등도 어떤 선택을 하든 학생들에게 같은 내용을 일관되게 가르칠 수만 있다면 SSC로 다룰 수도 있다.

There is a balance to be struck between what are presented as core learning outcomes in the main part of the curriculum and what core learning outcomes are derived from SSCs. Some of the main tensions between core and SSCs are highlighted in Box 2. Core ‘generic’ professional skills, for instance teamwork and critical appraisal, can reliably be delivered in an environment of choice, as long as there is consistency between the choices and each is capable of delivering the same to each student. It is also important to define a list of optional competencies or learning outcomes, beyond the core, which may defined or shaped strategically by the student themselves, and even be aspirational, to reflect their personal interests, motivation and career plans.





프로페셔널리즘을 학습성과로 다루기 

Delivering “professionalism” as a learning outcome

Designing a curriculum and creating a learning environment to deliver professionalism can be regarded as a complex and significant challenge, but a well designed and integrated SSC programme can make an important contribution to this. Accreditation agencies have defined the professional standards required in medical graduates and which patients expect (Royal College of Physicians 2005; Medical Schools Council & GMC 2009). However, there is still concern from patients that medical education has not responded sufficiently (Hasman et al. 2006). The appropriate learning environment to ensure professional development has always been the subject of debate, although over the last decade it has become more clearly defined (Cruess & Cruess 2006; Stern & Papadakis 2006; Hilton & Southgate 2007), so that it can be incorporated, (Gordon 2003) and mapped into the curriculum (Humphrey et al. 2007), whilst recognising the influence of personal factors (West & Shanafelt 2007). Our understanding of professionalism and its supportive literature is guided by both sociology and bioethics and the two have developed somewhat independently. A more inclusive and integrated blended approach is probably the most appropriate (Creuss & Creuss 2008), which will also suit students with a wide range of learning styles and background experiences.


전문직업성과 관련된 기술을 가르쳐야 한다는 것에 대한 요구는 높지만, 어떻게 이들 기술을 장려할 수 있는지 (특히 SSC에서)는 잘 다뤄진 바가 없다. 이는 일부분 '비공식 교육과정'이 '공식 교육과정'으로 침투해 들어온다는 것을 반영하는 것이기도 하다. '비공식 교육과정'은 장점과 단점이 있다.

There is much extolling the need to develop professional skills, but much less evidence in the literature indicating how development of these skills can be encouraged, particularly in SSCs. This in part reflects the relatively recent migration of professionalism from the informal or ‘hidden’ curriculum into the declared curriculum (Hafferty 1998; Jha et al. 2002; Whittle and Murdoch-Eaton 2002; Jha et al. 2007). There are both positive and negative influences within the hidden curriculum. 

  • Positive influences include opportunistic encounters with excellent role models and mentors and teachers. 
  • Negative influences include potential erosion of previously taught ideals, created by inappropriate communication, teaching of poor standard or even teaching by humiliation, and attempts to apply ethical principles in an increasingly demanding and busy target-led working environment (Hafferty 1998; Lempp & Seale 2004). 

감독관/멘토/동료들과 오랜 시간 서로 관계를 유지할 수 있는 기회이다. 적절하게 잘 훈련받은 교수자를 선정하는 것이 중요한 우선순위이다.

SSCs can present opportunities for longer attachments and interactions with a supervisor, mentor and indeed peers when working within a team, to develop as well as assess these professional competencies as a formal part of the curriculum. The selection of appropriately trained faculty to both lead and participate as teachers in these SSCs is of high priority.



Providing choice and depth of study

학생의 선택권에 대해서 상당히 중요한 문제가 있는데, 과연 의학을 벗어난 영역의 선택권도 줘야 할 것인가 또는 학생들이 스스로 교수의 간섭 없이 선택할 수 있게 해야 할 것인가 등의 문제이다. SMSSSCLG의 경험에 따르면, 대부분의 학생들은 다양한 경험을 하고 싶어하지만 일부 학생은 자신들의 선택권을 제한하고 싶어한다. 

The ability to provide a wide choice of subjects and opportunity to study a particular area of interest in depth are key requirements of an effective SSC (GMC 2003). Of these, provision of choice can raise quite significant challenges. For instance, should these choices include topics outside of medicine or should students be able to choose their own topic, without faculty interference? The experiences from the Scottish Medical Schools SSC Liaison Group (personal communication), are that most students wish to sample a range of experiences, although others may want to limit their choices for other reasons. 

  • A highly focused and purposeful student may have a clear commitment to a specialty and a desire to gain as much experience in that field as possible, although their rationale may actually be unfounded and inadvertently biased. 
  • In contrast, a poorly motivated or weak student may not want to leave the familiarity of a clearly defined curriculum, and face challenge. 


Student autonomy, engagement, and development of mature learning are key qualities which modern medical curricula are expected to develop, and these should be expressed as explicit learning outcomes.



선택권 제공 Provision of Choice – 

80~90%의 학생이 경험을 한다는 것도 여전히 10~20%의 학생이 필수 학습성과를 도달하지 못한다는 의미이기도 하며, 다른 필수 교육과정에서 배우지 못할 수도 있다. SSC를 통해서 모든 학생들이 필수 학습성과를 달성하게 하기 위해서는 상당한 고려가 필요하다. 각각의 SSC는 다음과 같은 요건을 갖추어야 한다.

Choice can or should only exist if it supports the attainment of appropriate learning outcomes; appropriate within a wide range of options as defined by an individual school. The essential competencies may not be satisfactorily achieved or uniformly delivered to all students if the learning experiences are too varied, with too much choice and variation in teaching methodology. This has been highlighted by Stark et al. (2005), where, in their consortium of SSC programmes, they have determined that 80-90% of their students gaining real research skills and experience. However, this also means that 10-20% of students have not attained what they describe as a core learning outcome, which they may be unlikely to achieve elsewhere in the curriculum. Designing a series of SSCs within a programme so that all students achieve all the core learning outcomes has to be carefully considered. It can be achieved by each SSC:


    1. having some design and format constraints to ensure key learning outcomes are achieved,
    2. a clear list of learning outcomes to be achieved by each student over a period of time, where each student has to manage their own programme of learning, ensuring that they achieve the required outcomes over the course of the programme;
    3. having a variation of (b) above, whereby students have to attend a specified number of defined SSCs with specified learning outcomes.

However, the management of (b) and (c) may be difficult as students will have increasing incremental or hierarchical levels of skill development as they pass through the course, which will affect the experience, the level of learning, and overall skills and outcomes attained.


선택권 - SSC는 Generalist를 만드는가 Specialist를 만드는가? Choice – do SSCs create generalists of specialists? – 

초기 단계에서 너무 많은 선택권을 주는 것은 부적절할 수 있다. 그 시기에는 TV의 의학드라마 정도가 학생들이 가지고 있는 배경지식이다. 그러나 학년이 올라가면서 경험과 통찰이 쌓이게 된다. SMSSSCLG에 따르면 절반 이상의 학생이 나중에 일차의료를 하게 됨에도 매우 일부 학생들이 1학년에는 general practice를 선택하였다. 

It still remains to be ascertained whether SSCs encourage students to become generalists or specialists, or affect their future career aspirations. Indeed, too much choice at particular stages of the curriculum may cause problems through confusion. In early stages of the course too much choice may be inappropriate because students want to do something perceived as exciting, without having a foundation of true understanding that accompanies choice. Television hospital dramas are a fertile ground on which to base preconceived ideas in first year students! In later years, students should have greater insight and experience. In the experience of the Scottish Medical Schools SSC Liaison Group, (personal communication) very few students select general practice in their first year, although around half of students will enter primary care as their final career. It can of course be argued equally strongly that students need these early formative experiences to gain that insight, but the correct balance needs to be sought.


주어진 목록에서 선택할 것인가, 스스로 과목이나 프로젝트를 제안할 것인가? Selection from a list or self-proposal of projects? – 

학생들에게 선택권을 주는 것이 종종 겪는 문제점은 학생이 1순위로 원한 것을 배정받지 못할 때에 기분이 안 좋아지거나 적극적으로 참여하지 않는 것이다.

The assignment of students to their chosen project often presents a major problem, with students often and obviously wanting their first choice, and perhaps being unhappy and disengaged with the process if they don't. Allocation systems that allow at least 90% of the student cohort to achieve their first choice, perhaps ensuring preference for first choice in the next SSC, and an open understanding of why SSCs are constructed and their value, can overcome some of these issues.


학생이 제안서를 제출하게 하는 것은 교수들에게 부담이 되는 일이다. 하지만 전례가 없지는 않다.

Permitting self-proposal of SSCs by the student may be regarded by faculty as being more challenging (Riley et al. 2008a). However, they are not without precedent, as medical electives are a well established self-proposed opportunity. Students need to be instructed to start out with clear learning outcomes which, with further development and modification and with appropriate academic support, can be realistically achieved.


영국의 Edinburgh대학에서는 중간 2년간 진행되는 모든 SSC가 학생의 제안으로 이뤄진다.

At the University of Edinburgh, UK, all SSCs from the middle of year two onwards are self-proposed by students. The student is required to take the initiative, decide on their field of interest and make contact with and sign up to an appropriate staff tutor, who will facilitate their work (University of Edinburgh, MB ChB overview 2009). Students receive support and guidance to find an appropriate project or attachment. They are given contact details of potential tutors, supplied with clear advice and information about what is expected of them and their tutor, the importance of defining clear learning outcomes and how they may go about achieving them.


학습의 깊이와 학생 참여수준 증대 Depth of study and increased student involvement – 

TD에서 제안하는 목표를 달성하기 위해서는 '깊이'가 어느 정도인지가 잘 정의되어야 하며, 이는 실현가능하고 도달가능해야 한다. 그럼에도 불구하고 학습의 '깊이'를 나타내는 overall learning outcome은 상당히 모호하며, 거기에 담긴 열정을 제외하면 그다지 도움이 되지 않는다. 학생의 선택이 어떤 배경에서 이뤄졌는지도 살펴볼 필요가 있다. 미래의 진로를 탐색하기 위한 것인지, 관심과 열정 때문인지, 약점을 보완하기 위한 것인지 등이다.

Tomorrow's Doctors (GMC 2003) indicated that students should study a topic in depth to create a more stimulating environment which enables students to develop self-directed learning skills. To achieve this outcome, depth needs to be well defined, as well as being realistic and achievable. Nevertheless, an overall learning outcome indicating ‘depth of study’ is vague and unhelpful except to indicate the aspiration held. It should be further elaborated upon for each SSC, and can indeed be developed by the student themselves. It may be sub-divided into both core objectives but also more specific non-core objectives, which may reside within any of the educational domains. The purpose behind the student's selection should also be explored, whether it based upon future career identification, interest and enthusiasm, or to improve on a perceived weakness.



Types of individual SSCs: an opportunity for innovation



There are a range of different formats that can be developed to build up an SSC programme, some highly innovative and with a wide range of themes and topics. Box 3 identifies many of these possible themes, and following are a listing of some different format options:


    • Clinical attachment to study a subject, over longer time and in more depth – this is perhaps a more familiar format in which most clinical departments can quite readily develop an appropriate attachment. These experiences can offer extra clinical skills and more complex clinical scenarios. They present opportunities in mainstream specialties as well as in specialties that are represented to a lesser depth in the core curriculum. It can provide opportunities for a specialty where core teaching and content is being delivered in a systems-based, integrated curriculum, so the range and boundaries of the specialty become blurred. Examples of less well represented specialties depends somewhat on curriculum delivery, or if the specialty that lies largely outside core, but may include clinical genetics, radiology, ENT, plastic surgery, dermatology, ophthalmology, clinical microbiology, biochemistry, pathology, psychiatry and tropical diseases.
    • Elective attachments – 과거에는 종종 해외로까지 나가는 이런 일렉티브의 교육적 가치가 'opportunistic experience'였으나 이러한 방식의 타당성에 문제가 제기되었다. 교육적으로 도움이 되는 일렉티브를 위해서는 학습성과가 명확히 설정되고, 이에 따라 도달가능하고 달성가능하다는 것을 보여주기 위한 적절한 평가가 필요하다.
      In the past, the educational value of elective attachments, often abroad, has very much been based on opportunistic experiences. The validity of this approach has been questioned (Dowell & Merrylees 2009). Learning outcomes for an educationally beneficial elective attachment should be clearly specified and appropriately assessed to ensure they are both achievable and attained. Perhaps by linking to selected international institutions to help ensure quality of teaching and assessment, electives can become an important, well-recognised and accepted activity that resides within the remit of the SSC programme.
    • Research project – Students can be involved in a range of research, audit, or blended research and audit projects. There is good evidence that these form an optimal environment for students to develop a wide range of research skills to enhance graduate attributes and professionalism 광범위한 연구능력과 프로페셔널리즘을 키울 수 있다.(Kanna et al. 2005; Jenkins et al. 2007; Macpherson & Kenny 2008; Struthers et al. 2008). These types of projects must present a stimulating and enjoyable opportunity for both student and the supervisor for them to be sustainable. They should be well resourced and include effective support for study and questionnaire design and applied statistics (MacDougall 2008). 학생을 위한 효과적인 연구와 설문 설계, 통계 등을 위한 지원이 필요하다. The development of library and literature search skills, including the ability to comprehend and indeed perform systematic reviews often feature highly in such SSCs. 문헌검색능력을 키울 수 있다.Support for appropriate ethical review and approval may be required, with careful consideration on how faculty screen large numbers of projects with a significant educational component. Unless a relatively simple and rapid ethical review process is in place, the ability to offer research projects may be significantly constrained (Robinson et al. 2007). 적절한 Ethical Review가 없으면 참여가 제한될 수 있다. These types of project may also offer a significant contribution to the institution's research capacity and productivity including publications, or pilot findings for further study or for future grant applications. 기관 차원의 학술발표나 파일럿연구, 향후 연구비 지원에 크게 기여할 수도 있다. They may also deliver useful audits that influence local care provision. Virtually all projects will provide some clearly defined and valued outcomes for the student. This may include being able to demonstrate attainment of specific skills when applying for their first postgraduate training post or subspecialty training, which is important in the UK with the erosion of opportunities for career exploration in early postgraduate training.


A fundamental requirement to ensure success and sustainability of this type of SSC is to ensure good alignment of outcomes for student and supervisor, where both have ownership and are motivated. The fourth year 14 week self-proposed research project SSC at the University of Edinburgh has proved to be very successful and sustainable in this way. Over the last five years, it has contributed a large number of useful audits, and to more than 200 conference abstracts, peer-reviewed systematic reviews or research articles, where the student involved is included as an author (University of Edinburgh, MB ChB website).


    • Skills-based project – This may take the form of a short term attachment to develop specific clinical or research skills. These can be quite innovative, for instance Queen's University, Belfast, offers an opportunity to learn “signing for the deaf” (Queen's University website 2008). SSCs can also provide an opportunity to fulfill the GMC requirement stated in Tomorrrow's Doctors (GMC 2003) that students should develop teaching skills. This can be peer teaching within the curriculum on a topic of choice (Ross & Cameron 2007; Sobral 2008), or externally, in primary (Brown 2005), or secondary schools (Furmedge 2008), for instance delivering a sex education programme (Jobanputra et al. 1999).


의학의 근간을 이루는 현대과학을 이해하는데 도움이 되는 과학적 심화기술과 원리를 위한 SSC도 가능하다.

A further example may be to use SSCs so students can gain in-depth scientific skills and principles that are functionally useful for understanding the modern science underpinning medicine, rather than a superficial knowledge. These principles, for instance in molecular and cellular biology, systems biology, genetics and public health can be delivered as SSCs from a menu of in-depth topics, where each student has to manage their own learning portfolio, which can then be applied between fields and specialties.


    • Providing wider insight into medicine and the care team – This may be arranged by providing a choice of projects themes or topics within the medical humanities and medical ethics. A third of North American schools have this sort of programme (Charon et al. 1995; Downie et al. 1997; Hodgson & Smart 1998; Charon 2001). Teamwork interactions with other health professionals, interdisciplinary working and awareness of the extended health care team provide other essential key professional skills that can be developed. In the third year SSC at the University of Edinburgh, students self-propose and organise a short attachment to shadow a member of the care team who is not a doctor. This SSC is described in more detail in Box 4 (available at www.medicalteacher.org).
    • Experience outside the field of medicine – the existing GMC guidelines have indicated that quite significant amounts of time may be spent on study outside medicine (GMC 2003). Evidence from the literature is scarce although many schools do provide at least limited opportunities, reflecting the time restrictions in most curricula. Nevertheless, some students may not want, or regard as worthwhile, this broadened perspective. 많은 학교에서 시간적 제약으로 제한된 기회만을 제공하곤 하나, 일부 학생은 다양한 관점을 익히는 것을 원하지 않기도 한다. With careful design and consideration, these types of projects can contribute to developing a range of relevant core professional skills (Murdoch-Eaton & Jolly 2000). These SSCs may be wide ranging, from archeology to zoology. 고고학에서 동물학까지 다양할 수 있다. There are many examples in different schools, through the arts (Lazarus & Rosslyn 2003), sciences (Macpherson and Kenny 2008), journalism (Gibson 2006), language, literature, and creative writing (Thomas 2006). If the opportunity is presented to a student or a group of students to work outside medicine, the options are potentially limitless. Many topics in these fields have been addressed in a second year SSC at the University of Edinburgh, where students self-select both their topic and as a small group sign up their own facilitator, producing a project report as a wiki (Riley et al. 2008b). This type of SSC can provide an appropriate break and a different challenge, and even for the few students who may be concerned that they are on the wrong course heading into the wrong profession, a chance to explore other courses, fields or professions.


SSC의 목표는 너무 거창해서도 안되며 너무 높은 수준의 기술을 요구하는 것도 부적절하다. 유사하게 기존의 학습에 기반하여 이루어져야 한다. SSC는 매우 다양하다. 

This outlines some of the options that can be considered, adapted and developed as SSC courses. There also needs to be a pragmatic recognition by staff at the development stage of what should or could be achieved by students. SSCs should not be overambitious or anticipate too high a skill base, and similarly they should recognise and build on existing prior learning. There is tremendous variety throughout SSCs (Heylings 1998), with opportunities for innovation in topic, delivery, including virtual learning environments and collaborative e-systems (Sandars 2006), and also in the way assessments are designed to ensure learning outcomes are achieved successfully.



Structure and timetable: integration of SSCs with core


SSC를 전체 교육과정에 펼쳐놓을 것인지, 아니면 어떠한 교육적 이유(이상적인 시점에 특정 술기를 터득하게 하거나 진로 선택에 도움을 주기 위해서)로 cluster시킬 수도 있다. 다음을 고려하라.

Timetabling of any SSC programme needs to be considered within the curriculum as a whole, recognising the individual subject outcomes and the overall learning outcomes and where these can be optimally developed to ensure progressive attainment for the student. There is often some fragmentation across a curriculum, with students attending short attachments in a wide range of different specialties. It should be considered whether SSCs are spread evenly throughout the curriculum, or are there educational reasons to cluster SSCs, perhaps to permit certain skills to be developed at an optimal time, or to facilitate informed career choice. The following should be considered when timetabling the curriculum:


  • The skills gained and outcomes achieved should be mapped temporally so that they are both achievable and complement the development of core within the student - e.g. an inappropriate exposure to gynaecological skills prior to any gynaecology teaching is unstructured, unachievable and probably counter-productive.
  • Learning outcomes and skills should be incrementally challenging and build upon existing skills. They should not be repetitive by returning to basic levels, nor should they assume a level that has not yet been attained. This is exemplified by the spiral curriculum model (Harden and Stamper 1999).
  • The SSC assigned time needs to be protected and equally valued by all, and not be interrupted by necessary attendance at ‘core’ teaching activities.
  • SSCs should not over-duplicate other opportunities, for instance professional and personal development, teamwork, integration between experiences, or mentoring.


개별 SSC의 구조는 다음과 같이 매우 다양할 수 있다.

It is essential to bear in mind the structure of individual SSC courses which can be highly varied and include:


  • Large or small groups with students working on individual aspects of a defined activity
  • Students working collaboratively as a team on a defined project
  • Individual students working solo on a project


SSC에서 각 교수가 맡을 역할이 중요하며 명확히 정해져야 한다.

The amount of staff input and their roles in the SSCs is also important and has to be clearly defined. Staff may act as tutors, facilitators, supervisors or mentors. They may communicate with students partially or entirely in the clinical setting, through group meetings or tutorials at different frequencies, or online in a virtual learning environment.


다양한 시간표의 옵션을 고려할 수 있다.

To optimize the learning opportunities different timetable options should also be considered, which others have previously described in detail (Harden & Davis 1995; Hirsh et al. 2007):


  • Embedded with other teaching – e.g. “long and thin” – one day per week over a prolonged period of time
  • Embedded within a specific specialty
  • Using a modular structure, intermittent or sequential
  • In a local environment or at an associated peripheral attachment, or away at another institution, including remote or abroad



Further developments: how should SSCs continue to develop?



Is the curriculum design model of SSCs in medical education experiment working? There remain several unanswered questions on the outcomes resulting from integration of SSCs into medical curricula. Some of these questions and areas for future research on the roles of SSCs, their delivery and effectiveness are highlighted in Box 7.




최근의 TD3에서는 25~33%라는 비율을 생략했다. 이는 비현실적이라는 지적이 있었으며, 20%정도가 유지가능하다고 본다.

Tomorrow's Doctors (GMC 1993) introduced the SSC element to the curriculum, and the updated Tomorrow's Doctors 3 (GMC 2008) currently published as a consultation document, leaves the discussion on their future open. This new version creates an opportunity for schools to concentrate on SSCs delivering a coherent, integrated and focussed learning programme that complements the whole curriculum, capable of delivering agreed core learning outcomes as well as creating optional learning activities for students. This recent consultation document has omitted the previous requirement for 25-33% of the timetable to be dedicated to SSCs. This original time requirement has been regarded as unrealistic (Ellershaw et al. 2007), and around 20% of curriculum time may be a more sustainable commitment for present day SSCs. The response from medical schools as to how they will use the SSCs in the future, and whether there is an inexorable return to a situation whereby core learning outcomes occupy most if not all of SSC time, remains to be seen. Monitoring of these facets of SSCs are important for the future, and specific timetabling and curriculum mapping of learning outcomes and where they are to be achieved, essential.


SSC는 의과대학 교육과정에서 새롭고, 가끔은 급진적인 아이디어 (임상술기나 프로페셔널리즘 평가)를 시도해볼 수 있는 토대와 기회를 제공한다.

SSCs offer an ideal proving ground within the medical curriculum for new, even somewhat radical ideas, including newer assessment methodologies to assess professionalism and / or clinical skills. To continue to improve SSCs, there is a necessity to have a more coherent and regular dialogue between medical schools, national and international, and with regulatory bodies to identify and share good practice and research opportunities.


SSC가 도입되기 시작했을 때부터 진화의 과정을 거쳐왔지만, 여전히 의과대학 교육이 과도한 내용을 담고 있다는 한계가 남아있다.

Since the inception of SSCs, their purpose and outcomes can be described as having undergone something of an evolutionary process, responding to pressures from medical educators, faculty, students, local academic institutions, care providers and regulatory bodies, to be purposeful and deliver defined learning, whilst adapting to local circumstances. Nevertheless, the problem with content overload in medical curricula remains, which medical curriculum designers and policy makers need to continue to recognise; SSCs may be one way of resolving this difficult issue by providing opportunity for the basic sciences as well as the clinical sciences. However, taking cognisance of the original purpose of SSCs (or SSMs as they were originally called) which was to create options for student learning remains important if not only to stop a return the original medical curricula.


SSC가 의과대학 교육과정에서 성공적인 요소로 남을 수 있을까? 제한적이지만 문헌과 여러 의견, 광범위한 학생들의 평가를 종합해보면 그 답은 '그렇다'로 보인다.

Are SSCs a successful element of the medical curriculum? When the limited literature reports and commentaries on SSC programmes, together with extensive evaluation data from students are taken into consideration, it would seem appropriate to indicate ‘yes’. However, some skepticism does remain, perhaps where SSCs are poorly integrated into the curriculum, faculty and students are under-supported, or the opportunities presented are not fully appreciated.



Conclusions



The original aims and objectives of SSMs as detailed in Tomorrow's Doctors in 1993 have evolved, from the ideals of one third of the curriculum giving the student choice and diversity. Subsequently, SSCs in Tomorrow's Doctors 2003 became more constrained, and their learning objectives better defined. SSCs are now well embedded and integrated in most medical schools in the UK, and to a lesser extent internationally, providing opportunities for innovation and learner-centred medical education. SSCs are now delivering core professional and personal skills in an environment of choice for the student. This element of choice allows our high quality course entrants some flexibility and opportunity to develop and utilise these skills, as well as explore future career options. Internationally they may even address shortages in certain specialties. At present there remains little empirical evidence on the longer-term benefits of SSCs, and this still remains an important challenge in medical education research, if only to support their continued existence and form.
























 2009 Oct;31(10):885-94. doi: 10.3109/01421590903261096.

Student Selected Components (SSCs): AMEE Guide No 46.

Author information

  • 1Obstetrics and Gynaecology Centre for Reproductive Biology, Queen's Medical Research Institute, College of Medicine and Veterinary Medicine, University of Edinburgh, Edinburgh, UK. Simon.C.Riley@ed.ac.uk

Abstract

Student Selected Components (SSCs) are one of the more innovative recent developments in medical education. Initially established in the UK in the 1990s in response to the General Medical Council's recommendations in Tomorrow's Doctors (1993), they provide students with a significant element of choice and depth of study in the curriculum. SSCs have become an integral part of medical curricula throughout the UK, and to a limited extent the rest of the world. In most cases they contribute to the delivery of learning outcomes broadly encompassing personal, professional and research skills, whilst creating opportunities for students to explore future career options. This AMEE Guide is written for developers of new medical curricula, where SSC-like initiatives offering choice and depth of study, in conjunction with core learning, are being considered. Its aim is to provide insight into the structure of an SSC programme and its various important component parts. It is also relevant for those already involved in SSC development by offering insight into effectively managing, assessing and improving existing programmes, to deliver effective, coherent and core-integrated teaching valued by students and faculty alike.


의과대학 벤치마킹 - 도구에서 프로그램으로 (Medical Teacher, 2015)

Medical school benchmarking – From tools to programmes

TIM J. WILKINSON1, JUDITH N. HUDSON2, GEOFFREY J. MCCOLL3, WENDY C. Y. HU4, BRIAN C. JOLLY2 & LAMBERT W. T. SCHUWIRTH5,6

1University of Otago, New Zealand, 2University of Newcastle, Australia, 3University of Melbourne, Australia, 4University of Western Sydney, Australia, 5Flinders University, Australia, 6Maastricht University, The Netherlands







Background

의과대학에서 벤치마킹은 반드시 필요한 것이지만, 의도하지 않은 결과를 초래할 수도 있다.

Benchmarking among medical schools is essential, but may result in unwanted effects.


AIM:

의과대학의 벤치마킹에 conceptual framework를 적용하기 위함.

To apply a conceptual framework to selected benchmarking activities of medical schools.


METHODS:

평가가 학습에 미치는 영향과 벤치마킹이 의과대학 교육에 미치는 영향의 유사성을 비교하고, 벤치마킹을 평가하기 위한 framework를 개발하였으며, 호주와 뉴질랜드의 주요 벤치마킹 활동에 적용해보았음.

We present an analogy between the effects of assessment on student learning and the effects of benchmarking on medical school educational activities. A framework by which benchmarking can be evaluated was developed and applied to key current benchmarking activities in Australia and New Zealand.


RESULTS:

다섯 개의 주요 질문을 도출하였다. 

The analogy generated a conceptual framework that tested five questions to be considered in relation to benchmarking: what is the purpose? what are the attributes of value? what are the best tools to assess the attributes of value? what happens to the results? and, what is the likely "institutional impact" of the results? If the activities were compared against a blueprint of desirable medical graduate outcomes, notable omissions would emerge.


CONCLUSION:

의과대학은 다양한 교육활동에 대한 벤치마킹을 통해 질적 향상을 추구해야 하며, 여러 기준들을 만족하고 있음을 다른 이해관계자들에게 보여줄 수 있어야 한다. 벤치마킹이 긍정적인 점도 있지만, 만일 소수의 평가 도구에 의해서만 이루어진다면 예측하지 못한, 부정적 효과를 촉진할 수도 있다.

Medical schools should benchmark their performance on a range of educational activities to ensure quality improvement and to assure stakeholders that standards are being met. Although benchmarking potentially has positive benefits, it could also result in perverse incentives with unforeseen and detrimental effects on learning if it is undertaken using only a few selected assessment tools.






This has been partially captured in Goodhart’s law, most often stated as: ‘‘When a measure becomes a target, it ceases to be a good measure’’ (Goodhart 1981).



Benchmarking is defined (Meade 1998) as 

the formal and structured process of searching for those practices which lead to excellent performancethe observation and exchange of information about them, their adaptation to meet the needs of one’s own organisation, and the implementation of the amended practice



Stage 1: Conceptual analogy


어떤 평가든 그것을 수행하기 전에 그 목적을 분명히 해야한다. 단순한 결정(합-불합)을 위한 것일 수도 있지만, 정보를 탐색하기 위해서, 즉 강점과 약점을 파악하여 향상시키기 위한 목적일 수도 있다.

Before any assessments are conducted, however, there should be a clear statement of purpose of what the process aims to achieve. The purpose can be purely decision-oriented or alternatively, it can be used informatively: to optimise the information about strengths and weaknesses and how to improve.


목적이 분명하지 않으면 수집된 데이터는 물론이고 그 해석도 잘못될 가능성이 있다. 예컨대 평가의 목적이 부족한 부분을 찾아 향상시키기 위해서라면 학생이 자신의 약점을 더 드러내고자 할 가능성이 있다. 그러나 단순히 합-불합 결정을 위한 평가라면 학생은 자신의 약점을 숨기려고 할 것이다. 

If these purposes are not clear, then data collection and their interpretation will logically become distorted. For example, if the purpose is to help identify areas for improvement, then a student will be more likely to reveal their weaknesses and therefore guide how their performance can be improved. If the purpose is merely to make a passfail decision, then students will prefer to conceal their weaknesses. As the case studies illustrate, collecting data for one purpose and using it for another, will only create tensions, distortions and difficulties in data interpretation.


타당도라는 개념이 쉽지는 않지만, 지금까지의 이론에서 공통적인 것은 평가자가 무엇을 평가하고자 하는가, 학생의 어떤 특질에 가치를 둘 것인지, 그 평가가 학습에 어떠한 영향을 줄 것인지 등에 대해서 명확히 해야 한다는 것이다. 다만 문제는 평가자가 중요시하는 특질이 쉽게 측정가능한 것이 아닐 때 발생한다. 이 경우에 측정하기 쉬운 것만 측정하고 싶은 유혹에 빠져서 정작 중요하게 평가해야 할 것을 놓칠 수 있다.

Validity is not an easy concept and there have been numerous theories concerning how best to establish validity of a measure (Kane 2001). Current theories concur that it is necessary that the assessors have a clear focus on what they want to assess, which student attributes they value and want to capture, and how the assessment influences learning behaviours. Problems arise when student attributes that are valued are not so easily measured. It can be tempting to measure only the easily measurable attributes (because it is easier, more convenient and a feasible starting point) and ignore the important ones.


흔한 오해 중 하나는 '주관성'을 '낮은 신뢰도'와 동치시키는 것이다. 평가를 위해서는 전문가가 그 평가에 대한 전반적인 가치(global value)를 설정하기 때문에 반드시 전문가의 판단이 들어가게 되며, 이미 평가에는 본질적으로 주관성이 포함된 것이다. 이러한 판단도 여전히 신뢰성을 갖출 수 있다. 신뢰성은 샘플링의 문제이며, 샘플링이 잘 된다면 신뢰도와 타당도를 고루 갖춘 결과를 얻을 수 있다.

It is a common misconception to equate subjectivity with unreliability. The process of assessment requires expert judgement, which is intrinsically subjective as it requires assessors to assign a global value. Such judgements may still be reliable, as reliability is a matter of sampling and many well-sampled judgements will produce reliable – and valid – results (van der Vleuten et al. 1991).





Implications for benchmarking

Programmatic approach로 가야한다.

We argue that discussions on benchmarking should move forward in a manner that is similar to the recent changes in assessment focus described above (van der Vleuten & Schuwirth 2005), namely a move from individual testing methods to a programmatic approach.


벤치마킹의 목적이 분명해야 한다.

Similarly, if the purpose of benchmarking is not clear, the information will become useless for quality improvement and may be manipulated by stakeholders for strategic gain.


이런 목적들이 있을 수 있다.

Organisational responses to a benchmarking process will depend on whether it is undertaken in the context of quality improvement, competition for limited ongoing training opportunities, or to reassure the public and professional accreditation bodies of student attainment of competency standards.



Stage 2: A framework for evaluating benchmarking


(1) What is the purpose? (평가의 목적이 무엇인가?)

Just as in scientific research: ‘‘invalid data, invalid conclusions’’ and ‘‘decide the purpose, before deciding the method’’.


(2) What are the attributes of value? (무엇을 평가하고자 하는가?)

A clear description of the expected outcomes of the programmes being benchmarked is needed, acknowledging that these may differ among medical schools.


(3) What are the best tools to assess the attributes of value? (평가하고자 하는 것을 가장 잘 측정할 수 있는 도구는 무엇인가?)

The tools and measures chosen for benchmarking medical schools do not need to be the same as (and ideally would be different from) those used for assessing medical students


평가에 대한 이상적인 접근방법은 평가도구를 고르기에 앞서서 평가의 목적과 대상을 결정하는 것이다. 이것은 연구나 진료에서도 마찬가지로 적용되는 원리이다. 연구방법론으로부터 연구질문이 만들어지는 연구을 좋은 연구라 할 수 없으며, 먼저 검사를 한 뒤 감별진단을 끄집어낸 진료를 좋은 진료라 할 수 없다. 감별진단으로부터 검사계획을 수립해야 하고, 연구질문에 따라 적절한 연구방법론을 활용해야 한다. 더 나아가, 하나의 도구만으로 교육과정의 질에 대한 복합적인 질문에 모두 답할 수 없기 때문에 다양한 도구를 사용해야 한다. 

This is analogous to good research; the methodology should not drive the research question and, similarly, in good clinical care the choice of investigations should not drive the differential diagnosis. Instead, the differential diagnosis drives the diagnostic plan, and the research question the methodology. Also, single tools never give comprehensive answers to the complex question of the quality of a curriculum, so a combination of tools is needed.


(4) What happens to the results? (결과를 어떻게 활용할 것인가?)

Even with the best intentions, good results in the wrong hands can have unwanted negative effects.


(5) What is the likely ‘‘institutional impact’’ of the results? (조직 차원에서 어떤 영향이 있을 것인가?)

The ‘‘educational impact’’ of assessment on student learning behaviour is well known (Newble & Jaeger 1983; Frederiksen 1984; Wilkinson et al. 2007; Cilliers et al. 2010, 2012a, 2012b, 2013).




Stage 3: Applying the framework: some examples


(1) Medical Schools Outcomes Database.

(2) Australian Medical Schools Assessment Collaboration.

(3) Collaborative progress testing.

(4) Sharing OSCE stations (ACCLAiM)

(5) Sharing a large assessment bank for medical education on an international scale (IDEAL).









In summary, benchmarking, like assessment, is a powerful driver of behaviour. We need to ensure that decisions that are made result in behaviours that improve quality, share good practice and foster innovation.






 2015 Feb;37(2):146-52. doi: 10.3109/0142159X.2014.932902. Epub 2014 Jul 3.

Medical school benchmarking - From tools to programmes.

Author information

  • 1University of Otago , New Zealand .

Abstract

Abstract Background: Benchmarking among medical schools is essential, but may result in unwanted effects.

AIM:

To apply a conceptual framework to selected benchmarking activities of medical schools.

METHODS:

We present an analogy between the effects of assessment on student learning and the effects of benchmarking on medical schooleducational activities. A framework by which benchmarking can be evaluated was developed and applied to key current benchmarking activities in Australia and New Zealand.

RESULTS:

The analogy generated a conceptual framework that tested five questions to be considered in relation to benchmarking: what is the purpose? what are the attributes of value? what are the best tools to assess the attributes of value? what happens to the results? and, what is the likely "institutional impact" of the results? If the activities were compared against a blueprint of desirable medical graduate outcomes, notable omissions would emerge.

CONCLUSION:

Medical schools should benchmark their performance on a range of educational activities to ensure quality improvement and to assure stakeholders that standards are being met. Although benchmarking potentially has positive benefits, it could also result in perverse incentives with unforeseen and detrimental effects on learning if it is undertaken using only a few selected assessment tools.

PMID:
 
24989363
 
[PubMed - in process]


한국의학교육의 새로운 과제: 불확실성이 큰 문제상황에 대처하는 능력의 강화

New Challenges for Korean Medical Education: Enhancing Students’ Abilities to Deal with Uncertain Ill‐Defined Problems

최익선1ㆍ윤보영1,2

1조지아대학교 교육대학 교육공학과, 2인제대학교 의과대학 내과학교실

Ikseon Choi1ㆍBo Young Yoon1,2

1Learning, Design, and Technology Program, The University of Georgia College of Education, Athens, USA; 2Department of Internal Medicine, Inje University College of Medicine, Busan, Korea






서 론


각 시대마다 의학교육이 직면한 사회의 요구와 시대의 도전을정확히 파악하고 이에 대한 적절한 교육적 해결안을 제시하고 당면한 문제를 해결하는 것은 의학교육자의 중요한 역할이다. 본 글에서는 북미와 한국의 의학교육이 역사적으로 어떠한 도전을 해결하며성장해 왔는지를 먼저 고찰하고 이를 토대로 한국의학교육이 감당해야 할 미래의 중요한 과제에 대해 논의하고자 한다.


미의학교육의 시대적 도전과 역할


1900년대 초, 북미 사회는 체계적으로 검증되지 않았던 도제중심의학교육에 대해 의문을 던졌고 의학교육의 사회적 책무성(accountability)의 일환으로 의과대학 실태를 평가한 Flexner(1910) 보고서는 당시 155개의 북미 의학교육기관을 절반으로 줄이는 개혁을 단행하게 하였다. 19세기 중반 독일에서 시작된 기초과학에 기반을 둔 대학 주도의 과목중심 의학교육과정 모델을 미국의시카고, 코넬, 미시간, 펜실베이니아, 존스홉킨스 대학 등에서 받아들이고 있었는데, Flexner (1910) 보고서는 이를 북미 전역으로 확산시키는데 결정적인 역할을 하였다. 구체적으로는 의과대학의 입학수준이 높아지고 대학중심의 2년간의 기초의학교육과 2년간의 교육병원 임상교육이 의무화되었다(Cooke et al., 2006). 즉 의학은 과학이라는 인식전환과 함께 양질의 의사를 사회가 요구했고 이에 부응하여 의학교육의 재편이 시작되었다.


정부는 2차 세계대전 후 의사 수의 부족을 극복하기 위해 의과대학의 양적 팽창을 주도했고 같은 시기에 의학교육계는 과목중심교육과정이 가지고 있는 한계점을 인식하기 시작했다(Papa & Harasym, 1999). Flexner (1910) 보고서는 의학에 과학의 객관성을불어넣었지만 이후 기초의학의 눈부신 발전으로 기초의학과 임상의간극이 커졌다. 또한 의학지식의 급격한 팽창으로 인해 의과대학과정에서 학습자에게 모든 의학지식을 가르치는 것이 불가능해졌고 강의 위주의 수업방식을 택한 과목중심 교육과정이 상황적 지식(situated knowledge)을 전달하는 부분에서 취약점이 드러났다(Cooke et al., 2010). 이러한 제한점을 극복하기 위한 대안으로기초의학과 임상지식의 통합으로 학습의 효과성을 꾀한 Case Western Reserve 대학의 장기계통 교육과정(Papa &Harasym,1999), 학문적 지식뿐만 아니라 상황적 지식까지 활용하여 문제해결력을 배양하고자 한 McMaster 대학 등의 문제바탕 교육과정(Barrows &Tamblyn, 1980; Spaulding &Cochran, 1991)이 제시되었으며 이들은 현재까지도 북미의학교육에 중요한 영향을 미치는교육과정이 되고 있다(Papa &Harasym, 1999). 이 시기의 특징은의학교육의 전문성을 강화하기 위해 의과대학 내에 의학교육실이만들어지고 교육전문가가 의학교육에 유입된 것이며 이들이 교육과정개발, 평가, 교수개발, 교육공학 분야에 기여를 하게 되었다(Papa& Harasym, 1999).


1980년대 이후 의료환경의 변화와 의료정책 및 의료보험 등의사회적 문제가 의료에 영향을 주면서 의학교육도 영향을 받게 된다.이런 맥락으로 1990년대에는 의료의 질문제가 대두되면서 환자안전, 레지던트 근무시간, 질 낮은 의사 배출 등을 어떻게 해결할 것인지가 주요 쟁점으로 떠올랐고 이를 해결하기 위해 의사양성과정마다핵심역량을 규정하려고 하였다. 진료능력을 향상하기 위해 임상실습교육을 강화하였고 특히 규정된 의료시스템 내에서 의료를 행하는능력을 의학지식, 임상추론, 환자와의 의사소통, 직업전문성과 함께강조하였다(Irby et al., 2004).


이처럼 북미의학교육은 먼저 시대의 상황과 문제를 인식하고 규명하려는 노력을 하였으며 동시에 사회의 변화와 요구에 부응하면서변화하고 발전해 왔다. 따라서 역사 및 사회인식을 바탕으로 의료의발전과 미래를 논의하는 일과 이를 뒷받침하는 의학교육을 어떻게재정비하고 발전시킬 것인가 하는 문제는 시대에 따라 계속 반복되는 중요한 작업이다. 같은 맥락으로 Flexner 보고서를 지원했던Carnegie Foundation for the Advancement of Teaching은 Flexner보고서 100주년을 기념하며 2010년에 발행한 “Educating physicians”을 통하여 새로운 시대에 당면한 과제를 분석하고 이에 부응하기 위하여 (1) 학습성과의 표준화와 학습과정의 개별화, (2) 교과서 지식과 임상경험의 통합, (3) 탐구와 혁신습관 개발, (4) 전문가정체성 형성과 같이 네 가지 의학교육의 과제를 제시하였다(Cookeet al., 2010). 의학교육에 기초과학을 들여오기로 한 때로부터 100년만에 실로 많은 변화와 발전을 이루었다고 할 것이다.


한국의학교육 발전의 흐름


한국의학교육은 북미의학교육의 역사적 흐름과는 다른 양상으로발전하였다. 

  • 한국의학교육의 역사는 1890년대 말을 시작으로 보고있지만 서양이나 일본이 주체가 되었던 의학교육의 초창기가 지나고 
  • 주도적인 의학교육이 시작된 것은 1970년대 이후 의과대학의 양적팽창 시기부터라고 볼 수 있어 그 역사가 길지 않다. 
  • 일본강점기후 한국의학교육은 과거 교육제도인 과목중심의 의학교육을 답습하고 있었다. 
  • 1990년 이후 한국의과대학장협의회와 한국의학교육학회의 활동이 활발해지면서 의학교육의 중요성과 그 실천에 관심을가지기 시작하였다. 
  • 실질적으로 의학교육의 질적 향상을 견인한 것은 의사국가시험의 변화인데 1994년 한국의사국가시험원(현 한국보건의료인국가시험원)에서 주도적으로 새로 개발한 문항으로 시험을 치른 것이 의학교육을 새롭게 재편하는 계기가 되었다(Baik,2013). 
  • 한국의과대학장협의회에서 학습목표를 개발하여 한국의 의학교육과정 전반에 대한 논의를 일으켰고 1990년대 후반 의과대학에 의학교육실이나 의학교육학과가 생기면서 의학교육의 실질적인연구와 실천을 담당하고(Kim &Kee, 2010) 미국, 캐나다, 영국,호주 등의 여러 교육모델이나 방법을 채용하고 도입하기 시작하였다.
  • 장기계통통합교육, 문제바탕학습을 도입하는 학교의 수는 늘어났고(Kim &Kee, 2010) 최근에는 역량바탕교육을 강조하면서 성과바탕교육과정을 개발하고 구현하고자 하는 노력이 있다(Rho, etal. 2012). 
  • 또한 2009년 의사국가시험에 실기시험이 도입되면서 객관구조화진료시험(objective structured clinical examination)과 진료수행시험(clinical performance examination)을 대비하기 위한교육내용의 변화가 있었다. 각 대학은 임상실습교육을 개선하였고표준화환자를 교육도구로 사용하기 시작하였으며 실기시험준비과정에서 학생 개인의 역량에 맞추어 자신의 실기능력을 훈련해야하므로 학생중심의 성과바탕교육을 실시하게 되었다.


결국 한국의학교육 발전의 역사는 크게 두 가지 양상을 띠는데하나는 의학교육의 문제점을 인식하고 개선의 의지가 있는 리더들에의해 북미의 의학교육 제도와 교육과정을 빠른 속도로 받아들이고적용하는 것이고, 또 다른 하나는 의사국가시험 또는 의학교육평가인증 등 제도변화가 의학교육 발전을 주도하고 있으며 일선 의과대학에 교육의 개선을 요구하고 있다는 것이다. 이는 북미의학교육이100년 이상 문제를 인식하고 규명하고 해결하는 방식을 되풀이하면서 오늘날에 이른 것과는 다른 양상으로 근현대 한국에서 선진국수준의 발전을 이루어온 많은 다른 분야에서도 나타나는 공통된양상으로 생각된다.



한국의학교육의 새로운 과제 1:한국의 고유한 교육문제 규명과 해결안 개발


1. 교육문제의 규명


한국의학교육의 중요한 미래 과제 가운데 하나는 한국의 고유한 의학교육문제를 규명하여 자생적인 해결안을 개발하는 것이다. 문제해결력을 연구하는 학자들은 문제해결과정을 크게 두 가지 단계로나누는데 먼저 주어진 상황에서 중요한 문제를 찾아내고 그것을적절하게 규명하는 것, 다음은 규명한 문제의 해결안을 마련하고수행하는 것이다. 문제해결의 성공적인 결과는 대부분 문제를 얼마나 정확하게 규명했는가가 결정하는 경우가 많다(Chi et al., 1988).의학교육전문가 집단이 사회적 현상에 대한 문제를 해결하는 과정도이와 마찬가지라고 생각한다. 바람직한 결과를 도출하기 위해서는적절한 문제 진단이 해결안 마련에 선행되어야 한다. 물론 즉각적인조치가 필요한 당면한 문제를 해결해야 하는 각 의과대학 의학교육운영자의 입장에서는 당장 시도해 볼 수 있는 해결안이 필요한 경우도 많을 것이다. 그러나 즉각적인 교육운영의 역할을 감당하면서도거시적이고 장기적인 안목으로 각 학교 의학교육 운영자가 공통으로접하고 있는 문제의 맥을 진지하게 찾아나가며 한국의학교육이 당면하고 있는 문제들과 미래에 영향을 미칠 중요한 도전이 무엇인가를분석하고 문제를 규명하는 일은 의학교육전문가가 맡아야 할 중요한몫이다.


문제규명의 대표적인 방법은 주어진 상황에서 요구하는 궁극적인 목표(ideal)와 주어진 현실상황(real) 간의 차이를 찾아내고 그근본원인을 파악하는 것이다(Rossett &Arwady, 1987). 그리고해결안 개발은 바로 이상과 현실 간의 차이를 줄여나가는 방안을모색하고 그것을 실천하는 과정으로 볼 수 있다. 문제해결의 전반적인 과정은 역동적(dynamic)이고 반복적(iterative)이며 발전적(refined)이다. 현실 세계에서 완벽한 해결안이 존재하기 어렵고 완벽한 문제해결도 드물다. 문제의 규정도, 적절한 해결안도 결국 이해관계자 간의 다양한 관점 속에서 적절한 합의를 통해서 도출하는경우가 많다(Choi &Lee, 2009).


그러므로 문제를 규명하는 과정에서 선행하여야 할 과제는 주어진 상황에서 요구하는 궁극적인 목표를 논의하고 전문가 간의 합의를 도출하는 것이다. 북미의학교육의 100년간 흐름은 곧 좋은 의사를 양성하려는 이상과 현실 간의 차이에 대한 합의와 이를 줄이기위한 교육적 노력의 과정으로 압축된다. 논의의 여지는 있지만 저자들은 한국이나 북미의 의학교육이 추구하는 공통된 목적을 다음과같이 요약하고자 한다. 

  • 첫째는 반추적 사고(reflective thinking)를 통해서 개인, 공동체 및 사회 국가적 관점(Kim et al., 2014)에서의사로서 자신의 역할을 파악할 수 있고, 
  • 둘째는 기계적이고 단순반복적인 진료뿐 아니라 깊게 생각하고 비판적으로 추론할 수 있으며, 
  • 셋째는 여러 전문가와 협력하며(Harden et al., 1999), 
  • 넷째는 인간의 질병과 건강에 관련된 문제의 해결안을 개개인 혹은 사회에 설명하고(ABIM Foundation et al., 2002) 소통과정을 통해서 그것을 실행하고, 
  • 다섯째는 그것의 결과를 평가하여 다음 상황에 활용할 수 있어야 하며,
  • 여섯째는 스스로를 지속적으로 계발시킬 수 있는자기 주도 학습능력(Simpson et al., 2002)을 갖춘 의사를 양성하는것이다.


북미의 경우 각 시대 상황에 따라 이상과 현실을 줄이기 위한 핵심과제가 달랐던 것이다. 즉 핵심과제를 과학적 기초지식 강화,통합지식 함양, 문제해결력 혹은 실질적인 진료능력 강화, 환자 중심사고와 태도함양 등으로 재규정하면서 의학교육을 이끌어 온 것이라고 생각한다. 이런 맥락에서 앞으로 한국의학교육의 중요한 과제는한국의 사회 및 의학계의 상황에 비추어 이상과 현실 간의 차이와그 원인에 대한 공동체의 합의를 이끌어 내는 것이라 할 수 있다.




2. 자생적인 교육해결안 개발


교육은 각 사회의 역사와 문화적인 맥락에서 전개되는 사회 현상이다. 한 지역에서 개발된 성공적인 교육해결안이 다른 지역에서는기대만큼의 성과가 나오지 않을 수 있다. 특정 지역의 문화와 사회적맥락에서 개발된 교육해결안은 그 사회와 문화에 맞게 토착화(contextualization)를 거치지 않으면 본래의 목적을 이루지 못한채 어중간하게 표류하게 될 가능성이 높다. 예컨대 과목중심 교육과정 이후 통합교육과정, 문제바탕교육과정, 역량바탕교육과정 등이한국에 소개되고 전개되는 과정에서 이러한 해결안들이 한국의학교육에서 의도했던 효과를 충분하게 거두지 못하는 경우를 경험하였다(Ahn, 2011; Choi et al., 2013; Meng, 2004).


지난 10여년 동안 한국의학교육에 영향을 준 문제바탕교육(problem-based learning, PBL)을 예로 들고자 한다. 교육과정으로서 PBL교육방법으로서의 PBL중에(의과대학 교육과정 대부분을PBL로 구성한다면 교육과정으로서 PBL이고 PBL을 부분적으로 적용한다면 교육방법으로서 PBL이라고 구분) 한국 대부분의 의과대학은 교육방법으로서 PBL을 활용하는 것으로 보인다. PBL은 1960년대 말, 학생들이 실제 의사처럼 생각하고 의사결정을 하며 실질적인 진료능력을 배양하도록 하기 위해 개발한 북미의 교육해결안이었다. 따라서 PBL에 포함된 다양한 학습방법과 전략들은 북미 학생들의 학습문화를 반영한 해결안이라고 볼 수 있다. 1960년대 Barrows와 동료(Barrows &Tamblyn, 1980)가 심각하게 우려했던 학생들의 깊은 사고력과 임상문제해결력의 결여는 현재 한국의학교육에서도 우려하는 문제와 비슷할 수 있다. 그러나 문제가 비슷하다 해도그 해결방법에 한국의 문화와 환경이 반영될 때 비로소 효과적일수 있다. 즉 북미는 한국을 포함한 아시아권에 비해서 교수-학생간에 비교적 수평적 소통관계를 가지고 학생들 간의 협력 및 토론학습의 경험이 많으며 동료들 간의 경쟁이 비교적 덜한 문화를 가지고있다(Frambach et al., 2012). PBL의 핵심요소인 학생중심학습, 토론학습, 협력학습, 촉진자(facilitator)로서 교수의 역할 등은 북미쪽 문화가 잘 반영된 방법인 반면, 한국대학의 학습문화와는 상반되는 요소들이 있어 PBL을 적용하는 초기단계에서는 많은 한계점이예측된다(Choi et al., 2013). 특히 의과대학 교육과정이 교사중심학습, 개인학습, 암기위주시험 등이 주류를 이루는 상황에서 PBL이 정착되어 의도한 효과를 얻기 위해서는 문화적인 요인을 고려한다양한 노력이 필요하다(Frambach et al., 2012; Ju et al., 2013). 따라서 앞서 제시한 한국의 맥락에서 교육문제를 규명하는 것과함께 한국의 역사, 사회, 문화적인 상황을 고려하여 의학교육 현장에 효과적으로 적용할 수 있는 교육해결안을 개발하는 것은 한국의학교육이 다음 단계로 성숙하기 위한 중요한 과제라고 볼 수 있다.



한국의학교육의 새로운 과제 2:실세계 문제해결력의 강화


저자들은 한국의학교육의 첫 번째 과제는 한국의 교육문제의 규명과 해결안 개발이라고 주장하였다. 본 단원에서는 앞서 제시한의학교육의 목적과 한국의학교육의 상황에 근거해서 한국의학교육의 두번째 과제를 실세계 문제해결력(real-world problem solving abilities) 강화라는 차원에서 제안하고자 한다.


한국의 학습문화는 시험과 경쟁이 낳은 극도의 암기 중심 문화가지배적이다. 의과대학에 입학하는 학생들은 이러한 입시경쟁에서가장 성공한 학생들이다. 따라서 이러한 암기와 시험중심 학습형태는 의과대학에서도 여전히 중요한 학습전략이 되며 실제 한국의의과대학에서 진행하는 교육과 학습평가 또한 이러한 문화와 연결되어 있음을 관찰할 수 있다. 이러한 현실은 실세계에서 나타나는 다양한 임상문제를 해결할 수 있는 의사를 양성한다는 의과대학 교육의 목표를 이루는 데 치명적인 한계점이 될 수 있다. 그 이유를 문제의 유형학(typology of problems)의 관점에서 설명하고자 한다.



1. 문제의 유형학(Typology of Problems)


일상에서 해결해야 하는 다양한 문제는 여러 방법으로 분류할수 있는데 그 중 한 방법은 주어진 문제를 얼마나 정확하게 규정할수 있는가의 정도(definedness or structuredness)를 기준으로 나누는 것이다(Jonassen, 1997). 예컨대 식당에서 9,000원짜리 식사를한 후 만원을 내고는 얼마의 거스름돈을 받아야 하는가의 계산 문제(story problem)를 생각해 보자. 이러한 것은 그 문제가 분명하다.문제해결을 위한 정보도 모두 존재하고 효과적인 문제해결과정(algorithm)도 존재하며 답도 존재하고 답을 평가할 수 있는 기준도분명하다. 이는 잘 정형화된 문제(well-defined problem)의 극단적인 예이다. 여기서 분명하다는 것은 이해관계자 간에 이견의 여지가없다는 것이다.


한편 시동이 걸리지 않는 자동차를 수리하는 문제(troubleshooting problem)를 생각해 보자. 자동차의 시동과 엔진에 관련된 기본지식의 틀이 있다면 이를 토대로 몇 가지 가능한 문제의 원인을가정해 볼 수 있고 그것을 순차적으로 검증하면서 문제의 원인을발견하고 그것에 대한 적절한 해결안을 제시할 수 있다. 문제를해결한 사람마다, 또한 문제가 발생한 지역의 특정 조건에 따라서검증의 순서가 다를 수 있고 서로 다른 해결안을 낼 수 있겠지만어떤 해결안이 더 타당한지 등을 결정할 수 있는 평가의 기준들이비교적 합의가 가능하고 문제의 원인이나 해결안의 수도 일정 범위내에서 존재한다. 이전의 계산문제에 비해서는 복잡성이 있고 문제의 정형화 정도가 조금은 낮지만 어느 정도 범위 안에서 이해관계자간에 합의가 가능한 문제라고 볼 수 있다.


이번에는 임신 3개월의 중학교 여학생과 마주 앉은 상담교사의상황을 상상해 보자(dilemma problem). 우선 이 상황에서 교사는문제를 정확하게 규정하기가 어렵다. 여러 이해관계자의 다양한 견해의 교차점 속에서 문제가 규정되기 때문이다. 만약 여러분이 이여학생의 부모라고 생각해 보자. 상담교사와는 전혀 다른 차원에서이 상황을 보게 될 가능성이 높다. 만약 이것이 한국사회가 아니라유럽사회에서 나타났다고 한다면 이 상황을 상당히 다르게 해석할수 있고 그것에 따른 해결방안도 달라질 수 있다. 이러한 종류의문제는 정확하게 규정하기가 어렵고 문제해결의 목표도 불분명하다.문제는 여러 관점에 따라 시시각각 다양하게 변할 뿐 아니라 이해관계자 간에 서로 상충되는 경우가 많고 의견 합의도 어렵다. 더욱이한 상황 안에 여러 문제가 복합적으로 나타날 수 있으며 문제의층도 개인적 차원에서 작은 공동체 혹은 광범위한 사회적 차원까지다양할 수 있다. 이러한 문제의 해결과정은 다양하고 가능한 해결안도 다양하며 때로는 아예 답이 존재하지 않을 수도 있다. 해결안을평가하는 가치기준도 다양하고 합의점을 결국 찾지 못하고 미궁으로빠질 수 있다. 이는 극단적으로 비정형화된 문제(ill-defined problem)의 특징이다. 


Jonassen (2000, 2011)은 일상에서 접하는 다양한 문제를 이러한 정형화 정도에 따라서 알고리즘 문제(algorithmic problems), 이야기형 문제(story problems), 규칙활용문제(rule using induction problems), 의사결정문제(decision-making problems),고장수리문제(troubleshooting problems), 진단처방문제(diagnosis-solution problems), 전략문제(strategic performance problems), 정책분석문제(policy analysis problems), 설계문제(design problems), 딜레마문제(dilemma problems) 등 열 가지 유형으로 분류했고 각 문제유형의 특징과 각 유형의 문제해결과정에요구되는 인지적 기능이 차이가 있음을 제시하였다(Jonassen, 2000,2011; Jonassen &Hung, 2008).




2. 임상문제의 유형


의학은 위에서 언급한 극도의 정형화된 문제로부터 극도의 비정형화된 문제까지 골고루 분포되어 있는 전문 영역이라고 할 수 있다.또한 잘 조직된 지식으로 해결 가능한 정형화된 문제라도 그 문제가실제 환자 상황에서 어떻게 전개되느냐에 따라 문제의 정형화 정도가 극적으로 변화할 수 있기 때문에 역동성과 불확실성을 늘 내재하고 있는 영역이다.


감염을 예로 들어보자. 학생들은 세균, 바이러스, 기생충과 같은병원균에 대한 개념을 배우고 각각에 대응하는 치료방법을 배우게된다. 범위를 좁혀 세균감염이라면 그람음성균인지 양성균인지 모양이 어떤지에 따라 투여할 항생제를 결정한다. 세균배양을 통해균의 종류를 입증할 수 있고 실험실에서 항생제의 내성 정도도 검사할 수 있다. 물론 이런 결과를 보기 위해서 진단검사의학과의 여러단계 도움이 필요하고 실제 진료에서는 배양검사 결과가 나오기전에 항생제를 결정해야 하는데 환자의 증상과 몇 가지 자료로 쉽게원발병소를 찾을 수 있고 항생제를 결정할 수 있다. 실제로 학교나의사국가시험에서 이런 유사한 수준의 문제로 시험을 치르게 된다.


그러나 위와 비슷한 지식이 요구되는 문제라 해도 상황에 따라서매우 불확실하게 전개될 수 있다. 만약 류마티스관절염으로 부신겉질스테로이드, 비스테로이드항염증제와 함께 메토트렉세이트(methotrexate) 같은 면역을 억제하는 약물을 사용하고 있는 환자가호흡곤란으로 응급실을 통해 중환자실로 입원하였고 양쪽 폐에 심한폐실질 음영이 생긴 경우라면 판단이 쉽지 않다. 우선 증거를 확보하고 정보를 얻기 위해 균배양을 하고 컴퓨터단층촬영을 한 후 지지적치료를 위해 산소포화도를 유지하는 노력을 하고 항생제를 투여하겠지만 확증을 통한 자신 있는 치료의 결정까지는 많은 어려움이 있고마지막까지 증거를 찾지 못하는 경우도 많다. 실제 고려해야 할것은 면역억제 상황에서 생긴 폐렴인데 이때 폐렴을 일으키는 균주도 전형적인 세균감염부터 면역억제 상황에서 생기는 비전형적인균주들, 바이러스, 진균 등이 있고, 다음은 메토트렉세이트 약물에의한 간질폐질환을 고려해야 하며 류마티스관절염의 관절 외 증상인류마티스 폐질환도 생각해야 한다. 대부분 부신겉질스테로이드, 비스테로이드항염증제 때문에 감염이라고 하더라도 발열과 같은 초기증상이 잘 나타나지 않아 증상이 심해질 때까지 의학적 관심을 받지못하는 경우가 많기 때문에 병이 심해지고 상황이 더 복잡해진 상태에서 병원에 오게 된다. 의사가 결정해야 하는 것에는 항생제를선택하는 것부터 부신겉질스테로이드의 양을 결정하는 것, 인공호흡기 적용의 결정 같은 치료에 관한 것이 있고 배양검사를 기다릴것인지 기관지내시경까지를 고려할 것인지 검사에 관한 것도 있다.또한 치료과정은 치료가 완결될 때까지 다양하고 어려운 결정의복합 상황이고 하나의 결정이 또 다른 문제를 만들기도 하며 변화하는 환자의 경과와도 실시간으로 영향을 주고받는 순환과정이라고할 수 있다. 또한 호흡기내과, 감염내과 등 다른 분과 전문의들과도긴밀한 협조를 해나가야 하며 활발한 의견교환도 필수적이어서 여러의견의 조율과 그 속에서 자신의 의견을 확인하고 정제하면서 문제를 해결해 나가야 한다. 결국 정형화 할 수 있을 것 같은 문제도실제 상황에서는 문제가 비정형화되고 의사는 불확실한 상황과 역동적으로 상호작용하면서 지속적인 의사결정을 반복하며 문제를 해결해 나가야 한다.




3. 의과대학 강의실과 진료현장에서 다루는 문제 유형의 차이


의과대학 학생이 졸업 후 의사로서 접하는 문제는 단순하고 정형화된 문제유형도 있지만 비정형화되고 불확실성을 내포한 문제도많다. 더욱이 전개되는 상황에 따라 계속해서 과거 자신의 의사결정을 반추하며 다각적으로 경과를 예측하면서 의사결정을 해야 하는문제들이 적지 않다. Figure 1A는 의대교육과정 안에서 학생들이배우는 문제유형과 현장에서 실제로 접하는 문제유형 분포 간에차이가 있음을 보여주고 있다. 이는 대부분의 학교교육이 정형화된문제를 주로 다루듯이(Jonassen, 2011) 의과대학에서도 비교적 정형화된 문제를 많이 다루는 반면 비정형화된 문제를 경험하거나다룰 기회가 상대적으로 적기 때문이다. 그러나 실제 임상에서는정형화된 문제와 비정형화된 문제가 혼재되어 있고 특히 비정형화된문제는 의사의 많은 노력과 시간을 요구하면서도 의료과실의 빈도가높은 영역이다. 따라서 비정형화된 문제해결력은 의사의 역량을 가늠할 수 있는 중요한 능력이라고 할 수 있다.



4. 문제유형에 따른 능력 차이


의과대학 교육과정과 실제 의사 업무에서 다루는 문제유형의 분포에 차이가 있다는 것은 학습이론의 관점에서 볼 때 정형화된 문제와 지식전달의 비중이 큰 한국의학교육의 근본적인 미래 과제가무엇인지를 제시해 준다. 왜냐하면 정형화된 문제를 해결하는데 필요한 능력은 비정형화된 문제를 해결하는데 필요한 능력과는 근본적으로 다르기 때문이다. 즉 정형화된 문제의 성공적 해결이 비정형화된 문제의 성공적 해결을 보장하지 못하기 때문이다. Figure 1B는문제의 정형화 정도에 따라 필요한 다양한 차원의 능력과 중요도를설명한 것이다(Choi, 2007).



1) 정형화 및 비정형화된 문제해결과정에서 인지능력 및 상위인지능력의 역할


문제해결과정에서 첫 번째 단계로 필요한 능력은 기본 인지능력과 이를 토대로 한 관련 지식을 갖추는 것이다. 이는 모든 유형의문제를 해결하는 데 반드시 필요한 기본능력으로 책을 읽고 내용을이해하고 기억하고 어떠한 수치를 계산하고 상황을 인식하는 등의인지능력을 포함한다. 의사가 기본 원칙대로 환자를 진찰하고 의무기록을 읽고 이해하고 진찰한 결과에 근거하여 진단을 내리는 것이모두 이런 단계의 능력이다.


두 번째 단계는 상위인지능력인데 이는 자신의 사고과정을 점검하는 반추적이고 전략적인 사고능력으로 자신의 문제해결과정 혹은사고과정을 검토하고 재평가하며 문제해결과정을 계획하고 개선하는 활동과 관련된 사고능력을 포함한다. 이러한 능력은 정형화되어있지만 복잡한 문제를 해결할 때는 중요한 역할을 하게 된다. 즉자신이 푼 문제의 과정을 다시 한번 점검해 보거나 복잡한 문제를잘 나누어서 계획을 미리 세우고 진행을 하거나 시험공부를 할 때주로 틀리던 문제들을 따로 모아놓았다가 공부를 하는 등의 전략을사용하는 학생은 상위인지능력이 높은 학생이며 이러한 능력은 특히학업성적에 중요한 영향을 준다. 또한 문제가 정형화되지 않았을경우에도 이러한 상위인지능력은 어느 수준까지는 문제해결과정에아주 중요한 역할을 한다. 따라서 문제가 비정형화되고 복잡해질수록 더욱 정교한 지식과 인지 및 상위인지 능력이 필요하겠지만 인지적 능력과 상위인지능력은 정형화된 문제와 비정형화된 문제에 모두공통적으로 중요한 기본능력이다.



2) 비정형화된 문제해결과정에서 개인인식론의 중요성


다음 단계의 능력은 개인인식론(personal epistemology)이다(Kitchner, 1983; Perry, 1968, 1999; Schraw et al., 1995). 개인인식론이란 개인이 가지고 있는 지식에 대한 정의, 지식을 어떻게 검증할수 있고 형성하는지 등에 대한 믿음 체계라고 볼 수 있다(Moore,2002). 이는 주어진 정보나 자신의 지식을 검증하고 선별적으로문제해결에 활용하는 능력, 역동적으로 변화하는 상황 속에서 유연성 있게 다른 사람의 관점을 수용 보완하는 능력, 보다 의미 있는관점으로 문제의 정의를 협의하며 문제해결을 이끌어나갈 수 있는능력 등과 밀접하게 관련되어 있다. 이러한 능력의 발달은 정형화된문제를 해결하는 데는 그다지 중요한 역할을 하지 못한다. 오히려어떤 경우는 정형화된 문제를 주로 다루는 시험에서 좋은 성적을내는데 방해가 될 수도 있다. 예컨대 의과대학에서 강의를 들으며‘교수가 가르치는 내용의 근거가 무엇일까?’, ‘그것을 어떻게 검증할까?’, ‘그것이 실제 상황에서는 어떻게 응용될 수 있을까?’ 등등의근원적 고민을 깊이 있게 하는 것보다는 오히려 강의 내용을 의심없이 진리로 받아들이고 암기하는 것이 더 효과적으로 시험성적을높일 수 있기 때문이다. 그러나 이러한 인식론적 능력은 문제가비정형화 되고 문제의 해결과정과 결과가 불확실해질수록 그 역할이중요해진다.


이러한 개인인식론의 개념을 처음 발견한 Perry (1968)가 제시한 9단계의 인식론 발달단계는 크게 4가지 단계로 요약해 볼 수 있다(Moore, 2002). 

    • 초기 단계는 이원론(dualism) 지식관으로 주어지는모든 현상을 흑백 논리로 구성하고 지식은 반드시 참이나 거짓으로구분된다고 믿는다. 따라서 이들에게는 반드시 정답이 있어야 하고두 사람의 의견이 다르다면 그 중에는 옳은 의견과 틀린 의견이있다고 믿는다. 
    • 다음 단계는 다원론(multiplicity 혹은 complexdualism) 지식관으로 특정 지식을 참과 거짓으로 구분하는 것 외에도 참거짓을 확정할 수 없는 애매한 상황이 존재한다는 것을 인식하고 한 현상에 대해서도 다양한 견해의 가능성을 이해하며 그 각각의견해가 나름대로 의미가 있을 수 있다는 것을 믿는 단계이다.
    •  다음은상황적 상대주의(contextual relativism) 지식관으로 하나의 현상에대해서 이해관계자 간에 다양한 관점이 존재할 수 있으나 상황과 맥락에 따라서 주어진 정보와 지식의 타당성과 가치를 결정할 수있다고 믿고 근거 있는 논증과 설득을 통해서 문제를 합의하고 지식의 의미를 능동적으로 창조하며 유연한 사고를 할 수 있는 단계의인식론이다. 
    • 마지막은 상대주의 내 신념(commitment within relativism) 단계로서 전단계인 상황적 상대주의 지식관 위에 자신의의사결정에 전문성과 도적적 책임성을 부과하는 인식론적 단계이다.즉 다양한 선택이 가능한 진료상황에서 의사로서 신념을 가지고자신의 의학적 지식과 결과에 대한 책임을 토대로 주어진 상황에서가장 적절한 의사결정을 내릴 수 있는 인식론의 단계이다. 이 높은단계의 개인인식론은 다음에서 설명할 전문가 정체성과도 긴밀하게연결된다.



3) 비정형화된 문제해결과정에서 전문가 정체성의 중요성


다음 단계의 능력은 개개인이 가지고 있는 전문가 정체성(professional identity)이다. 의사 정체성은 결국 직업전문성이라는개념으로 투영될 수 있는데 의사의 직업전문성에는 치유자와 전문가두 가지 특성이 복합적으로 녹아 있는 것이 특징이다(Cruess et al.,2009). 직업전문성의 정의나 개념 속에는 의사를 한 개인으로 보는관점에서부터 사회에 대한 역할이 있다고 보는 관점까지 다양하며 치유자 역량에서부터 도덕성과 윤리, 가치관과 정체성의 인식, 인간관과 세계관까지 포함하고 있어 업무능력부터 개인의 철학까지 다양한 스펙트럼의 정체성이 내포되어 있다(Birden et al., 2014). 어떠한목적의 직업관을 가지고 문제에 임하는가는 결국 그 문제를 해결해나가는 과정과 결과, 문제를 둘러싸고 있는 자신을 포함한 이해관계자에게 지대한 영향을 미친다(Emmons, 1999). 그러나 정형화된문제(예를 들면 시험에 출제되는 문제)를 해결하는 과정에서는 이러한 단계의 능력은 거의 영향을 미치지 않는다. 반면 문제가 비정형화되고 불확실하고 이해관계자 간에 이견과 갈등이 많을수록 문제해결과정에서 이런 능력의 역할은 더 없이 중요하게 된다. 사회가 요구하는 좋은 의사상은 무엇이고 의과대학 학생들에게 어떤 전문가 정체성을 가르쳐야 하는가의 문제에 대해서는 ‘한국의 의사상’에 관한논문에 자세하게 다루어져있다(Ahn &Working Group for Projecton the Future Global Role of The Doctor in Health Care, 2014).



4) 비정형화된 문제경험 확대를 통한 의학교육의 강화


결론적으로 정형화된 문제로 훈련받은 학생은 실제 임상에서 비정형화된 문제를 접할 경우 이에 대한 적절한 대응을 할 수 없게된다. 대학에서 정형화된 문제를 주로 다루게 된다면 학생의 인지적및 상위인지적 활동이 활성화되고 발달이 되겠지만 실제로 비정형화된 문제, 즉 불확실성이 있는 상황을 다루는 데 추가적으로 결정적인역할을 할 수 있는 개인인식론과 전문가 정체성의 발달은 보장할수 없다. 이러한 영역의 능력들은 정형화된 문제를 다룰 때는 활성화되지 않기 때문이다. 따라서 의과대학에서 가르친 능력과 실제 임상에서 요구되는 능력 간에 차이가 나타날 수 있다.


의과대학의 교육과정과 방법이 시대에 따라서 어떠한 교육적인모델이나 철학적인 옷을 입든지 궁극적인 교육목표가 실제 임상상황에서 접하는 다양한 종류의 문제를 해결하는 능력을 기르는 것이라고 본다면 결국 각 학교는 학생에게 정형화된 문제해결력뿐 아니라비정형화된 불확실한 상황에 대처할 수 있는 능력까지 길러줄 수있어야 한다. 따라서 한국의학교육의 내실을 기하기 위해서는 위의교육목표를 이루기 위한 다양한 교육방법과 제도를 한국의 특성에맞게 개발하고 실천하며 평가하는 노력이 필요하다.


결 론


북미에서는 각 시대의 요구에 부응하며 과목중심 교육과정, 통합교육과정, 문제바탕교육과정, 역량바탕교육과정 등의 교육과정을개발하며 의학교육을 진화시켜 왔다. 반면 한국의 의학교육은 주로북미의 의학교육제도와 교육과정을 빠르게 수용하며 의사국가시험또은 의학교육평가인증 등을 통해 이를 효과적으로 확산하며 발전해왔다. 짧은 시간에 급속도로 발달한 한국의학교육이 다음 단계로성숙하기 위한 가장 중요한 과제는 한국의학교육의 문제를 정립하고한국의 사회와 문화가 반영된 의학교육학, 의학교육과정, 의학교육제도를 개발하는 것이다.


의학은 복잡한 인간의 육체와 정신을 복합적으로 다루는 학문이며 전문영역이다. 의학교육은 실제 임상에서 문제를 해결할 수 있는실력 있는 의사를 양성하는 역할을 한다. 복잡하고 불확실한 임상을성공적으로 다루는데 필요한 능력은

  • (1) 과학적 지식과 임상기본술기뿐 아니라,
  • (2) 불확실한 상황에서도 주어진 지식과 정보를 비판적으로 선택하며 책임감 있는 의사결정을 할 수 있는 개인인식론의영역, 궁극적으로는 
  • (3) 의사 개인으로서 가지는 자신의 전문가 정체성으로까지 확대된다. 

따라서 의학교육은 학생들에게 지식을 가르치는 것 외에도 성숙한 개인인식론을 계발하고 사회에 부응하는자신의 의사상을 형성할 수 있는 기회를 주어야 하며 실제 의사들이접하는 불확실한 임상문제들이 의학교육과정에 균형있게 반영되어야 한다. 교육목표를 성공적으로 이루기 위해서 의학교육 공동체는한국 사회의 문화적인 맥락과 각 학교의 특성을 고려한 다양한 교육해결안을 지속적으로 연구, 개발, 선택, 적용, 수정하는 데 진지한노력을 해야 한다. 이러한 자생적 의학교육의 구축은 한국의학교육을넘어서 국제의학교육사회에 기여하는데 중요한 밑거름이 될 것이다.






Over the last century, medical education in North America has evolved by identifying educational challenges

within its own socio-cultural context and by appropriately responding to these challenges. A discipline-based

curriculum, organ-system or integrated curriculum, problem-based curriculum, and competency-based

curriculum are historical examples of the educational solutions that have been developed and refined to

address specific educational challenges, such as students’ lack of basic scientific knowledge, lack of integration

between scientific knowledge and clinical practice, and lack of clinical practice. In contrast, Korean medical

education has evolved with the influence of two forces: (1) the adoption of educational solutions developed

in North America by pioneers who have identified urgent needs for medical education reform in Korea

over the last three decades, and (2) the revitalization of Korean medical schools’ curricula through medical

education accreditation and national medical licensing examination. Despite this progressive evolution in

Korean medical education, we contend that it faces two major challenges in order to advance to the next

level. First, Korean medical education should identify its own problems in medical education and iteratively

develop educational solutions within its own socio-cultural context. Secondly, to raise reflective doctors

who have scientific knowledge and professional commitment to deal with different types of medical problems

within a continuum from well-defined to ill-defined, medical education should develop innovative ways

to provide students with a balanced spectrum of clinical problems, including uncertain, ill-defined problems.


Keywords: Medical education, Korea, North America, Ill-defined problems, Typology of problems, Personal epistemology

외국 의과대학에서의 성과중심교육과정 개발

The Development of Outcome-Based Curriculum in Medical Schools Outside Korea

한재진

이화여자대학교 의학전문대학원 의학교육학교실

Jae-Jin Han

Department of Medical Education, Ewha Womans University School of Medicine, Seoul, Korea





서 론

1980년대부터 성과바탕교육이론이 주목을 받으면서 의학교육계에도 ‘성과바탕교육과정’이 선진 외국 의과대학들을 중심으로 여러 형태로 개발되고 실행되고 있으며 이는 세계적으로 확산되는 추세인데, 이러한 ‘성과바탕교육과정’이란 전통적인 ‘교수자 주도 학습목표(learning objectives)’ 중심의 교육과정에서 탈피하여, 학습자인 의과대학생이 학부의 의학교육과정을 모두 마치고 졸업을 하기 위해서 최종적으로 갖추어야만 하는 성과(outcome) 혹은 역량(competency)을 먼저 규정한 후 이를 중심으로 교육과정 개발, 교수-학습실행과 평가 등의 의학교육활동이 이루어지도록 하는 교육과정이라고 정의할 수 있다(Harden, 2007). 특히 의료환경의 급격한 변화는 의사역량에 대한 사회적인 관심과 상호작용이 증폭되면서 의과대학교육뿐 아니라 졸업 후 교육과 평생교육 분야에도 활발히 적용되고 있다. 의과대학에서 성과바탕교육을 선도한 나라는영미권 국가들인데 영국에서는 1993년 영국의사협의회(General Medical Council, GMC)에서 Tomorrow’s Doctor (TD)를 발표하여 영국 내 의과대학에 성과중심의 학습목표를 적용할 것을 제시하였고 이는 2003년과 2009년에 개정을 하였는데, 특히 마지막 개정판에서는 의과대학 졸업성과를 3영역으로 구분하여 ‘outcomes1: the doctor as a scholar and a scientist; outcomes 2: the doctor asa practitioner; outcomes 3: the doctor as a professional’이라 하였으며, 각 영역에서 지식, 술기 및 태도와 연관된 세부성과들을 구체적으로 나열하였다, 또한 여기에는 입학, 교육방법, 평가, 학생, 교수,시설 등에 대한 지침도 포함하여 영국의 의과대학 평가기준으로활용하고 있다(General Medical Council, 2009). 미국에서는 1984년 학장협회(American Association of Medical Colleges, AAMC)의 General Professional Education of the Physician (GPEP) 최종보고서에서, 의과대학 졸업 시 지식, 술기, 가치 및 태도에 관한 기대목표를 교육과정에 적용하도록 권장하였고, 1985년 의과대학인증위원회(Liaison Committee on Medical Education)는 이를 인증기준에 추가하였다. 이후 동 기관은 1998년 의과대학 학습목표 개발을위한 지침서로서 Medical School Objectives Program을 발간하였는데 여기에는 의과대학을 졸업한 의사로서의 기본자질을, 이타성,지식, 기술 및 의무의 4가지 영역으로 구분하였으며 각 영역에서 보여줘야만 하는 역량들을 나열하여 의과대학에서 이를 활용하도록권하였다(Association of American Medical Colleges, 1998). 이 글에서는 영국의 성과바탕교육과정 개발을 선도했던 던디의과대학이포함된 ‘스코틀랜드 의과대학 교육과정 개발그룹(Scottish Deans’ Medical Curriculum Group, SDMCG)’과 쉐필드 의과대학, 미국에서는 1990년에 성과바탕교육과정을 도입하여 1996년에 완전히실행한 브라운 의과대학과 함께 인디아나 의과대학을, 호주는 뉴사우스웨일스 의과대학을 대상으로, 성과바탕교육과정의 개발과 그 내용을 분석비교하고 아울러 캐나다와 유럽연합의 예를 소개하고자 한다.



스코틀랜드 5개 의과대학, 영국


스코틀랜드의 5개 의과대학 학장단의 교육과정개발그룹(SDMCG)은 1999년 던디 의과대학의 Harden et al. (1999)이 발표한,‘역량을 갖추고 자기성찰을 하는 의사’에게 필수적인 3개 핵심요소(level 1)로 이루어진 동심원구조에 총 12개의 성과영역(outcome domains)을 배치하고 그 하부에 각각의 졸업성과(level 2)를, 다시각 졸업성과의 하부에 세부성과-학습목표(level 3&4)를 나열하였다. 즉 의과대학 졸업 후 영국의 pre-registered house officer가 되기위해서는 7가지 핵심행위(clinical skills; practical procedures; patientinvestigation; patient management; health promotion and disease prevention; communication; medical informatics)를 할 수있어야 하고, 이러한 행위를 하기 위한 3가지 올바른 접근방법(basic,social, and clinical sciences and underlying principles; attitudes,ethical understanding and legal responsibilities; decision-makingskills and clinical reasoning and judgement)을 구사할 수 있어야하고, 또한 이 모두를 위한 2가지 올바른 자질(the role of the doctorwithin the health service; personal development)을 가져야만 한다는, 졸업성과목표 틀을 규정하였다(Table 1). 이들은 5개 대학의 환경과 특성이 각기 다름에도 불구하고 합의되어 도출된 졸업성과들이며, 영국의 일반의사 역할을 규정한 GMC의 Good Medical Practice의기본 역량들과 자연스럽게 연결되는 가교 역할뿐 아니라 입학생 선발, 명확한 교수-학습목표, 평가 등에도 유용할 것으로 기대하였다. 또한 세부성과내용을 의도적이며 광범위하고 덜 구체적으로 기술함으로써, 성과항목 안에 나열된 예들이 학생이나 교수 혹은 특별한 교수-학습활동 시 그 수준과 이해 및 적용을 다양하게할 수 있는 여지를 만들었다(Simpson et al., 2002). 한편, SDMCG에서는 자신들의 졸업성과 내용이 GMC의 TD에서 제시하는 졸업성과와 어떤 연관성이 있는지를 비교하기 위하여 컴퓨터 프로그램을 이용한 교차분석실험을 하였으며 열거형식, 중요도나 위치, 표현 등에서는 다른 점이 있었으나 성과의 내용에서는 큰 차이가 없었다고 하며 이러한 결과는 양 기관 모두에게 앞으로 성과목표 개정작업 시 좋은 자료가 될 뿐 아니라 여기에 사용된 교차분석방법은 학교 간, 지역 간, 국가 간의 의사역량의 비교에도 좋은 도구가 될수 있다고 하였다(Ellaway et al., 2007).



쉐필드 의과대학, 영국


쉐필드 의과대학은 의료환경 변화와 GMC 등 외부의 교육과정개편압력에 능동적으로 대처하는 방안으로 새로운 성과바탕모델을 개발하였다(Newble et al., 2005). 이는 이전의 던디 의과대학이나 미국 브라운대학 모델에 비하여 보다 단순한 형태를 표방하면서 개발의 주요 관점으로 ‘성과중심’과 ‘고도의 통합’을 내세웠다.쉐필드 모델에서 성과목표의 큰 틀은 ‘일반 졸업 술기(generic graduate skills)’라는 제목 아래, 

  • 영국의 일반진료의사로서의 역할을감당할 수 있는 ‘임상역량(clinical competencies)’과, 
  • 의학연구가활발한 의과대학의 특성을 반영한 ‘의-과학(medical sciences)’

두 가지 주제로부터 수직적-수평적 통합을 위한 핵심과정의 성과들을 도출하였는데

  • ‘임상역량’은 다시 ‘임상술기(clinical skills)’, 대인기술(interpersonal skills), 전문가적 행동(professional behaviors),진료기술(practice skills)의 4가지 영역으로, 
  • ‘의-과학’은 다시기초, 임상, 인구-보건, 행동 등 4가지 영역으로 구분하였다. 


이러한 두 주제는 통합학습활동(integrated learning activities)으로 결합되고 학생선택과정(student selected components)으로 수직적인통합이 이루어지는데 후자는 특히 학생의 종단적 성과달성을 위한주된 과정이 된다. 한편 핵심과정의 내용에 들어가는 94개의 임상표현들을 도출하여 이를 성과바탕 틀에 맞추어 넣는 작업을 함으로써 성과바탕교육과정을 완성하였다. 예를 들어 ‘경련’이라는 임상표현 항목에서 ‘학생은 환자에게 경련의 위험을 줄이기 위한 권유를 할 수 있다’라는 성과는 전체 성과목표 틀 중에서 ‘임상역량’주제에 속하며 이 중에서도 ‘임상술기’영역의 두 번째 성과항목인‘환자에 대한 건강증진과 질병이나 장애예방을 할 수 있다’에 위치하고 ‘CS02’라는 코드가 부여되며, ‘경련’과 연관된 다른 임상성과들도 4가지 영역과 하부항목에 배치가 된다. 또한 ‘경련’은 의-과학주제의 기초의학영역 가운데 ‘뇌의 전기활동에 대한 기본적인 이해’라는 성과에 배치되는 등 4가지 영역에 여러 기초의학 성과들이배치되는데, 다만 모든 영역에 빠짐없이 성과가 배치될 필요는 없다. 마지막으로 각 임상표현에는 빈도와 치명도에 따른 질환명과아울러 흔하지는 않지만 교육적인 의미가 큰 질환명이 열거된다.쉐필드 모델의 특징은 임상진료성과뿐 아니라 의-과학역량도 중시하였으며 그 방법으로 94개의 임상표현들을 매트릭스 틀의 항목으로 활용하여, 각 임상표현 제목하에 임상 및 기초의학의 성과들을표시함으로써 성과바탕교육과정의 구조를 보다 단순화하고 실용성을 높인 점이라고 할 수 있다.



브라운 의과대학, 미국


AAMC는 1985년도에 GPEP 보고서를 통해서 미국 내 의과대학의 교육과정에 성과개념을 도입할 것을 권하였으나 실제 이를 실행하는 대학들은 그 수가 많지 않았는데, AAMC는 미국에서 성과바탕교육과정의 도입이 늦어지는 이유에 대한 보고서를 1992년도에발행하기도 했다. 이러한 상황에서도 브라운 의과대학은 1990년부터 성과바탕교육과정에 대한 논의를 시작하여 1996년에 이를 완전히 실행하고 ‘MD2000’라는 이름을 붙이게 된다(Smith &Dollase,1999). 브라운 모델은 크게 ‘능력(abilities)’과 이의 기본이 되는 ‘의학지식(medical knowledge)’, 그리고 ‘수행바탕평가(performan cebased assessment)’의 3가지 틀로 구성되어 있다.

  •  ‘능력’ 틀은 성과를 의미하는데, 1) 소통, 2) 기본임상술기, 3) 기본의학의 임상적용, 4)진단, 관리, 예방, 5) 평생학습, 6) 전문가의식 개발과 자기성장, 7) 사회 및 지역사회 보건, 8) 도덕추론과 의료윤리, 9) 문제해결 등 9가지를 제시하고 있다. 이러한 9가지 ‘능력’ 성과항목에 ‘지식’항목은 제외하였는데 이는 교육과정 개발 초기에 있었던 대학 내부의 성과항목 도출작업 시, 지식이 모든 성과항목에 기본적으로 녹아야 하는 것으로 합의되었기 때문이다. 
  • 그리하여 ‘의학지식’은 교육과정전체 구조에서 ‘능력’ 즉 성과 틀과는 별도로 제시되며, 기초의학분야는 ‘세포/분자’부터 ‘지역사회’까지를 수평축으로, ‘구조’부터‘기능’까지를 수직축으로 하는 통합체계와, 임상의학 분야는 ‘예방’부터 ‘응급’까지를 수평축으로, ‘임신/태아’부터 ‘노인’ 연령까지를수직축으로 하는 통합체계로 구성하고, 이 두 가지 체계를 다시 통합하는 제목하에, ‘지식’의 구체적인 대상항목들을 제시하였다. 

각 성과의 성취수준은 3가지로 나누어 기본(basic), 중간(intermediate),발전(advanced)단계로 구분하여 각각의 항목명이나 혹은 내용을 기술하였으며 모든 학생은 모든 성과항목에 대하여 ‘기본’과‘중간’단계의 성취인정서(certificate)를 받아야 하고 ‘문제해결’과기타 3가지 성과항목에 대해 ‘발전’단계의 성취인정서를 받아야만졸업을 할 수 있다. 이러한 성취인정서는 학점과는 별개로 운영되며지필시험보다는 각종 수행평가를 통하여 이루어지는데 학생에 대한 평가는 중앙에서 학생을 직접 평가하는 것이 아니라 각 과정 교수진이 평가를 하되 중앙의 평가위원회는 평가과정을 모니터링하고 개발과 운영을 지원하는 역할을 하게 된다. 또한 학교 당국은‘MedPlan MD2000’이라는 온라인 프로그램을 제공하여 학생들이 자신의 성취단계를 계획하고 모니터링할 수 있도록 하고 있다.브라운 모델의 특징은 ‘지식’ 틀을 별개로 운영하고 있으며, 각각의성과항목은 단계별로 성취 여부를 인정받도록 하고 이를 진급과 졸업사정에 적용하며, 평가는 지필시험 외에 표준화 환자, 이-러닝, 동영상, 지역사회 보건사업 수행평가 등의 수행바탕평가방법을 활용하는 점 등이다(Smith et al., 2003).



인디아나 의과대학, 미국


브라운 대학의 성과바탕교육과정 모델을 근간으로 하여 자신의구성원과 환경에 맞추어 개발하였다고 하는 인디아나 의과대학 모델은, 브라운 모델과 비교하여 우선 9가지 ‘능력’ 즉 성과제목의 구성이 약간 다른데 브라운 모델의 3) ‘기본의학의 임상적용’, 4) ‘진단,관리, 예방’ 성과제목이 하나로 합쳐졌고, 6) ‘전문가의식 개발과 자기성장’ 성과제목은 ‘자기인식, 자기관리, 자기성장’과 ‘전문가의식과 역할인식’이라는 두 가지 성과제목으로 나뉘었다(Table 1). 가장 큰 차이점은 ‘지식’을 별개의 틀로 제시하지 않고 각각의 성과제목안에 구체적으로 제시하고 있는 점으로서 이는 전체 틀을 보다 단순화하는 효과가 있다. 졸업을 하기 위한 성과 달성기준은 모든 성과제목에서 ‘기본’과 ‘중간’수준을 달성하고 아울러 3가지 성과제목에서 ‘발전’단계를 성취해야만 한다. 다른 특이점으로는 ‘지식’이나 성취수준의 내용기술에서 미국 의사면허시험의 평가목표나 구성제목들을 인용하고 있으며, 각 성과항목에 다양한 평가도구들을 활용하는 점을 들 수 있다(Indiana University School of Medicine,2013).



뉴사우스웨일스 의과대학, 호주


뉴사우스웨일스 의과대학(University of New South Wales, UNSW)은 기존의 과목중심교육과정을 개정하는 계기에 성과중심교육과정을 도입하기로 하는데 이는 이러한 교육과정에 대한 세계적인 확산 분위기 외에도 호주 의과대학 인증기관인 호주의사협의회(Australian Medical Council)과 국제의학교육기구(Institute of International Medical Education)에서 의사의 역할과 역량(성과)을규정하고 강조하고 있는 점, 그리고 그동안 문제바탕학습법이 정착되고 확산된 점 등의 환경변화에 기인했다고 밝히고 있다(McNeilet al., 2006). UNSW 성과바탕교육과정의 기본정신은 졸업생들이성인학습이론에 따른 평생학습의 자질을 갖추도록 하는 것으로서,졸업성과를 ‘지식’이나 ‘술기’의 의미가 보다 강조되는 기계론적 표현인 ‘competency’보다는 성취가능성을 포함하는 ‘capability’로 표현하고자 했으며 8개의 일차 성과 중에서 ‘의사소통’, ‘팀워크’, ‘자기주도’, ‘성찰’ 등 4가지 일반 역량을 핵심 성과로 규정하고 이들은 의학지식과 술기에 해당되는 다른 4가지 역량, 즉 ‘진료에 기초임상지식의 적용’, ‘보건과 건강의 사회문화적 이해’, ‘환자진료’, ‘윤리-법의이해’ 성과들의 밑바탕을 이루는 것으로 규정하였다. 또한 8가지일차 성과는 3개 영역으로 재분류하여 동심원구조로 표현하기도하였는데 가장 중심에는 ‘자기주도’, ‘윤리적 소양’, ‘성찰’ 성과 등‘개인 자질’영역을, 이를 둘러싼 ‘소통능력’영역은 ‘의사소통’과 ‘팀워크’ 등 2개 성과로, 나머지 성과인 ‘기초임상지식의 진료에의 적용’, ‘보건과 건강의 사회문화적 이해’, ‘환자진료’ 성과 등은 가장 외부로 나타나게 되는 ‘지식과 술기의 적용’영역으로 표현하기도 했다. 6년 교육과정은 2년씩의 독립된 3시기로 구분하여 각 시기별로비교적 독립된 교육과정과 평가체계를 운영하는데 각 시기 안에서는 두 년차가 함께 소그룹학습을 하도록 하고 있다. 

  • 입학 후 첫 2년은 ‘scenario-based learning’시기로 전통적인 문제바탕학습법과유사한 형태이기는 하지만 보다 구조화되어 있고 개별학습 부분도증례, 학생이나 교수에 따라 다양한 지침들이 주어진다. 
  • 다음 2년은 ‘practice-based learning’시기로 학교수업과 임상실습이 함께 이루어지는 학습일정을 창안하였는데, 예를 들면 일주일마다 새로운임상표현 주제가 주어지는데 이에 대한 의학 및 정신-사회 이론수업이 학교에서 이루어지는 일정 후에, 주제와 관련된 증례를 임상현장에서 경험하도록 하는 실습일정을 편성하여 주어진 주제에 대한 이론과 실제적인 학습이 이루어지도록 하고 있다. 
  • 마지막 2년은‘independent reflective learning’시기로서 전적으로 임상실습을 하게 되는데 총 10개의 임상실습모듈을 순환하면서 실습한다. 모든시기는 각각의 성과에 대한 다양한 평가가 진행되며 종단적인 포트폴리오도 활용하고 있다. 

UNSW 모델의 특징은 학생의 자기주도학습능력을 극대화한다는 일관된 목표 아래, 성과항목과 시기별학습방법 및 평가 등을 편성하고 시행하는 점이라고 할 수 있는데,이러한 시기별-학생별-독립적-학생 주도적 교육과정에서 혹시 발생할 수도 있는 학습내용의 결손이나 차이를 극복하기 위하여, 학교 당국은 교과목 바탕의 ‘content stream’ 그룹을 만들었는데 이들을 통하여 통합과정의 내용을 모니터링하고 협의하며, 필수지식내용을 명확하게 적시한 교육과정 map을 web에 제시하고, 또한 매시기별로 학생평가에 이 내용을 포함하도록 하고 있다.



기 타


캐나다에서는 일찍이 전문의사협회(Royal College of Physiciansand Surgeons in Canada, RCPSC)에서 미래에 바람직한 의사의 역할과 관련한 논의를 시작하여 1996년도에 성과바탕의학교육이론을 근간으로 하는 7가지 CanMEDS roles을 제창하고 이 역할 틀로부터 RCPSC에 소속된 전문의의 공통역량을 규정하였는데 이는점차로 전문의뿐 아니라 전공의교육 및 학부교육의 교육과정에도적용되었으며, 2005년에 발표된 ‘CanMEDS 2005 framework’ 안의 의사역량항목들은 캐나다의 모든 의과대학에서 교육과정의 성과목표 및 학교인증에도 그대로 적용되고 있다. 7가지 CanMEDS역할은 ‘의료전문가(medical expert)’, ‘소통자’, ‘협력자’, ‘관리자’,‘보건증진자’, ‘학자’ 및 ‘직업전문성’이며 각 역할에는 핵심 성과항목과 세부역량들이 나열되어 있는데 이들을 학부의 의학교육 및학생평가뿐 아니라 의사면허시험, 전문의 및 가정의 자격시험의 평가목표 및 의사평생학습 프로그램에도 적용을 함으로써 캐나다의대 학부교육-졸업 후 전공의 교육-평생교육 등 캐나다 의사인력전체 교육체계의 성과지표로 활용되고 있다(Frank &Danoff, 2007).

유럽에서는 유럽 통합 이후에 역내 고등교육 발전과 학위통합을 목표로 한 ‘볼로냐 선언’을 지원하고 고등교육 분야의 조화를 증진할목적으로 핵심 공통역량을 도출하기 위한 ‘Tuning Project’가 2000년도에 시작되었다. 2004년도부터는 의학교육 분야의 실무위원회활동이 시작되어 현재 두 단계의 환자진료와 관련된 성과체계 및이와 별도로 ‘Medical Professionalism’ 성과체계를 제시하고 있다(Tuning Project-Medicine, 2013). ‘수준-1’의 성과는 ‘환자진찰’ ‘환자평가’, ‘응급진료’, ‘약 처방’, ‘임상술기’, 의사소통‘, ‘윤리-법’, 정신-사회적 평가’, ‘근거바탕진로’, ‘정보활용’, ‘진료와 연구에 과학적용’,‘인구-보건’ 등 12개 주요 분야의 역량이며 각 역량항목에 다시 ‘수준-2’의 세부성과들을 제시하고 있다. 한편 ‘Medical Professionalism’성과체계는 ‘태도’, ‘업무’, ‘doctor as a expert’, ‘global doctor’등 4영역과 각 영역에서의 세부성과를 제시하고 있다. 이러한 성과내용들은 역내 의과대학의 교육목표와 교육과정 개발, 교수-학습수행, 학생평가 등에 성과항목으로 활용할 것을 권하고 있다(Cumming& Ross, 2007).



결 론


의생명과학과 의료영역의 비약적인 발전과 환경의 변화는 의과대학 교육과정에서 전통적인 의학과목과 연계된 학문중심 풍토로부터, 보다 실용성을 띤 ‘졸업 시 성과’를 바탕으로 한 교육과정 개발, 교수개발과 이에 맞는 교수-학습법 실행 및 평가 등을 통하여의학교육 전반에서의 개혁을 이끌었다(Harden, 2002). 이러한 성과바탕의학교육을 선도했던 영미권의 5개 의과대학들의 교육과정개발과 그 내용을 살펴볼 때, 각 학교와 해당 국가의 의료제도나 환경의 차이에 기인한 여러 가지 다른 점이 있었으나, 다른 한편 의과대학 교육과정의 졸업성과로서 진료역량 외에 의사소통, 관리능력,평생학습자질을 포함한 자기계발, 사회책무성, 전문직의식 등 미래지향적이고 다양한 의사의 역할을 포함하고자 하는 것은 공통적이었다. 

  • 선구자 역할을 했던 영국의 던디대학을 비롯한 스코틀랜드 5개 의과대학 협력작업의 결과인 ‘Scottish Doctor’와 미국 브라운의과대학의 성과바탕교육과정 모델은 각기 성과의 구조, 내용 기술 및 실행 동력 면에서 독특한 체계를 창안하였으며 
  • 후발주자인영국의 쉐필드 의과대학과 미국의 인디아나 의과대학의 성과바탕교육과정 개발은 각기 이전의 모델을 바탕으로 보다 간편하고 실용적인 자신의 모델을 만들어 실행하고 있음을 알 수 있었고 
  • 호주의UNSW 모델은 그 어느 학교보다 학생주도의 성격이 강한 성과바탕교육과정을 개발하여 운영하고 있다. 


한편 영국, 호주, 캐나다 등은 국가적 수준에서 성과바탕교육과정이 개발되고 운영되도록 강제하는 측면이 있는 반면 미국은 아직 학교 단위의 자발적인 개발이 이루어지고 있었다. 


졸업성과의 도출작업은 대부분 유사한 과정으로 진행되었으나 이후 교육과정 안에 실제 적용하는 단계에서는대부분의 성과가 정해진 수준과 단계에 배치되고 이에 따른 교수-학습 및 평가활동이 완벽한 매트릭스로 적용되어 있는 경우부터,부분적인 적용구조에 머문 경우까지 다양했으며, 또한 지식 기반의 학문내용의 충전을 위한 다양한 방법을 부가하는 경우도 있었는데 이는 이 글에서 다룬 학교의 모델뿐 아니라 일반적인 현상일것이다(Gruppen, 2012). 하지만 성과바탕교육과정 개발은 실제적인 어려움에도 불구하고 교수-학습자 모두에게 학습목표를 보다명확하게 제시하고, 성인교육이론에 보다 합당한 개별성취지향적인 학습의 유연성을 부여하며, 보다 객관적이고 보편적인 평가를가능하게 하는 등의 장점이 있기 때문에 앞으로 한동안은 교육과정 개혁을 하는 세계 어느 의과대학이건 교육과정을 개발할 때 ‘성과바탕교육과정’의 핵심 가치와 실행요소들을 포함하는 방향으로전개될 것이다.





In medicine, rapid changes in information, technology, socio-economic interests, and globalization affect the

medical education focused on the competencies of doctors, and the number of medical schools that are adopting

an outcome-based curriculum (OBC) is increasing worldwide. This paper introduces the OBC model of 5

trailblazing medical schools from the UK, US, and Australia, comparing their unique features, followed by brief

comment about Canada and the EU as well. On developing an OBC, the process of establishing the top outcomes

for graduates is similar and the outcomes comprise knowledge, skills, and attitudes about science, patients,

colleagues, society, and themselves. Implementing the outcomes down into the sub-levels of the curriculum

is much more complicated and time-consuming. Assessing the achievement of every outcome is essential

and requires the use of many tools in addition to the traditional written examination. From the perspective of

adult learning theory, self-directed learning, team-learning, and individual and flexible achievement are tested

and executed in an OBC. The gradual expansion and further innovation of an OBC is expected so that tomorrow’s

doctors will be able to meet the challenges of the future.


Keywords: Education, Medical, Undergraduate

성과중심교육과정 개발절차에 대한 고찰

An Outcome-Based Approach in Medical Curriculum Development

안재희·양은배

연세대학교 의과대학 의학교육학과

Jae Hee Ahn · Eunbae B. Yang

Department of Medical Education, Yonsei University College of Medicine, Seoul, Korea



서 론

1910년 Abram Flexner의 미국 의학교육의 개혁이 시작된 이후지난 100년 이상 동안 기초의학과 임상의학의 학문성을 강조하는학문중심교육과정이 21세기 의학교육의 큰 흐름을 이루고 있었다.21세기 지식정보화사회는 신자유주의 물결과 함께 교육에서도 학문중심보다는 교육의 실용성을 강조하게 되었고, 교육의 궁극적인결과 또는 성과를 강조하는 패러다임이 의학교육의 새로운 변화의축이 되고 있다. 미국의과대학협의회의 학술대회, 유럽의학교육학회, 아시아의학교육학회 등에서 성과중심교육과정에 대한 학술적논의와 의과대학에서의 개발과 적용 사례들이 공개되고 있다(Association of American Medical Colleges, 1998; Rhee &Park, 2012;Smith &Dollase, 1999). 우리나라 의과대학에서 성과중심교육에대한 관심은 재단법인 한국의학교육평가원이 2012년 2월에 “Post2주기 의과대학 평가인증기준”을 발표하면서부터라고 할 수 있다.이 평가기준은 모든 의과대학 및 의학전문대학원들이 졸업생들이보여주어야 하는 성과를 분명하게 기술하고, 이를 교육과정에 반영하고, 체계적으로 평가할 것을 요구하고 있다. 이제 성과중심의학교육은 모든 의학교육기관의 일차적 관심이 되었다.


교육적 상황에서 성과는 어떤 사람이 정해진 과정을 이수하는시점에서 무엇을 할 수 있어야 하는지 학습의 궁극적인 결과를 실연하는 것으로 정의된다(Davis, 2003). 성과중심교육은 학생들이졸업시점에서 보여주어야 하는 결과들을 중심으로 교육과정을 결정하는 접근법이라고 할 수 있다. 성과중심교육과정은 교육의 과정(process)보다는 결과(product)를 강조하고(Harden et al., 1999a),무엇을 알고 있는가(what to know)보다는 무엇을 할 수 있느냐(what to do)와 어떻게 하느냐(how to do)를 강조한다. 성과중심교육과정은 교육이 끝나는 시점에 학습자들이 달성해야 하는 최종 성과(exit outcome)를 중심으로 학습자의 역량개발을 교육과정의 핵심에 두기 때문에 성과중심교육과정 또는 역량중심교육과정이라는 용어가 혼용해서 사용되기도 한다(Cumming &Ross, 2008). Spady(1988)가 언급했듯이 성과중심으로 교육과정을 개발한다는 것은학생들이 수업을 마칠 때 보여야 하는 최종 성과들을 바탕으로 교육과정을 개발하고 수업을 디자인하는 것이다. 그러므로 기존의 계통중심이나 과목중심의 전통적 교육과정 개발절차와는 다르다.가장 먼저 교육과정이 끝나면 달성해야 하는 교육적 성과들이 구체적으로 개발되어야 한다. 그 성과는 교육과정의 목표뿐만 아니라학년별 교육목표, 개별 과목의 학습목표와 자연스럽게 연결되어야하고 교육과정을 이수한 학생들이 이 성과에 잘 도달했는지를 평가하기 위해 구체적인 행동지표로 제시되어야 한다.


성과중심교육과정은 전통적인 교육과정과는 전제와 출발점이다르다. 예를 들어, 전통적 교육과정에서는 정형화된 시간의 틀 속에서 학습목표들이 다루어진 반면, 성과중심교육과정에서는 정형화된 성과를 달성하기 위해서 시간적 융통성을 갖고 학습자들의완전학습과 학습의 개별화를 추구한다. 평가체제 또한 상대평가보다는 평가의 준거에 기반한 절대평가가 핵심개념이다. 그럼에도 불구하고 성과중심교육과정을 어떻게 개발할 것인가에 대한 연구는부족한 것이 현실이다. 성과중심교육과 관련한 선행 연구들은 기업 및 공공기관에서 직원역량을 강화하기 위한 역량모델링연구가많으며(Choi, 2002; Kim, 2001; Ministry of Public Administrationand Security, 2008; Yoon, 1998), 대학에 적용된 연구들(Chae, 2009;Kang &Lee, 2003; Lee, 2002; Oh, 2012; Park, 2004) 역시 성과중심또는 역량중심교육과정의 필요성 및 의미에 초점을 맞춘 연구들이많았다. 외국의 경우에도 도출된 성과중심교육과정을 소개하는연구들이 많았다(Davis et al., 2007; Frank &Danoff, 2007). 따라서 현존하는 교육과정을 성과중심교육과정으로 전환하려는 의과대학의 입장에서 어떤 절차를 거쳐 교육과정을 개발하고, 각 단계마다 어떤 부분을 고려해야 하는지, 추출된 교육성과들을 실제 교육과정과 어떻게 연계해야 하는지에 대한 실질적인 개발방법론을 파악하기가 쉽지 않다. 기존의 교육과정을 성과중심교육과정으로전환, 개발하기 위해서는 개발방법론에 대한 폭넓고 깊이 있는 이해와 실제 장면에서의 적절한 적용이 병행되어야 한다. 방법론에대한 몰이해는 실천에서의 오류를 초래할 것이고 실천이 결여된 이론은 현장적용에 필요한 구체성을 제공할 수 없다(Lee, 2002). 이와같은 배경에서 이 연구는 의과대학들이 성과중심으로 교육과정을개발할 때 활용할 수 있는 개발절차와 방법을 제시하는 것을 목적으로 하였다.



성과중심교육과정 개발접근법


성과중심교육과정을 개발하는 하나의 정형화된 방법이 있는 것은 아니다. 개발방법은 각 대학의 교육목적과 대학문화, 성과의 활용방법과 범위 및 대학이 갖고 있는 인적, 물적 환경에 따라 각기 다른 방법들이 사용될 수 있다. 그럼에도 불구하고 Rothwell &Lindholm(1999)는 성과중심교육과정을 개발하는 세 가지 방법을 제시한 바 있다. 

    • 첫째는 다른 대학이나 조직에서 규정한 특정 성과와 역량들을 빌려서 사용하는 모방적 접근법(borrowed appro ach), 
    • 둘째는 다른 대학이나 조직에서 규정한 성과역량을 모방하되, 대학이나 조직문화에 수정 보완하는 모방맞춤법(borrowed and tailed approach), 
    • 셋째는 대학이 독자적으로 각 대학에 맞는 성과와 역량을 도출하는 맞춤법(tailed approach)이다. 

그러나 성과중심교육과정을 개발하는 대부분의 경우 처음부터 대규모 조사연구를 통해 독자적인 맞춤법 전략을 사용하는 경우는 많은 비용과 시간이 소용되고, 성과와 역량을 타당화하는 과정이 어렵기 때문에 국가적차원의 대규모 조사연구가 수반되지 않는다면 쉽게 달성하기 어려운 측면이 있다. 특히 의과대학의 경우 좋은 의사를 양성하는 공통의 목표를 갖고 있기 때문에 졸업생들이 보여주어야 하는 성과영역과 이를 위해 졸업생들 갖추어야 하는 역량들이 대학마다 크게 다르지 않는 것이 사실이다. 그렇기 때문에 성과중심교육과정 개발의 출발은 대부분은 모방적 접근법이 채택되는 것이 일반적이다. 그러나 모방적 접근법을 통한 성과 및 역량개발이 완벽한 것은 아니다.의학교육기관에 따라 대학설립의 목표, 고유한 미션과 비전을 갖고있고, 대학의 특성화를 추구하는 관점에서 따라서 졸업생들이 보여주어야 하는 성과와 역량이 다를 수 있다. 이러한 점들을 고려한다면 대부분의 의과대학이 성과중심교육과정을 개발하는 전략은 모방맞춤법이 채택되고 있는 것이 현실이다. 


한편, Briscoe &Hall(1999)은 현존하는 성과 및 역량개발접근법을 Rothwell &Lindholm(1999)과는 다른 관점에서 연구기반접근법(research-basedapproach), 전략기반접근법(strategy-based appro ach), 가치기반접근법(values-based approach)으로 구분하였다. 

    • 연구기반접근법은 행동연구법으로 실무현장에서 높은 성과를 나타내는 사람들을 면담하고, 이들이 높은 성과를 나태는 핵심요소 또는 역량이 무엇인지를 규명하는 방법이다. 일반적으로 행동사건면담법(behavioral event interview)의 일차적인 목적은 높은 성과를 나타내는 사람과일반적인 성과를 보이는 사람을 구별하는 데 일차적인 관심이 있다.이러한 연구기반접근법의 결과는 보통 4-8개의 핵심역량, 12-24개의 이차역량 및 50-100개의 행동지표로 개발된다. 
    • 전략기반접근법은 성과와 역량을 개발하는 과정에 대학의 미래지향적인 전략적방향이 중요하다. 따라서 이 접근법은 현재 사람들이 갖고 있지 않는 기술이나 태도이지만 미래에는 요구되는 것이 무엇인지를 규명하여 성과와 역량으로 정의한다. 전략기반접근법은 새로운 기술이나 역량의 학습에 초점을 둔다. 
    • 마지막으로 가치기반접근법은 성과와 역량이 일차적으로 조직이 추구하는 문화적 가치와 관련되어있는 경우이다. 예를 들어, 정직, 타인에 대한 배려, 협동정신 등 조직이 우선시하는 가치이고, 이러한 가치들의 안정성, 지속성을 중요한 성과와 역량으로 보는 경우이다. 이러한 가치기반접근법은 성과를 도출하는 측면에서 강한 동기를 제공할 수 있기는 하지만, 이러한 성과와 역량을 개념화하여 교육과정으로 개발하기에는 어려움이 있다.


성과중심교육과정 개발에 대한 다양한 접근법들이 실제적인 교육과정 개발모형을 제시해 주는 것은 아니다. 어떤 접근방법을 채택하든지 교육과정을 개발하기 위해서는 이론적인 개발모형이 필요하다. 전통적으로 교육과정을 개발하기 위해 사용되어온 이론적모델은 R. W. Tyler의 목표중심모형이다. 이 모형은 교육과정을 개발하기 위해 요구분석, 목표설정, 목표달성을 위한 경험의 선정, 경험의 조직과 목표의 평가 등의 단계를 갖는다. 국내외 많은 의과대학들이 기본적으로 이러한 모형에 기초하여 교과목중심의 학문중심교육과정, 통합중심교육, 문제중심교육과정을 개발하여 적용하여 왔다. 성과중심교육과정 개발모형은 졸업생들이 보여주어야 하는 성과의 개발 및 이러한 성과를 보여주기 위한 역량의 개발로 시작한다. 영국의 던디 의과대학은 이것을 “The design down process”로 개념화하였다(Harden, 2007). 이러한 성과중심교육과정모델은 이후 브라운 의과대학(Brown University College of Medicine),인디아나 의과대학(Indiana University), 사하라 의과대학(Sahara University), 호주의 뉴사우스웨일즈 의과대학(New South Wales University) 등에서 채택되었다.




성과중심교육과정 개발단계


성과중심교육과정은 졸업생들의 성과에 주목하고 이를 성취하기 위해 요구되는 역량을 교육내용 또는 학습경험으로 다룬다. 그러므로 성과중심교육과정을 개발하는 것은 전통적으로 목표를 설정하고, 목표에 기반한 교육을 실시한 후 교육의 성과를 측정했던전통적인 교육과정 개발작업과는 매우 다르다(Kim et al., 2010).Table 1은 성과중심교육과정 개발단계를 전통적인 교육과정 개발단계와 비교해 보면 다음과 같다. 물론 성과중심교육과정 개발단계를 더 세분화하거나 단순화하는 것도 가능하지만, 일반적으로 성과중심교육과정을 개발할 때 해야 하는 일을 중심으로 단계를정리한 것임을 밝혀 둔다.





1. 직무 및 고성과자 특성분석


성과중심교육과정을 개발하기 위해서는 다양한 측면에서 자료를 수집할 필요가 있다. 실제 교육과정 개발과 관련된 요인들은 여러 가지가 있으나 의사직무에 대한 기초 정보, 우수성과에 대한 기대치, 우수한 성과를 보이는 의사의 행동사례, 우수한 성과를 달성하는 데 필요한 능력 등에 대한 직무 및 고성과자의 특성을 분석하는 것이 중요하다. Foster (1998)는 직무와 관련된 중요한 정보제공을 목적으로 정보를 수집하고 종합적으로 분석하고 평가하는 체계적 과정을 직무분석(job analysis)이라고 하였다. 성과중심교육과정에서 이러한 직무분석을 진행하는 이유는 단순히 의사의 직무절차나 단계, 구성요소를 분석하는 것을 넘어서 성과를 증대(performance improvement)시키는 것이기 때문에 성공적인 직무를 수행하는데 필요한 작업들을 분석해 교육과정 개발에 기초로 반영하는 것이 중요하다. 따라서 의료 분야에서 우수한 직무성과는 무엇인지, 우수한 성과자는 누구인지에 대한 정의를 내리고 그들의직무수행역량에 초점을 두어 그들이 특정 업무를 수행할 때 지속적으로 보여주는 지식, 술기, 태도 그리고 개인의 특성, 동기 등 심층적인 요소를 확인한다. 이러한 우수성과에 대한 자료를 수집하고정의하는 것은 해당 직무의 역량을 도출하는 기준을 수립하는 데매우 중요한 기초자료가 된다.


하지만 고성과자 및 우수한 성과에 대한 정의는 고정된 것이 아니라 교육 내외적 환경이 변화됨에 따라 변화될 수밖에 없다. 따라서 의학교육에 영향을 주는 내외적 환경을 동시에 고려해 교육과정 개발의 필요성과 방향을 확인하는 것이 중요하다. 

  • 교육과정에영향을 주는 내적 환경으로는 대학의 설립이념 및 인재상, 학습자의 특성, 교육에 대한 교수의 열의 및 교수트랙제도, 졸업생들의 진로, 대학의 시설 및 예산 등이 있다. 대학의 설립이념 및 인재상은대학이 추구하는 궁극적인 지향점을 함축적으로 나타내는 경우가많기 때문에 교육과정을 개발하는 데 중요한 자료가 된다. 
  • 또한 성과중심교육과정은 학습자의 교육성과달성 여부가 중요하기 때문에 학습자의 특성 및 능력과 교육적 요구 등을 고려할 필요가 있는데 이때 활용할 수 있는 자료로는 그동안 학생들을 대상으로 실시해 온 적성검사, 진로조사, 졸업설문조사, 학업성취도검사 자료 등을 활용하거나 학년별로 포커스 집단을 구성해 그들과 직접면담을통해 자료를 조사할 수 있다. 
  • 한편, 외적 환경으로는 의사의 인력수급 동향, 의료계의 주요 이슈, 국가의 의료정책의 방향 등을 분석할수 있다. 성과중심교육과정이 의료환경의 변화에 따라 조직에서 최근 또는 미래에 필요한 역량을 규명하고 중요성이 감소되는 능력을교육과정에서 배제시킴으로써 의학교육의 경쟁력을 확보하는데있다고 할 때, 현재 각 대학이 직면한 문제에 초점을 맞추고 있는 내적 환경분석만으로는 미래에 예상되는 요구를 고려하지 못할 수 있다. 따라서 의학교육을 둘러싼 외적 환경분석을 통해 변화하는 의료환경에서 요구되는 새로운 직무수행에 필요한 역량을 추출할 수있을 것이다.



2. 성과와 역량개발


성과와 역량을 설정하는 것은 성과중심교육과정 개발의 가장핵심이 되는 단계이다. 모방적 접근법이든 맞춤접근법을 사용하는경우이든 대개 1-2년의 시간이 소요된다. 비교적 단시간에 대학이추구하는 성과와 역량을 개발했다고 하더라고 일차로 개발된 성과와 역량을 타당화하는 작업이 반드시 전제되어야 하기 때문이다.Harden et al. (1999b)은 가장 먼저 의과대학 학생들이 졸업하는 시점에 보여주어야 하는 졸업성과(exit outcome)를 개발해야 하고,졸업성과에 기초하여 특정 시기(phase outcome), 과정(course outcome)또는 수업별(lesson outcome)로 성과를 세분화하여 규정할수 있음을 지적한 바 있다. 시기별 또는 과정별로 세분화한다는 것은 졸업성과가 어느 순간에 갑작스럽게 보일 수 있는 것이 아니기때문에 졸업성과의 성취수준을 구분하여 단계화하거나 졸업성과를 세분화하여 그것을 특정 시기까지 달성하도록 규정하는 것을의미한다. 

  • 시기별 성과는 대학의 교육과정 편성구조에 따라 나누는 것이 일반적인데, 학년별로 성과를 규정하거나, 기초의학, 임상의학 및 임상실습시기로 구분하는 경우도 있다. 단위과정별 성과는 대부분 특정 교과목의 성과를 의미하는데, 해부학, 생화학 등의성과로 표현되거나, 통합과목의 경우에는 순환계통, 호흡계통, 내분비계통 등에서의 성과를 의미한다.
  • 과정별 성과는 전통적인 교육과정에서 과목의 목표로 표현되었던 부분과 밀접하게 관련되어 있는데, 이를 과목을 종료하는 시점에서 학생들이 보여주어야 하는 성과의 개념으로 진술한 것으로 볼 수 있다. 이것은 수업성과의 경우에도 동일하다.
  •  수업은 의도된 학습성과들이 성취되도록 어떤 방법과 수단을 강구하는 가장 작은 단위라고 할 수 있으며 수업이 끝날때 학생들이 달성해야 하는 성과를 중심으로 수업이 조직되어야한다.


이러한 성과를 수행하기 위해서는 성과수행역량을 갖고 있어야한다. 역량은 성과달성을 위해 학생들이 습득해야 하는 지식, 술기,태도 등 총체적인 행동특성이다. 일반적으로 역량은 행동지표(behavior indicator)로 표현된다. 그러므로 실제 조사된 의사들의 행동사례를 중심으로 고성과 의사들이 보여주는 일관된 행동특성이나 사례를 찾아내고 이를 지식, 술기, 태도 등의 구성요소로 체계적으로 정리하면 된다. 역량을 지식, 술기, 태도와 같은 핵심요소로 파악하면 미래 상황에서의 업무의 성격과 수행행동의 유형이 분명해지고 역량의 개발, 측정, 평가에 가장 중요한 준거가 되는 행동지표를 창출할 수 있는 초석이 될 수 있다(Lee, 2002). Table 2는 성과와역량을 추출하고 그에 대한 정의와 구체적인 행동지표로 작성할 때활용할 수 있는 예이다. 성과명을 작성할 때는 기억하기 쉽게 최대한 짧게 명명하는 것이 좋다. 성과에 대한 정의를 내릴 때도 이해하고 기업하기 쉽게 작성하며 해당 조직에서 통용되는 언어로 표현하는 것이 좋으며 핵심역량과 일관성을 갖는 것이 좋다. 역량 역시 성과의 정의와 일관성을 갖고 구체적인 행동지표로 제시하는 것이 바람직하다(Ministry of Public Administration and Security. 2008).





성과와 역량을 도출할 때 데이컴(developing a curriculum), 유관관계 도표작성법(affinity diagraming) 및 중대사건 면담법(critical incident interview) 등을 활용할 수 있다. 

  • 데이컴은 직무분석방법중 하나로 특정한 직책이나 직업 분야에서 수행해야 할 작업의 내용과 필요한 능력을 파악하여 해당능력을 기반으로 교육과정을 개발하는 방법이다(Norton, 1997). 가령, 데이컴 분석가와 의료 분야의 최고 업무수행자들이 워크숍과 설문방법을 통해 그들이 의사로서 실제로 어떤 과제를 수행하는지를 분석, 도출하고 해당 과제수행에 필요한 지식, 술기, 태도를 추출한다. 
  • 유관관계 도표작성법은 처음 출발점을 해당 역할에서 바람직하게 내야 하는 결과를 분명하게 정의하고 시작한다는 것을 제외하고는 데이컴방법과 거의 거의 유사하다(Lee &Chung, 2001). 고성과를 보이는 의사나 교수들을 대상으로 자유로이 브레인스토밍을 하여 바람직한 의사로서 갖추어야 하는 직무성과를 도출해내게 하고 도출된 직무성과들을유목화한 후 중요도에 따라 5개 내외의 필요 역량을 선정하여 우선순위를 결정한다. 
  • 중대사건 면담법은 데이컴이나 유관관계 도표작성에서는 도출되지 않은 업무수행과 관련된 환경적이고 상황적인맥락을 점검하는데 유용하다. 직무수행자들을 대상으로 직무를가장 성공적으로 수행되었을 때와 실패했을 때의 이야기를 들어가장 많이 언급되는 공통된 내용을 성과와 역량으로 도출하는 것이다(Kim et al., 2010).


성과와 역량이 추출되었다면, 추가적으로 타당성을 확보하는 작업이 필요하다. 위에서 논의한 다양한 접근방법을 사용하여 성과와 역량이 도출되었다고 하더라고 대부분 전문가 그룹이나 제한된표본을 대상으로 도출된 것이 일반적이다. 따라서 일차적으로 도출된 성과와 역량의 일반화 가능성을 높이기 위해서 좀 더 확장된 표본이나 실제 의사업무를 수행하는 의료진을 대상으로 설문조사를실시할 수 있다. 설문조사대상자로는 해당 직무의 다른 수행자, 상사, 외부전문가 등이며 이들로부터 추출된 성과와 역량의 중요도와 우선순위를 부여하여 일차로 개발된 성과와 역량을 타당화한다. 브라운 의과대학 역시 1차로 추출된 성과 및 역량을 타당화하기 위해 전체 대학교수들을 대상으로 대규모 설문조사를 실시한바 있다(Smith &Dollas, 1999).


성과와 역량을 설정하는 과정에서 염두에 두어야 할 점은 교육과정 안에 의과대학 졸업생들이 진입하는 모든 분야를 포괄할 수있는 성과와 역량을 제시할 수 없다는 것이다. 각 의과대학마다 추구하는 교육목표 및 인재상 등을 고려해 도출된 성과와 역량 중 전략적으로 우선순위를 정할 수밖에 없는데 이것은 다른 의과대학과 차별화될 수 있는 부분이기도 하다. 또한 성과와 역량들 간에 중복되지 않도록 주의하면서 성과와 역량을 정의해야 하는데 이때‘어느 정도로 구체화해야 하는가’에 대한 문제에 직면하게 된다. 성과와 역량이 높은 수준의 추상성을 내포하고 있으면 구성원들 간에 논의가 용이하지만 실제 수업장면에서 교수자, 학습자, 평가자들 간에 다양한 해석이 나올 수 있기 때문에 실용적인 면에서는 바람직하지 않을 수 있다(McNeir, 1993). 반면에 지나치게 성과와 역량을 구체적으로 명시할 경우에는 성과와 역량 수가 많아지고 제한된 내용만을 지칭하는 경우가 많기 때문에 다양한 교과내용에적용하기가 쉽지 않다. 어떤 경우이든지 분명한 것은 기억하고 이해하기 쉬운 틀을 제공하는 구조는 성과들 간 비교를 용이하게 한다는 점이다. 영국의 던디 의과대학은 최종 성과를 건강과 질병, 개인과 대중 모두와 관련된 과제의 수행, 과제에 대한 접근, 개인계발 및프로페셔널리즘 등 세 개의 영역으로 단순화했다. 이 성과모형은의사로 일을 한다는 것이 단순히 과제를 수행하는 것이 아니라 과제에 대한 적절한 접근방식과 태도를 갖추고 있어야 한다는 것을분명히 제시한다고 하겠다.



3. 성취수준과 평가방법


성과와 역량이 최종적으로 선정되면 성과의 성취수준을 결정한다. 성과중심교육에서 가장 큰 장점은 학생들의 수행결과를 평가하기 위한 적절한 시스템을 디자인하고 시행하는 것이기 때문에 각성과 혹은 역량의 기준들이 명료하게 규정될 필요가 있다(Hardenet al., 1999a). 성과의 성취수준은 학생들의 성과달성을 평가할 때어떻게 어떤 준거로 평가할 것인지를 제시하는 틀이 된다는 점에서매우 중요하다. 성과의 성취수준을 조사하는 방법에는 여러 가지가 있지만 가장 많이 활용되고 있는 방법은 행위기준평정척도(behaviorally anchored rating scales)와 행위관찰척도(behavioral observation scales)이다

  • 행위기준평정척도는 역량발휘의 다양한 행동사례를 가지고 고성과자의 우수 행동과 초보자의 미숙한 행동을 행동수준별로 구분해 제시하는 형태의 척도이다. 
  • 행위관찰척도는 고성과자가 발휘하는 바람직한 대표행동을 역량별로 제시하는형태의 척도이다. 보통 3-6개의 대표행동을 제시하는데 각 행동에대해 피평가자가 실제로 보여주는 행동의 빈도와 강도를 점수로 매기고 그 평균값을 통해 역량수준을 파악한다(Ministry of PublicAdministration and Security, 2008).


Table 3에 제시된 것처럼 성과와 역량의 성취수준을 구분하는 일반적인 방법은 Miller (1990)가 제안한 피라미드모형을 사용하는것이다. 이 모형은 비교적 지식의 습득에서부터 행동에 이르기까지성취수준을 구분할 수 있는 장점이 있다. 다음의 Table 3은 Miller가 제안한 성과와 역량의 성취수준단계를 나타낸 것이다. Miller가제안한 성취수준 평가모델은 성과 및 역량을 평가하기에는 적합하지 않다는 비판이 있다. 그것은 성과 또는 역량이 지식, 술기 및 태도의 종합적인 형태로 표현되는 행동특성으로 기술되기 때문이다.이러한 비판이 어느 정도 타당성을 갖고 있음에도 불구하고 의과대학의 교육적 상황에서 성과와 역량을 평가하는데 이 모델은 상당한 유용성을 갖는다. 의과대학의 교육과정이 상당 부분 지식의습득, 지식의 응용, 지식의 적용 등으로 구분되는 학년별 단계적 교육모형을 채택하고 있다는 점과 역량이라고 하는 것이 어느 순간갑작스럽게 형성되는 것이 아니라 아래와 같은 단계를 통해 발달된다고 보는 견해 때문이다.





한편, Table 4에 제시된 것처럼 성과와 역량의 성취수준을 설정하고 평가하는 방법으로 Dreyfus (1981)가 제안한 5단계 모델을 적용할 수도 있다. 이 모델은 Miller가 제안한 4단계 모델의 마지막 단계인 ‘Does’의 수행형태를 초보자부터 전문가 단계까지 분류한 것으로 볼 수 있는데, Table 4와 같다. 이 모델은 성과와 역량의 성취수준을 판단하는데 비교적 효과적으로 사용할 수 있는 것으로 평가됨에도 불구하고 의과대학 1-2학년에서 대부분 이루어지는 의학지식교육에서는 적용하기 어려운 점이 있다는 것과 의과대학 학생들이 졸업하는 시점에서 전문가 수준의 성과와 역량을 보여주어야하는 것은 아니라는 점 때문에 비판을 받기도 한다. 즉, 의사들이의료서비스 현장에서 보여주어야 하는 성과 또는 역량은 의과대학졸업시점에 완성되는 것이 아니라 4-5년의 졸업 후 수련교육을 통해 완성되기 때문에 실제로 의과대학에서의 성취수준은 1단계 또는 2단계의 수준에서 활용됨으로써 학생들의 역량을 잘 구분해 주지 못하는 단점을 갖는다.





이런 점에서 Harden et al. (1999a)이 제안한 성과와 역량 성취수준의 판단준거는 비록 임상상황에서의 의사들이 수행해야 하는 술기와 관련된 것이기는 하지만 효용성이 뛰어나다. Table 5에 제시된것처럼 그는 의사들이 수행하는 임상술기와 관련하여 학생들이 보여주는 성취수준을 여섯 단계로 구분하여 제시하였다.





의과대학을 졸업하는 시점에서 성과와 역량의 성취수준을 결정하는 방법이 결정되었다고 한다면, 이러한 성취수준을 평가하는방법을 결정해야 한다. 많은 의과대학들이 학생들의 학업성취도를평가하기 위해 사용하는 방법은 사지선다 또는 오지선다의 객관식시험이 대부분이다. 임상실습과정에서도 학생들의 태도, 술기 및 태도 수행 정도를 객관구조화진료시험(objective structured ex amination)이나 임상수행평가시험(clinical performance exami nation)을사용하고 있기는 하지만 여전히 지필시험 비중 또한 높게 반영되고있는 것이 현실이다. 성과 및 역량중심교육에서 학생들의 역량 도달수준을 평가하기 위해서는 객관식 시험으로 충분하지 않다. 각각의 성과와 역량별로 최적의 평가방법이 선택되어야 한다. 이미 이러한 평가방법은 많이 개발되어 있기에 여기서 자세하게 다루지는않겠지만, 미국 졸업후수련교육인증위원회, 스코틀랜드 의과대학협회에서 발간한 성과 및 역량중심교육과정 사례를 살펴보면 성과또는 역량을 어떤 방법으로 평가할 수 있는지 사례를 찾을 수 있는데 임상행동직접관찰(direct observation clinical exam), 포트폴리오(portfolio), 객관구조화진료시험, 임상수행평가, 모의환자 기반시험(simulated patients-based test), 간편임상평가실습(mini-clinical evaluation exercise) 등 다양한 방법들이 활용되고 있다.




4. 성과, 역량의 교육과정 맵핑


졸업생들이 보여주어야 하는 성과 또는 이러한 성과를 보여주기위해 졸업시점에 갖추어야 하는 역량을 교육과정에 어떻게 반영할것인가는 성과중심교육과정 개발의 핵심적인 부분이다. 만약 기존의 교육과정을 완전히 무시하고, 새롭게 교육과정을 전면적으로 개편한다면 비교적 성과 및 역량을 교육과정에 반영하는 것은 간단한 일인지 모른다. 그러나 현실적으로 이것은 거의 불가능하다고 보아야 한다. 이미 의과대학의 교육과정은 오랜 전통을 갖고 확고한자리를 잡고 있으면, 개별 교과목들의 목표와 내용들이 잘 개발되어 있기 때문이다. 무엇보다 기존의 의과대학 교육과정도 어떤 형태로든지 성과 또는 역량을 함양하는 교육을 실시하고 있다고 보아야 하기 때문에 역량의 맵핑이라는 방법이 더 타당한 접근법이 된다. Table 6에 제시된 것처럼 성과 또는 역량을 교육과정과 맵핑한다는 것은 현재 운영되고 있는 교육과정에 편재된 교과목을 대상으로 교과목을 운영하는 책임교수나 강의담당교수가 개발 가능한성과와 역량을 체크하는 것이다. 이 과정은 개발 가능한 역량을 확인하는 작업이기 때문에 억지로 교과목을 성과 및 역량과 끼워 맞출 필요는 없다. 맵핑을 해보면 어떤 과목은 개발 가능한 성과 및 역량이 여러 개가 될 수도 있지만 어떤 교과목은 개발할 수 있는 역량이 없을 수도 있다. 1차 맵핑결과 역량개발에 부적합하다고 판단되는 교과목들은 수업방법 등을 개선해 2차 역량 맵핑을 진행한다.





이러한 과정을 통해 성과 및 역량 맵핑이 완성되면 기존 교과목의운영 여부에 대한 의사결정을 한다. 또한 두 차례의 맵핑을 통해서도 특정 성과 및 역량은 기존 교과목을 통해서 개발될 여지가 없는경우가 있다. Winchester-Seeto &Bosanquet (2009)의 연구를 보면전공 분야의 지식과 기술, 비판적 사고, 분석적 사고, 통합적 사고,문제해결 및 연구역량, 의사소통 등의 역량들은 개발 가능한 반면사회적 책무성, 윤리적·참여적 시민의식, 평생학습태도, 창의와 혁신, 직업적·개인적 판단력 및 주도력 등은 상대적으로 교육과정에잘 반영되지 않는다. 따라서 기존 교과목을 통해서 개발될 여지가없는 성과 및 역량을 개발하기 위해서는 형식적 교육과정뿐만 아니라 잠재적 교육과정(hidden curriculum)을 함께 고려해 볼 수 있다.




5. 교육과정 체계화


성과 및 역량 맵핑결과를 바탕으로 교육과정체계를 확립하고 실질적인 교육과정운영에 필요한 교과목 프로파일과 보강교육시스템등을 개발한다. Table 7에 제시되어 있듯이 가장 먼저 역량 맵핑을바탕으로 역량개발에 필요한 교과목(기존 교과목을 포함해 신규로 개설될 교과목 및 프로그램 포함)을 확정한 후, 학년, 수준에 따라 분류하여 체계화한다. 한 학년에서 모든 성과와 역량을 개발하는 것은 불가능하기 때문에 해당 학년(혹은 기초의학교육단계, 임상교육단계, 임상실습단계)에서 가장 필요한 핵심역량과 교육의 우선순위를 결정하여 학년별로 순차적으로 개발하는 것이 중요하다.


다음으로 모든 교과목에 대한 프로파일을 작성한다. 프로파일에 포함될 내용으로는 

    • 첫째, 그 교과목을 통해 개발 가능한 성과와성취수준을 기록한다. 
    • 둘째, 해당 교과목을 이수함으로써 학생들이 얻게 되는 역량을 관찰 가능한 용어로 기술한다.
    • 셋째, 해당 교과목에서 다루어야 하는 교육내용에 관한 간단한 개요를 진술한다. 
    • 넷째, 해당 교과목을 이수해야 할 교육대상자를 제시한다.
    • 다섯째, 해당 교과목을 위한 주요 교수학습방법을 기록한다. 
    • 여섯째, 해당 교과목을 이수하기 위해 사전에 알아야 할 지식, 술기, 도구 등에 관한 내용을 기술한다. 
    • 일곱째, 학생들의 수행평가방식을 기술한다.


교과목에 대한 프로파일의 항목은 대학의 실정에 맞게 수정가능하나 일곱 번째 항목인 수행평가(performance assessment)방식은 명확히 규정할 필요가 있다. Ben-David (1999)는 성과와 수행평가가 두 측면에서 매우 밀접하게 관련되어 있다고 언급하였다. 

  • 첫째, 성과중심교육과정을 개발할 때 학생 평가절차들이 학습성과를 반영해야 한다. 다시 말해 성과는 교육과정의 각 시기별(phase),과정별(course), 각 과정의 세부 수업내용과 교수방법(teaching methods)등과 연결되어야 하고 커리큘럼의 각 단계(시기별, 과정별,수업별)에서 평가구조로 활용되어야 한다(Harden &Gleeson, 1979;Harden et al., 1999a). 
  • 둘째, 학생들은 평가방법에 제시되어 있는 학습을 경험해야 한다. 이것은 학생들이 학습성과를 명확히 인지하고 있어야 하며 자신들이 구체적인 성과의 달성 여부를 판단하는데 사용된 기준들과 적용된 평가방법들을 숙지하고 있어야 하고자신이 해당 성과를 성취했다는 것을 증명할 수 있어야 한다는 것이다. 가령, 던디 의과대학은 성과중심교육과정을 실행하기 위해학습 가이드(study guide)를 제작하였는데 학습 가이드에는 교육과정에 대한 안내, 수업성과를 포함한 과정(course)에 대한 안내, 활용할 수 있는 학습기회들, 시간표 그리고 평가절차들이 포함되어있다(University of Dundee, 2012). 이 학습 가이드를 통해 학생들은 최종 성과에 도달하는 방향으로 그들 자신의 과정을 평가할 수있다.


또한 수행평가결과에 기반해 성과의 일정한 수준에 도달하지 못한 학생들을 위한 재교육 혹은 보강교육시스템이 마련되어야 한다.이는 학생들 간의 줄 세우기가 중요한 평가의 척도가 아니라 성과그 자체의 달성이 평가의 목적이기 때문이다. 따라서 학생들에게평가결과에 대한 피드백을 주고 부족한 부분을 보완할 수 있는 시간과 프로그램 제공을 교육과정 개발단계부터 고려해야 한다. 교육과정 개발단계에서 의과대학은 학생들의 수행과정을 장기적으로 관찰하고 학생들은 자신의 전문가적 성장과 학습성과의 도달여부를 모니터할 수 있는 평가시스템을 고려할 필요가 있다. 이와같이 분명한 성과, 평가 피드백, 학생의 자기평가는 성과중심교육과정의 핵심이라고 할 수 있다. 이러한 교육과정 및 교과목 개발을통해 교육과정에 대한 최종 성과를 기반으로 시기별, 과정별, 수업별단계의 교육목표들이 계열화되는 성과기반 디자인 계열(outcome based design sequence)이 완성된다고 볼 수 있다(Spady, 1988).



성과중심교육과정 운영계획


성과중심교육과정을 개발하는 것 못지않게 중요한 부분은 성과중심교육과정의 운영에 관한 부분이다. 새로 개발된 성과중심교육과정이 사회적 요구와 학습자의 요구에 알맞은 것인지, 교육과정의최종 성과, 시기별 성과 그리고 학습성과가 개별수업에 반영되어 있는지, 교육목표와 졸업성과를 달성하기 위한 기초의학과 임상의학교육내용은 적절한지, 학습자료의 내용과 조직은 타당한지 등에관한 정보를 체계적으로 수집하고 판단하는 과정이 필요하다. 또한 평가하는 교수자의 능력은 향상되었는지, 그들을 위한 교수개발 프로그램이나 시스템은 갖추어져 있는지도 함께 검토해야 할 것이다. 성과중심교육과정이 제대로 운영되기 위해서는 교수자의 열의와 교육에 대한 인식변화가 필요하기 때문에 교수들은 성과와 역량의 개념을 충실히 이해하고 평가에 필요한 지식과 술기들을 반복 숙달할 필요가 있다. 교수개발의 교육내용으로는 성과와 역량의정의 및 구조의 활용, 행동관찰 및 기록요령, 행동지표의 분류 및 평정요령, 평가결과의 조정과 통합 등이 될 수 있다.


이처럼 성과중심교육을 개발할 때는 교육과정을 계획하고 개발하는 소수 몇 사람들뿐만 아니라 의과대학조직, 교수집단, 그리고학생 등 교육과정과 관련된 조직 및 모든 사람들에게 영향을 준다는 것을 인식해야 한다. 따라서 수업 단위별 수행평가만을 고려해서는 안 되고 대학차원에서 교육과정 운영 전반을 평가할 수 있는시스템을 개발해야 할 것이다. 이때 “모든 교육 관련자들에게 성과들이 분명하고 명료하게 소통되고 있는가?”, “학생들이 성과를 성취하는데 제공된 학습 경험들은 적절한가?”, “학생들은 단계마다제시되어 있는 성과들을 성취했는가?”, “수행능력이 낮은 학생들,즉 요구된 기준에 도달하지 못한 학생들은 적절한 피드백을 받는가?” 등과 같은 항목을 고려해 볼 수 있다(Harden et al.,1999a). 이러한 부분들이 체계적, 장기적으로 평가되면 교육의 질 관리가 제대로 이루어질 수 있을 것이다.


결 론


본 연구의 목적은 각 개별 의과대학이 성과중심으로 교육과정을 개편할 때 활용할 수 있는 개발절차와 방법을 제시하는 것이었다. 이를 위해 성과중심교육과정 개발과 관련된 선행연구 및 개발모형, 사례분석을 하였으며 이를 토대로 5단계의 개발절차를 제시하였다. 

  • 첫 번째 단계는 의사직무에 대한 기초정보, 우수성과에 대한 기대치, 우수한 성과를 보이는 의사의 행동사례 등의 분석을 통해 직무 및 고성과자의 특성을 추출한다. 
  • 두 번째 단계는 데이컴, 유관관계 도표작성법 및 중대사건 면담법 등을 활용해 성과와 역량을 개발하고 이를 타당화하는 작업을 진행한다. 
  • 세 번째 단계는 학생들의 성과달성을 어떤 준거로 평가할 것인지를 제시하는 성과의성취수준과 학생들의 수행을 평가하는 평가방법을 결정한다. 
  • 네번째 단계는 과목책임교수나 강의담당교수가 현재 운영되고 있는교과목을 대상으로 개발 가능한 성과와 역량을 체크하는 맵핑작업을 진행한다. 
  • 다섯 번째 단계는 성과 및 역량 맵핑결과를 바탕으로 교육과정체계를 확립하고 실질적인 교육과정 운영에 필요한 교과목 프로파일과 보강교육시스템 등을 개발한다. 마지막으로 이과정은 개발과정에 포함되지 않을 수 있으나 대학차원에서 교육과정 운영을 평가할 수 있는 시스템을 개발해 교육의 질을 관리하는것이 필요하다


지금까지 언급한 성과중심교육과정을 개발하는 과정에서 교육과정개발자들이 고려해야 할 점들을 제언하면서 본 연구의 결론을맺고자 한다.


첫째, 추출된 성과 및 역량에 대해 대학구성원들이 합의, 공유할수 있도록 공식적, 비공식적 회의나 모임을 자주 갖는 것이 중요하다. 기존 교육과정을 개편하는 과정에는 대학내부 관계자들의 저항이 발생할 수밖에 없다. 이러한 저항은 교수집단에게서만 발생하는 것이 아니라 교육의 당사자인 학생들과 행정적인 프로세스를처리하는 행정직원들 사이에서도 발생할 수 있다. 따라서 성과중심교육과정을 개발할 때 많은 교수들과 의사소통할 필요가 있으며학생들을 전문가집단의 한 구성원으로 포함시키는 것도 한 가지 방법이다.


둘째, 교육과정 개발계획 시 교육과정으로 개발 가능한 역량과 절대적 중요도, 상대적 우선순위가 높은 역량을 통합적으로 고려하여 현실적이면서도 반드시 필요한 성과 및 역량을 중심으로 교육체계를 마련하는 것이 중요하다. 다시 말해 대학마다 시간, 비용, 자원의 가용성 여부, 필요수준과 현재수준 간의 간극이 다르기 때문에 국내 41개 의과대학 모두에 적용할 수 있는 동일한 교육체계를마련하기는 현실적으로 어렵다. 그러므로 각 대학이 처한 상황을고려하여 대학마다 선택과 집중해야 하는 부분을 중심으로 성과중심교육과정을 개발하도록 해야 한다.


셋째, 성과중심교육과정을 개발할 때 방법론에 대한 맹목적이고 기계적인 적용에 얽매일 필요는 없다. 앞서 언급했듯이 성과중심교육과정 개발절차에 정형화된 한 가지 방법이 있는 것이 아니기 때문에 각 대학의 상황을 고려해 실천적 유연성을 갖는 것이 바람직할 것이다.


넷째, 성과중심교육과정을 개발할 때 어떤 내용의 성과 및 역량을 개발할 것인가와 더불어 어떤 수준으로 개발할 것인가를 교육과정 개발단계에서 동시에 고려하는 것이 필요하다. 각 성과 및 역량마다 각 의과대학이 최종 목표로 정하는 수준에 따라 최고 숙달수준을 3단계로 혹은 5단계로 결정할 수 있다. 성과 및 역량의 최고성취수준은 대학의 특성과 상황에 따라 융통성 있게 정하면 되는데 지나치게 여러 수준으로 나누면 수준 간의 차별화가 쉽지 않다는 어려움이 있다.


다섯째, 성과중심교육과정은 개별화된 교수-학습유형 및 지원체계가 수립되어야 하나 실제로 개인별 맞춤식 교육과정을 구성하는 것은 현재 의과대학 현실에서 거의 불가능하다. 그러므로 대학차원에서 교과목이나 임상실습을 통해 제공해 줄 수 있는 학습경험을 먼저 수립한 후 대학 선후배 간의 멘토-멘티 학습프로그램, 온라인 강의, 특성화 프로그램 등을 통해 제공할 수 있는 교육이수체계를 함께 고려해 보는 것이 필요하다.


여섯째, 앞서 교육과정 운영계획에서 언급했듯이 교육과정 개발,운영, 관리, 평가를 위한 시스템이 정기적으로 작동됨으로써 추출된 성과와 역량을 점검할 필요가 있다. 교육과정 자체가 지속적으로 변화되는 속성을 지니고 있기 때문에 성과 및 역량 역시 의학교육환경이 변화되면 수정될 여지는 충분히 있다. 따라서 한 번 확정된 역량모델을 고집하기보다는 변화하는 의료환경과 교육환경에맞추어 지속적으로 수정해 나갈 수 있는 시스템을 갖추는 것이 중요하다.








An outcome-based curriculum is perceived to be one alternative educational approach in medical education.

Nonetheless, it is difficult for curriculum developers to convert from traditional curriculum to an outcome-based

curriculum because research documenting its development process is rare. Therefore, this study aims to introduce

the development process and method of outcome-based curriculum. For the purpose of this study, we

used diverse data analyses, such as an existing literature search, development model analysis, and case analysis.

We identified five phases from the analysis. First, the curriculum developers analyze the physician’s job or a high

performer in a medical situation. Second, curriculum developers extract outcomes and competencies through

developing a curriculum, affinity diagraming, and critical incident interviews. Third, curriculum developers determine

the proficiency levels of each outcome and competency evaluation methods. Fourth, curriculum developers

conduct curriculum mapping with outcomes and competencies. Fifth, curriculum developers develop an

educational system. Also, it is important to develop an assessment system for the curriculum implementation in

the process of developing the outcome-based curriculum. An outcome-based curriculum influences all the

people concerned with education in a medical school including the professors, students, and administrative

staff members. Therefore, curriculum developers should consider not only performance assessment tools for

the students but also assessment indicators for checking curriculum implementation and managing curriculum

quality.

Keywords: Outcome-based curriculum, Competency, Curriculum development

제도적인 관점에서 본 성과중심교육

What is Outcome-Based Education?

김복기1·민상원2·윤우영3

광운대학교 1전자공학과·2전자통신공학과, 3고려대학교 신소재공학부

Bok Ki Kim1 · Sang Won Min2 · Woo Young Yoon3

Departments of 1Electronic Engineering and 2Electronic Telecommunication Engineering, Kwangwoon University, Seoul; 3Division of New Material Science and Engineering,

Korea University, Seoul, Korea





서 론

1. 국제적인 질 관리체계


고등교육을 포함한 다양한 교육을 받을 수 있는 대상의 범위는 비록 서서히 진행되기는 하였지만 꾸준하게 증가하고 있다. 특히 고등교육과 관련하여 국내·외적으로 볼 때 과거의 고등교육은 엘리트 학생에 한해서만 문호를 개방하였으나, 제2차 세계대전 이후 지속적이고, 범세계적인 경제발전을 통하여 1960년대 초부터 보다 광범위하게 고등교육을 원하는 사람들 모두에게 균등한 기회를 제공하기 위하여 문호의 개방을 확대하기 시작하였다. 이러한 ‘교육의 대중화’ 경향은 고등교육기관에서 제공하는 교육프로그램의 질에대한 관심과 보다 질 높은 교육의 보장 측면에서 깊은 성찰을 하게되는 계기가 되었고, 고등교육의 대중화에 따른 보다 수준 높은 질관리(quality control)가 필요함을 공유하게 되었다(International Network for Quality Assurance Agencies in Higher Education,2003).


또한 교통, 통신기술 분야의 급속한 기술발달로 인하여 세계가가까워지고 국가 간의 상호교류가 전 세계적으로 활발하게 진행됨에 따라, 국가적 차원에서 세부적으로 나아가 고등교육기관 수준에서 서로 다른 학위과정의 유형과 교육체계들이 학생과 졸업생(국제적인 인력교류의 대상인 의료 분야와 공학 분야를 포함한 전문분야 종사자)들이 국가 간(혹은 대학 간)에 쉽게 이동할 수 있도록하기 위해서, 어떻게 하면 서로 다른 교육체계(예를 들어, 교육수료기간, 교육과정, 교육방법 등)와 교육과정을 조화롭게 유지시킬 수있는지를 검토하고 평가할 수 있는 방안이 필요하게 되었다. 이는 세계의 모든 지역에서 고등교육을 이수 중인 학생과 이수한 졸업생사이에 국제적 상호등가인정에 따른 국가 상호 간 학생 또는 졸업생의 이동을 자유롭게 하는 방안을 찾자는 것이다(National Academyof Engineering, 2005; Organization for Economic Cooperationand Development, 2005).


특히 이와 병행하여 작금의 최신 기술의 발전과 World Tourism Organization, 국가 상호 간 Free Trade Agreement의 확산을 통하여 급격히 증가하고 있는 글로벌 시장의 개방과 인력의 국제적 이동으로 인해 전문인력을 양성하는 고등교육계 역시 피할 수 없는 상황에 처했다고 볼 수 있으며, 이러한 전문적인 인력의 국제적인 개방과 상호 이동은 전 세계 고등교육에 있어 다양한 이슈들에 대해서 초점을 맞추게 되었다. 인력교류에 있어 국제적인 상호등가성이 보장되어야 하는 전문 분야에 있어서는 질 관리체계의 도입은 필수적인 사안이 된 것이다(Ministry of Commerce, Industry andEnergy, 2002; Ministry of Education, Science and Technology,2009a).


한편 이러한 현재의 고등교육 상황은 시대와 사회가 요구하는 양질의 인력양성을 위한 고등교육체계의 전반적인 구조와 운영을 급변하는 사회·기술적인 진보에 부합하게 변화하도록 강한 압력을 행사해 왔으며, 고등교육을 담당하고 있는 대학은 교육기관으로 그 책무를 다하기 위하여 지속적으로 노력하고 있는 중이다.


따라서 고등교육의 대중화와 전문화에 대한 질 관리의 필요성과 국제화에 따른 상호인정체계를 유지하기 위하여, 고등교육을 담당하고 있는 교육기간 또는 전문(자격) 분야 교육프로그램(학위과정)에서 수행되고 있는 교육의 질을 평가할 수 있는 실질적인 체계의 필요성이 대두하게 되었다. 이러한 요구사항에 대한 개선 노력으로 최근 고등교육의 공적인 책무성에 대한 새로운 개념을 고민하게 되었고, 이러한 노력의 결과로 국가(개별 국가 단위, 다수의 국가가 모인 단위 또는 국토가 넓은 나라의 경우 이를 분할한 지역단위 등)에있는 고등교육(교육기관 또는 교육프로그램)의 질을 보장하기 위한 목적으로 다양한 외부 질 보장(external quality assurance)기관이 설립되게 되었다(International Network for Quality Assurance Agencies in Higher Education, 2003).


이러한 외부 질 보장기관은 주로 정부 또는 비정부 민간기관에의해서, 고등교육을 담당하는 교육기관 또는 전문 분야 교육프로그램들의 질을 보장하는 고등교육기관 협의체 또는 해당 전문 분야의 다양한 이해당사자에 의해서 독립적으로 설립된다. 이러한 인증기관의 가장 주요한 질 관리체계 유지를 위한 접근방식은 인증(accreditation)으로, 이 인증체계가 다양한 질 보장체계의 중심적인역할을 감당하고 있다고 볼 수 있다.



2. 국내 성과중심의 평가인증제


한편, 우리나라는 이러한 국제적인 동향에 발맞추어 고등교육기관의 경쟁력과 질 관리에 대한 책무성 강화를 위한 기존 대학협의체 중심의 대학종합평가(또는 학문분야평가)에서 ‘정부에서 인정한 인증기관(인정기관)’에 의한 평가·인증제(이하 인정제도)로 전환하고자 관련 법적 근거를 마련하였고, 이는 ‘고등교육에 대한 국제적 수준의 국가 차원의 질 보장체제’를 구축하겠다는 선언이며 의지라고 판단된다(Ministry of Education, Science and Technology,December 11, 2012; Ministry of Education, Science and Technology,2008).


국가 차원에서 법령에 따라 준비된 인정제도의 틀은 2000년부터시작된 의학, 간호학, 공학, 건축학 등의 전문 분야의 프로그램 평가·인증기관(이하 인증기관) 활동에 대한 국가적 차원의 인정의 요구, 인력의 이동성을 위한 국제적인 상호인정의 필요성, 국가 차원의 고등교육 인력양성의 질을 전반적으로 향상시켜야 한다는 다양한 사회적인 요구를 반영한 것이다(Lee et al., 2011). 여기서 인정(혹은 인정제도)이란 우리나라의 교육과학기술부에서 인증기관의 기본 적격성, 행·재정 역량, 평가·인증기준과 절차의 적절성 여부 등을 사전에 공표한 인정기준에 따라 평가하고, 인정기준의 충족 여부를 확인하여, 이에 부합되게 인정판정이 부여되는 일련의 과정과그러한 과정을 통하여 부여되는 일종의 지위를 의미하며 통상적인 인증과는 구분된다. 즉 인정이란 사전에 준비된 인정심사절차를통한 일련의 과정과 그 과정을 통하여 인증기관에 부여되는 일종의 국가적인 지위(혹은 자격)를 의미하는 것이다.


2009년부터 국가 차원의 제도로서 이러한 인정제도를 도입하여교육기관과 교육프로그램의 경쟁력과 교육의 질에 대한 책무성을강화하기 위하여 그동안 다양한 연구를 통하여 실제적인 업무를진행하였다(Kim, 2011; Oh et al., 2005). 이러한 인정제도 틀을 통하여 교육기관을 인증하는 인정기관을 지정하였으며, 의학, 공학,건축학, 경제학 분야 등의 전문 분야 교육프로그램을 대상으로 인증하는 프로그램 인증기관에 대하여 인정심사를 하기 시작하였으며, 몇몇 인증기관을 인정기관으로 지정하였다(Ministry of Education,Science and Technology, 2009b, 2010).


세계적으로 볼 때 국가 차원의 인정제도는 사전에 마련된 인정기준과 인정절차에 따라 심사하여 그 결과에 따라 인정기관으로 지정하는 주체가 있는데, 우리나라의 경우에는 인정기관심의위원회가 그 주체이다. 이 인정기관심의위원회는 인증의 합목적성과 책무성을 제고하고, 인증의 국제경쟁력 강화를 위하여 학문 분야(프로그램)별 인정심사의 공통사항으로 ‘학습성과중심의 평가인증제의확립’을 기본방침으로 정하였다(Lee et al., 2011). 특히 국제적 인력교류가 활발한 분야이거나 각종 국제협정에서 전문직으로 분류되어 상호인정을 위한 학위 및 자격의 질 보장이 요구되는 분야에서는 이는 매우 중요한 사항인 것이다.


또한 이와는 별도로 전문 분야 교육에서는 학습성과(여기서는학생이 졸업시점에 갖추어야 하는 능력 등을 의미)를 기반으로 하는 교육프로그램의 운영이 크게 주목을 받았다. 이는 대학 나름의교육을 시켜온 전통적인 입장에서 선회하여 대학을 졸업한 학생을사용하는 수요자의 요구사항을 반영한 교육이 필요하다는 인식의저변 확대를 의미하는 것이다. 수요자의 다양한 불만의 핵심은 대학교육을 받은 학생이 비기술적인 능력(soft skills)을 포함하여 해당 분야의 기술적인 능력이 부족하다는 점이었다(Federation of Korean Industries, 2003). 이러한 수요자의 요구사항은 인증기준의내용으로 반영되는데, 특히 프로그램(전문 분야) 인증에서는 성과중심교육(outcomes-based education)의 핵심이라고 할 수 있는 프로그램 학습성과와 관련된 인증기준에 반영되고 있다.




3. 제도적 차원의 성과중심교육


지금까지 국외와 국내의 고등교육과 관련하여 현황을 검토한 결과 고등교육의 질 보장이 매우 중요한 사안이고, 이를 위하여 인증이라는 방식이 바로 질 보장체계의 핵심 운영체계라는 사실을 논의하였다. 그렇다면 질 보장을 위한 인증제도체계를 적용하는 것이과연 의료 분야를 포함한 전문 분야의 인증기관과 교육프로그램의실질적인 운영에는 어떠한 변화를 가져올 미칠 것인가? 다양한 변화 중에 핵심이 되는 사안이 교육과정 운영에 있어 성과중심의 교육체계를 도입하는 일일 것이다.


본 논문에서는 최근 국가 차원에서 그리고 대학 차원에서 관심의 대상이 되고 있는 성과중심교육을 포괄적이고 제도적인 측면에서 살펴보고자 한다. 여기서 교육적인 내용보다는 제도적인 측면을다룬다고 했는데, 이는 성과중심교육이 단지 교육프로그램에서 독립적으로 운영할 수 있는 내용이 아니고, 국가 차원의 질 관리방안과 연동하여 해당 전문 분야의 다양한 이해당사자들의 요구, 인증기관의 인증제도(인증기준, 인증절차를 포함한 인증제도의 운영),교육프로그램의 교육과정 운영 등이 유기적으로 결합될 때 원활하게 진행될 수 있는 것이기 때문이다.


먼저 인증제도가 효과적이고 효율적으로 운영되기 위해서는 인증제도의 이해당사자 사이에 용어가 통일되는 것이 필수적이다. 따라서 용어정의에 대한 중요성에 대하여 먼저 논하고, 성과중심교육관련 용어를 정의할 것이다. 또한 성과중심교육의 국제적 경향과필요성에 대하여 논의하고, 성과중심교육체계와 성과중심교육의핵심이라고 할 수 있는 학습성과에 대하여 제도적인 관점에서 살펴볼 것이다.




용어정의의 중요성 그리고 교육목표와 학습성과


국가 차원에서 교육의 질 관리체계의 핵심 축을 담당하는 인증기관은, 인증기관의 인증정책, 인증기준, 인증절차와 인증 관련 매뉴얼 등에 포함되어 있는 핵심용어, 즉 인증제도 운영에 필수적인중요한 용어를 명확히 정의하여 용어집으로 만들어 공개하여야 한다. 이는 인증에 사용하는 용어 중에 인증과 관련 없이 일반적인 보통명사로 사용하는 경우가 있어, 이를 자의적으로 해석하는 경우가 많기 때문이다. 그 중에 교육목표학습성과가 대표적인 사례라고 할 수 있다. 인증기관이 발행하는 용어집에는 일반대중도 함께 사용하는 용어를 해당 인증기관의 인증제도에서 어떠한 의미로적용되는지를 명확히 밝혀 교육현장과 인증평가과정에서 혼란이없도록 해야 하는 것이다. 따라서 이러한 인증용어의 정의와 공개는 인증기관이 해야 할 가장 기본적인 의무라고 볼 수 있다.


이러한 용어의 정의가 얼마나 필요한가와 관련되어 살펴볼 수 있는 좋은 예가 성과중심교육의 핵심이라고 할 수 있는 교육목표(educational objectives)와 학습성과(program outcomes)라는 용어에 대한 것이다. 이미 교육학에서는 오랜 역사와 연구를 거쳐 교육목표와 학습성과에 대한 명확한 의미와 정의가 세워져 있고, 일반대중들도 명확하지는 못하지만 교육목표와 학습성과에 대하여 어느정도의 포괄적인 의미를 공유하고 있다. 그러나 광범위하게 인식된 교육이라는 관점에서 교육목표와 학습성과를 바라보는 시각은 교육프로그램을 인증하는 인증체계 틀에서 적용되는 교육목표와 학습성과의 정의와 분명한 차이점이 존재한다(Kim et al., 2012).


예를 들어 일반적인 교육에 대한 평가는 설정된 교육목표에 따라 제공되는 교육과정에 따라 교육을 마친 학생의 성취한 내용이교육목표에 부합되게 달성했는가를 평가하는 일련의 논리적인 구조와 그에 입각한 실행적 달성이 중요한 사항이며, 그 핵심에 교육목표가 있다. 한편 교육프로그램에 대한 인증평가에서의 교육목표는 그 기본개념은 동일하지만, 인증평가 관점에서는 인증과 관련된전체적인 교육의 질 보장체계의 유지와 지속적 개선을 포함하여 교수진, 시설재원을 포함한 다양한 교육환경과 전반적인 교육인프라와 교육서비스가 총괄적으로 평가된다는 것을 의미한다. 또한 인증의 경우 해당 전문 분야 교육프로그램의 내용과 운영에 해당 전문분야 자격과 관련하여 다양한 이해당사자의 요구가 필수적으로 포함된다는 것이다. 물론 이러한 내용이 일반적 교육에 대한 평가에서도 수준의 차이는 있지만, 절차적으로 동일하게 적용되고 있다고주장할 수도 있을 것이다. 하지만 교육프로그램의 질 보장체계 유지와 그 연장선에 있는 전문 분야 자격과 연관되는 국가 차원의 제도와 연계되는 부분은 많은 차이가 있다.


따라서 교육프로그램을 인증하는 인증기관의 핵심요소인 인증기준에서는 교육목표와 학습성과의 정의를 내릴 때 인증기관의 질보장체계에 대한 철학에 근거하여, 우리가 일반적으로 인식하고 있는 내용이 아닌 다소 ‘조작적’으로 교육목표와 학습성과 같은 용어를 정의하게 되는 것이다. 이러한 교육목표에 대한 조작적 정의의 한 가지 예가 

  • “교육목표는 학생이 졸업한 후 2-3년 후에 달성하게되는 능력과 자질”
  • “학습성과는 교육프로그램을 이수한 결과로졸업시점에 학생이 성취할 것으로 기대되는 결과로 능력, 지식, 기술, 품성 등”이라고 정의한 한 프로그램 인증기관의 예다(Accreditation Board for Engineering Education of Korea, 2012). 

이 인증기관의 예에서 보는 바와 같이 어떤 측면에서 교육목표와 학습성과는 기술하는 관점이 달성시점과 내용에서 다소 상이할 뿐이지, 사실 전체적인 틀 면에서는 거의 유사하다고 볼 수 있다. 간단히 말하면 교육목표와 학습성과 모두 행위동사(action verb)와 내용(contents)의 연결인 것으로, 해당시점에서 그 목표달성을 평가하여 그여부를 판단할 수 있도록 수립되어진다. 따라서 이러한 교육목표와학습성과 사이의 명확한 의미적 구분을 위하여 대부분의 인증기관은 자신들의 인증체계에서만 적용되는 고유의 교육목표와 학습성과를 정의하게 되는 것이다.


위에 예로 들은 정의에서 교육목표와 학습성과는 다소 차이가있다

  • 학습성과 “학생이 졸업당시 갖추어야 할 지식, 기술, 능력등”이라고 볼 때, 그것은 판단의 시점상 목표의 설정, 교육내용, 목표달성 등의 모든 과정이 교육기관 내에서 평가되고 그 결과를 피드백하여 교육품질을 유지하고 이의 개선을 지속한다는 의미가 있다. 
  • 한편 교육목표 “학생이 졸업한 후 2-3년 후에 달성하게 되는능력”이라고 볼 때, 학생이 졸업 후 실무현장에 나가서 이러한 교육목표에 따라 수립된 교육과정을 통하여 습득한 교육내용이 자기의업무와 경력 등에 실질적으로 얼마나 유용하고 효과적인지를 판단하고 그 결과를 교육프로그램의 개선에 적용한다는 점에 중점을두는 것이라는 것이다. 

달성을 확인하는 평가시점과 내용을 구분하고, 그 평가결과의 환류체계를 교육프로그램의 질 보장과 질 개선체계의 중요한 과정으로 삼은 것이다.



교육목표가 갖는 교육을 이수한 후 실무현장을 2-3년 정도 체험한 후에 교육을 바라본다는 의미학습성과가 갖는 졸업시점에서교육현장에 한정하여 교육을 바라본다는 의미를 구분하겠다는 것이 해당 인증기관의 질 보장체계의 중요한 점이라고 해석되는 부분이다. 따라서 교육목표를 평가하는 과정에 특별히 졸업생과 졸업생을 고용한 산업체의 인사부서, 해당 분야의 자격면허를 부여하는기관을 포함한 다양한 이해당사자의 의견과 요구사항이 강하게 제시되는 것이다.


위에서 예를 들어 설명한 바와 같이 인증기관의 용어는 일반적인 용어와는 다르게 사용되므로 인증기관은 인증과 관련된 용어를 명확히 정의하고 이를 공개하는 것이 인증체계에서 매우 필수적인 요소라 할 수 있다.



성과중심교육의 두 관점과 학습성과


여기서는 성과중심교육을 그의 핵심이라고 할 수 있는 학습성과와 관련하여 살펴볼 것이다. 먼저 성과중심교육 혹은 줄여서 성과중심이라는 용어는 두 가지 관점에서 살펴볼 수 있다.

  • 먼저 교육개시 전 목표를 설정하고, 반드시 이를 검증하고 그 결과를 교육개선에 활용하여, 교육프로그램의 지속적 개선을 추구하는 광의적인의미가 첫 번째이다. 즉 여기에서의 핵심은 개선에 있다. 또한 의학교육과 같은 전문 분야 교육프로그램의 경우, 
  • 해당 전문 분야 종사자의 전문능력의 입문수준으로 해당 분야의 전문직에 종사하려는학생이 졸업시점에 갖추어야 할 능력과 자질을 의미하는 프로그램학습성과를 의미하는 협의적인 관점이 그 다음이라 할 수 있다. 여기에서의 핵심은 바로 품질에 있다. 이러한 성과중심교육의 두 관점을 그 실행을 위한 체계로 표현하면 지속적 품질개선(continuous quality improvement)체계품질보장(quality assurance)체계로 나타낼 수 있으며, 이 두 체계의 운영이 교육프로그램의 성과중심교육체계 운영의 핵심이라고 할 수 있다.


광의적인 관점의 지속적 품질개선교육체계 운영은 이러한 체계가 실질적으로 운영되고 있는지와 교육프로그램이 지속적으로 개선되고 있는가를 보여주는 일종의 ‘순환루프(closed loop)’로 완성될 수 있다. 또한 이러한 체계의 운영을 위해서는 정량적 혹은 개량적(정성적인 것을 정량화한다는 의미) 측정이 가능한 목표를 설정하고, 설정된 목표에 대한 객관적, 합리적, 정기적이며 문서화된 평가(assessment and evaluation)가 있어야 한다. 즉, 목표달성 여부의 측정과 이의 활용을 통한 교육개선이 지속적 품질개선과 관련된 성과중심교육체계의 핵심사항인 것이다.


협의적인 관점의 품질보장체계의 운영은 사실 성과중심교육의 꽃이라고 할 수 있다. 어떤 교육프로그램의 졸업생을 품질보장하는 데에는 일종의 기준이 있어야 하는데, 바로 이 기준의 역할을 하는 것이 학습성과라는 것이다.


여기서 성과중심교육과 관련하여 다루는 용어 중에 영문과 그영문의 국문번역에 대하여 자주 혼동을 일으키는 용어를 정리하고자 한다. 일반적으로 인증과 관련하여 사용되는 영문의 ‘outcome’은 우리말로 학습성과라고 번역되는 경우가 많은데, 이는 단지 성과라고 번역되는 것이 적절할 것으로 생각한다. 

  • 프로그램 분야의인증에 적용되는 학습성과는 국외의 인증기준을 검토해 보면 ‘student learning outcomes,’ ‘graduate attributes,’ ‘program outcomes,’‘exit-level outcomes,’ ‘exit outcomes’로 기술되고 있으며,
  •  성과를 의미하는 ‘outcome’ 앞에 ‘program’과 ‘learning’ 등과 같은 별도의수식어가 붙는 것과 복수형(outcomes)으로 사용되는 것이 특징이다(Accreditation Board for Engineering and Technology, 2012;Accreditation Board for Engineering Education of Korea, 2012;Engineering Council of South Africa, 2012; International EngineeringAlliance, 2012). 

이를 우리말로 번역할 때 성과와 구분하기위하여 ‘프로그램 학습성과’, ‘학생성과’, ‘학생역량’, ‘졸업생역량’등으로 번역하여 사용하고 있다. 만일 영문의 ‘outcome’을 학습성과로 번역하면 성과중심교육체계의 큰 축인 지속적 품질개선체계를 고려하지 않는 오류를 범할 수 있으므로 주의할 필요가 있다. 여기서는 영문의 outcome에 해당하는 용어는 ‘성과’로, 영문의 program outcomes에 해당하는 용어는 ‘학습성과(혹은 학생성과)’로 구분하여 사용하였다.


또한 국외의 경우 다양한 이름으로 불리는 학습성과는 그 명칭에 따라 인증평가에서 평가하는 관점에 다소 차이가 있는 것으로보인다. 예를 들어 ‘program outcomes’를 적용하는 인증기관의 인증평가에서는 교육프로그램의 졸업생을 전체적으로 품질보장하는 체계의 운영에 초점을 두고 있는 반면에, ‘student learning outcomes’를 적용하는 인증기관의 인증평가에서는 졸업생을 개별적으로 구분하여 품질을 보장하는 체계의 운영에 초점을 두고 있다는 의미인 것이다. 인증기준에 대한 이러한 관점의 차이는 인증기관의 인증평가와 교육프로그램의 운영에 매우 큰 차이를 부여한다.특히 학습성과 달성을 입증하는 부분을 교육프로그램 전체적으로보일 것이냐 아니면 학생 개별적으로 보일 것인가는 차이가 있기때문이다. 어느 것이 더 좋은 것이라 말할 수 없는 것은 이러한 선택이 단지 학습성과만을 고려한 선택이 아니라, 해당 인증기관의 인증철학, 인증기준, 인증절차 등과 깊은 관련이 있기 때문이다.



성과중심교육의 핵심인 학습성과


성과중심교육의 핵심은 학습성과에 있으며, 이러한 학습성과기준은 해당 인증기관의 인증기준에 포함되어 있다. 여기서는 성과중심교육을 위한 인증기준의 국제적 동향, 학습성과의 도출과정과 인증기준과 관련된 제도적인 측면을 포괄적으로 살펴보도록 할 것이다. 이는 모든 전문 분야에 해당하는 것이므로 의료 분야 교육에도동일하게 적용되는 내용이라고 할 수 있다.


1. 국제적인 인증기준의 방향


국제적으로 볼 때 전문 분야 교육프로그램을 평가하는 인증기관이 질 보장체계 유지를 위해 운영하는 인증제도는 시대상황을 반영하므로 유동적이라고 할 수 있다(Council for Higher EducationAccreditation, 2011; European Association for Quality Assurancein Higher Education, 2005). 인증기관은 인증기준을 통하여 교육에 대한 시대와 사회의 요구에 부응할 수 있도록 해당 전문 분야의교육프로그램의 변화를 유도할 뿐만 아니라, 사명, 교육목표와 학습성과에 대한 명확한 정의, 이를 달성하기 위한 교육과정과 행정조직의 운영, 교육과정에 부합하는 교과목의 개설, 학생에 대한 교육서비스의 제공, 특히 교육목표와 학습성과 평가과정을 통하여교육목표와 학습성과 달성을 평가하고, 교육의 질을 지속적으로개선시킬 수 있는 체계의 운영 등을 포함 다양한 내용을 요구하고있다(Kim &Lee, 2005; U.S. Department of Education, 2012).


특히 2000년 초반부터 전문 분야 프로그램 인증기관은 기존의 인증평가에 적용했던 투입중심의 인증기준에서 학생이 학위과정(교육프로그램)의 이수를 통하여 배양하게 되는(해당 전문 분야의진출을 위한) 지식, 기술, 능력, 품성 등을 얼마나 성취했는가와 이러한 교육활동을 통하여 교육프로그램의 질이 지속적으로 개선하고 있는가를 평가하는 성과중심의 인증기준으로 그 초점이 급격히이동하고 있다. 이러한 성과중심교육에 대한 인증기준은 학생이 졸업시점에서 갖추어야 할 학습성과에 대한 기준과 다양한 평가(assessment and evaluation)실적을 통하여 학생성취의 정도를 판단하고, 이 과정을 통하여 얻어진 자료를 통하여 교육프로그램을 개선한 실적을 중심으로 한 근거중심(evidence-based)의 교육체계 운영을 요구하고 있는 것이다.


또한 학생이 달성해야 할 학습성과의 최소기준을 이용한 평가는 이미 국제적 상호등가성이 요구되는 특정 분야의 전문직, 예를 들어 의학, 공학, 건축학 등을 포함한 전문(전문 직종) 분야와 관련된인증기관에서 사용하고 있었다. 이러한 학습성과중심의 인증기준으로 향한 발 빠른 움직임은 해당 인증기관으로 하여금 해당 전문분야에서 직업에서 요구하는 기본적이고 실제적인 자격조건을 인증기준에 포함하도록 하고 있다. 이것이 바로 성과중심교육의 핵심인 학습성과인 것이다. 교육체계와 교육내용, 교육연한 등이 다른나라에서도 상호 유사한 학습성과를 설정하고 이를 인증제도를 통하여 학습성과의 달성을 입증함으로써 다른 나라에서 인증받은졸업생에게 국제적 상호등가성을 부여하겠다는 것이다.



2. 학습성과에 대한 요구


최근에 국가·사회적으로 학부수준의 학위과정을 이수한 학생들은 어느 정도 사전에 정의된 수준에 도달해야 한다는 교육기관의 공적 책무에 대한 요구가 증가하고 있고 있으며, 산업현장의 전문직 종사자에 대한 경우 그 요구가 불만의 수준인 것은 작금의 사실이다. 또한 어떤 전문직 종사자들의 경우에 이미 많은 산업현장에서 직급에 따른 직무분석표를 별도로 마련하여, 이를 적용하여임금과 승진 등에 적용하고 있다. 따라서 이러한 사회적 현상과 경제적 요구에 따라 앞으로 전개될 미래에서는 학생이 졸업시점에 달성해야 할 학습성과에 대한 요구가 추가될 것이라 판단되며, 이러한 요구는 인증기관의 인증기준에 추가되어 학생들의 학습성과 달성에 좀 더 큰 초점을 두게 될 것이 틀림없는 일이다.


따라서 인증기관의 평가는 단지 교육프로그램들이 제공하는 교육과정에 포함된 교과목 나열만을 검토하는 것이 아니고, 학생들의 입장에서 교육과정에 입각한 이러한 교과목의 이수가 학생이졸업 후에 해당 전문 분야에서 요구하는 지식, 기술, 능력 등을 갖출 수 있느냐에 초점을 맞추고 있으며, 더 나아가 학생이 이러한 내용(학습성과)을 성취하였는가를 평가하고, 이 평가결과를 교육의질을 개선하는 데 어떻게 사용하고 있는지에 초점을 두는 것이고,이것이 바로 성과중심교육이 지향하는 바인 것이다. 따라서 이러한 성과중심교육체계의 운영이 국가와 사회적으로 요구하고 있는교육에 대한 불만을 약화시키고, 더 나아가 미래의 인재를 양성할수 있는 인력양성체계의 기반을 이룰 수 있는 것이다.



3. 전문역량에서 학습성과까지


여기서는 성과중심교육의 핵심인 학습성과의 도출과정에 대하여 살펴본다. 인증받은 교육프로그램의 졸업생은 인증체계의 논리에 따라 해당 전문 분야에서 일할 수 있는 가장 기본적인 수준(entry level)의 능력과 자질을 갖추었다는 것을 보장하는 것이다. 그러면 바로 그 기본적인 수준의 능력과 자질(학습성과)은 어디서부터도출되는 것인가? 학습성과의 정의(교육프로그램을 이수한 결과로 졸업시점에 학생이 성취할 것으로 기대되는 결과로 능력, 지식,기술, 품성 등)를 살펴보면 시점과 내용이 포함된 것을 알 수 있으며, 학생 입장에서 시점을 고려해 볼 때 학습성과의 달성시점은 꼭졸업시점 즈음이라는 사실을 알 수 있다.


국외에서 해당 전문 분야를 주관하고 있는 일반적인 기관(혹은협회)은 해당 전문 분야 종사자에 대한 전문역량(professional competency)을 정의하고 있다(International Pharmaceutical Federation,2008; Schwarz &Wojtczak, 2002). 이와 같이 전문직 종사자에 대한 전문역량은 현직에 종사할 때 요구되는 능력과 자질에 대한 수준이라고 볼 수 있다. 사실 이러한 전문역량은 해당 분야의 전문직 종사자에 대한 일종의 자격기준과 같은 것이기도 하지만, 한편 해당 전문 분야의 교육프로그램에 대한 일종의 묵시적인 요구사항이기도 한 것이다. 즉 전문직 종사자를 준비시키는 교육프로그램에게는 이러한 전문역량에서 제시하고 있는 능력과 자질을 갖도록프로그램의 학생들을 교육하여 배출해야 하는 일종의 책무가 있는 것이다. 따라서 해당 전문 분야 인증기관의 학습성과 관련 인증기준은 해당 분야의 전문직 전문역량의 하위수준의 능력과 자질로 정의되는 것이 일반적이다.


우리나라의 경우 몇몇 전문 분야를 주관하는 기관(혹은 협회)의웹사이트를 통하여 조사한 결과 윤리강령은 있으나 전문역량을 별도로 제정한 기관을 찾을 수 없었다(Association of Korean Medicine,2013; Korean Dental Association, 2013; Korean Medical Association,2013; Korean Nurses Association, 2013; Korea VeterinaryMedical Association, 2013). 몇몇 기관의 윤리강령 내에 일부전문역량에 대한 내용을 포함하고 있는 경우가 있지만(윤리강령이라는 의미가 해석에 따라 차이가 있을 수 있지만) ‘윤리’라는 단어가 주는 의미가 도덕적 의무의 자발적 측면이 강하고 전문 분야의능력에 대한 필수적인 요구와는 거리가 있어, 전문역량이 윤리강령에 포함되는 것보다는 별도로 제정되어야 할 것으로 판단된다. 이러한 점을 미루어 볼 때 우리나라의 질 보장체계의 확립을 위해서는 해당 전문 분야를 주관하는 기관의 전문역량의 제정은 매우 시급한 일이라 판단된다. 이는 해당 전문 분야 주관기관의 전문역량을 근거로 인증기관은 학습성과를 수립하여 인증기준에 반영하고,교육프로그램은 이 인증기준에 따라 교육프로그램을 운영하며, 학습성과를 성취한 학생이 배출되는 일종의 논리적인 체계가 성립되기 때문이다.



4. 인증기준의 제정과 개정


여기서는 성과중심교육의 핵심인 학습성과를 포함한 전체적인인증기준의 제정과 개정에 대하여 핵심적인 내용을 살펴보도록 하자. 학습성과의 제정과 개정과정은 일반적인 인증기준의 제정과 개정에 포함되어 진행되기는 하지만, 이미 살펴본 바와 같이 다른 측면에서 고려할 사항이 있다. 전문 분야 교육프로그램을 대상으로하는 인증기관의 인증기준을 제정하고 개정하는 주체는 해당 프로그램을 직접 운영하는 교육당사자들보다는 오히려 이 인증기관의질 보장체계를 국가적·사회적으로 활용하는 주요한 이해당사자들이라는 점이다. 바로 학습성과의 출발점이 되는 이해당사자가 포함되어야 한다는 의미인 것이다.


따라서 학습성과와 관련된 제정 및 개정작업에는 해당 전문 분야 직업과 관련된 이해당사자를 다양하게 포함하여 그들의 요구사항을 반영하고 그들을 인증활동에 적극적으로 참여하도록 하여야한다. 이러한 이해당사자들을 나열하면 국가 또는 광범위한 특정지역 내 전문 분야 회원 연합체(혹은 단체)에 소속된 전문직 종사자와 교육자, 전문직에 종사하기 위한 일반 개인에게 자격을 증명하거나 면허에 대하여 책임이 있는 단체나 협회와 해당 전문 분야에서 졸업생의 고용을 원하는 고용주 등이 있을 것이다. 당연히 대학과 학생도 이해당사자에 포함된다. 이러한 이해당사자들은 해당 프로그램 인증기관의 인증기준을 제정하고 개정하는 과정을 통하여,해당 전문 분야에서 요구되는 인재의 양성을 위한 중요하고 핵심적인 내용, 즉 해당 분야의 전문가로 활동할 수 있는 입문단계(entry level)수준에 해당하는 지식, 기술, 능력 등이 인증기준에 포함되게되는 것이다.



5. 성과중심교육의 인증기준과 평가


인증평가와 관련하여 인증기관과 교육프로그램 모두 가장 평가하기 어려운 부분이 성과중심교육체계와 그 핵심인 학습성과와 관련된 평가이다. 예를 들어 현재 국외의 대부분의 인증기관은 도서·저널을 보유한 도서관과 정기적인 운영시간, 강의실의 면적, 교수와직원 수 등과 같은 인프라성의 투입자원만을 가지고 교육프로그램을 평가하는 인증기준을 더는 사용하지 않는다. 대신에 교육기관은 전적으로 온라인상에서 학생들이 적절한 학문적인 정보를 인식하도록 접근할 수 있는지, 강의실이 해당 교과목을 강의하는 데 적절한 규모와 시설을 갖추어 학생들이 학습성과를 성취하기 위해 적절한지, 교수와 직원의 수는 학생의 학습성과 달성을 위한 교육을제공하기 위한 충분한지 등을 포괄적으로 평가한다. 즉 양보다는질, 정량적인 측면보다는 정성적인 측면에 초점을 맞추어 평가한다는 것이다. 이렇듯 성과중심의 인증기준은 정성적일 수밖에 없다.그러나 우리나라의 경우 성과중심의 철학을 지향하는 인증기준에도 정량적인 내용을 다소 과하게 포함하고 있는 경우가 있어 이는시급히 개선할 필요가 있다고 판단된다(Accreditation Board forVetrinary Education in Korea, 2012; Korea Accreditation Board ofNursing Education, 2012; Korea Medicine Education and EvaluationInsti tute, 2012; Korean Institute of Dental Education and Evaluation,2012; Korean Institute of Medical Education and Evaluation,2012).


성과중심교육체계에 따른 교육프로그램의 운영은 학생을 중심에 두고 그 학생들의 학습성과 달성에 초점을 맞추어 교육과 관련된 모든 제반여건이 구성되어 운영되고 있는 모습이므로, 학생의학습성과 달성에 대한 평가가 최우선일 것이고, 다음에 학습성과달성과 관련된 제반운영사항은 과연 학생의 학습성과 달성에 적절하고 충분했는지를 평가하게 되는 것이다.


이러한 교육프로그램의 성과중심교육체계를 평가하는 인증기준은 위에 예에서 살펴보았듯이 정량적인 기준보다는 정성적으로기술되어 있는 경우가 대부분이다. 일부 교과과정에 대한 정량적인기준이 남아 있기는 하지만, 교육목표, 학습성과, 교수진, 교육시설및 환경 등과 관련된 대부분의 인증기준은 교육목표와 학습성과달성을 위해 해당 내용이 적절한지를 평가하는 것으로 되어 있다.따라서 이러한 인증기준은 그 적절성을 평가해야 하기 때문에 평가를 시행하는 인증기관과 평가를 준비하는 교육프로그램의 입장에서 어려움을 느낀다.


정성적으로 기술된 인증기준에 부합하도록 피평가 교육프로그램이 적절하게 운영되고 있는가를 과연 어떻게 평가할 것인지? 이것이 정성평가에서 전문가평가 혹은 동료평가라고 부르는 peer review가중요한 이유이다. 따라서 이러한 정성적인 인증평가에서는현장에서 평가를 담당하는 평가자가 매우 중요한 역할을 하게 되며, 평가자 연수가 다른 어떤 평가체계보다 중요한 이유인 것이다.이는 모든 성과중심의 인증체계를 운영하는 인증기관이 넘어야 하는 가장 어려운 부분이기도 하다.



6. 성과중심교육의 확대


최근 국외적으로는 교육기관을 평가하는 인증기관조차도 성과중심교육체계의 운영을 요구하는 인증기준으로 급격히 선회하고있는 것을 볼 수 있다(Council for Higher Education Accreditation,2012; Middle States Commission on Higher Education, 2012). 물론 여기서는 교육기관의 전체적인 성과를 중심으로 평가하고 있으며, 개별 교육프로그램 단위로 프로그램 인증기관과 같은 학습성과수준으로 평가하지 않고 있다.




결 론


본 논문에서는 다소 포괄적으로 제도적인 측면에서 성과중심교육의 무엇인지를 살펴보았다. 먼저 성과중심교육의 국제적 경향과필요성에 대하여 살펴보았으며, 성과중심교육과 관련된 용어정의의 중요성과 교육목표와 학습성과에 대하여 자세히 살펴보았다. 또한 성과중심교육의 핵심에는 지속적 품질개선과 품질보장체계가운영된다는 점을 강조하였다. 인증기준에는 품질보장과 관련된 일종의 기준으로 학습성과가 포함되고 있는데, 이러한 학습성과와관련된 다양한 이슈를 검토하였으며, 학습성과 도출과정에 대한핵심사안을 논의하였다. 결론적으로 성과중심(핵심적으로 학습성과)교육의 본질은 교육프로그램의 학생이 전문 분야에 종사할 수있는 최소한의 능력과 자질을 갖추도록 교육시키고 이를 보장하라는 것과 이러한 결과를 이용하여 교육프로그램을 지속적으로 개선을 할 수 있어야 한다는 점에서 교육에서 가장 강조하는 학생중심(student-centered)교육의 또 다른 모습이라고 할 수 있을 것이다.





Outcome-Based education (OBE) is reviewed from the institutional perspective. The demand for and international

trends in OBE are briefly examined and several term related to OBE, especially educational objective and

program outcomes (POs), are introduced. It is stressed that systems for continuous quality improvement and

quality assurance should be established to ensure the maintenance of the OBE system. Because the criteria for

accreditation contain a criterion regarding the quality assurance related to program outcomes, several critical

issues are considered regarding the POs themselves and the reduction of the POs. The core value of OBE is not

only to provide appropriate education services to students to prepare them with the minimum skills and abilities

for advancing their professional service, but also to guarantee the quality of graduates. In addition, the educational

program should be continuously improved by employing the evaluation results acquired during the

operation of the OBE systems. It is certain that an OBE system is one important aspect of student-centered education.


Keywords: Accreditation, Outcome-based education, Accreditation criteria

의학교육에서의 역량기반교육의 가능성과 한계 탐색

Competency-Based Medical Education: Possibilities and Limitations

김영전, 임철일

서울대학교 사범대학 교육학과

Young Jon Kim MD, Cheol Il Lim PhD

Seoul National University Education Department

• 교신저자:임철일, 서울시 관악구 신림9동 관악로 599 서울대학교 사범대학 교육학과

• Tel : 02-880-7639 • Fax : 02-878-1665 • E-mail : chlim@snu.ac.kr




서 론

최근 들어 의학교육에서 활발하게 논의되고 있는 개념 중의 하나가‘역량(competency)’이다. 의학교육 기관들은‘역량(competencies)’을 교육목표로 설정하여 교육경험을 선정하거나, 특정 역량을 선정하여 이를 양성하기 위한 교육프로그램을도입하는 방식으로 역량기반의 교육과정을 개발하였다(Smith &Fuller, 1996; Dannefer &Henson, 2007; Litzelman et al., 2007).역량은 기본의학 교육(Undergraduate Medical Education:UME) 뿐 만 아니라 졸업 후 교육(Graduate Medical Education:GME)과 평생 의학교육(Continuous Medical Education: CME)전반에 걸쳐 교육경험을 제공하는 기본적인 토대가 되고 있다(Leung, 2002). 전공의 수련목표로 필수 역량들이 설정되고 있으며, 평생 의학교육에서는 의료 서비스의 질을 높이기 위해 의사에게 필요한 역량이 무엇이고 이를 어떻게 개발하고 양성할것인지가 관심의 대상이 되어 왔다.


의학교육에서 역량기반교육은 성공적인 졸업생의 수행요목과 수준을 먼저 결정하고 이를 달성하기 위한 요소들을 학습의경험으로 선정한다는 점에서 기존의 계통중심이나 과목중심의교육적 접근과 차이가 있고, 교육 및 훈련 뿐만 아니라 선발과 평가의 기준을 제공한다는 점에서 기존의 수련교육 프로그램과 차별화 된다. 계통중심이나 과목중심의 교육과정은 해당 학문분야에서 중요하게 다뤄지고 있는 지식정보를 습득하는 것에 치중해있다. 반면에 역량기반교육은 지식을 습득하는 것에 머무르지않고, 학습자가 습득한 지식을 활용하여 어떤 수행을 할 수 있는지에 관심을 갖는다. 따라서‘역량’은 무엇을 학습할 지를 결정할 수 있는 준거일 뿐 만 아니라 특정한 자격이나 수행을 평가하는 기준이 되기도 한다.


그러나 의학교육에서 역량기반교육에 관한 관심이 증가하고있음에도 불구하고 아직까지 교육현장에서 실제적인 적용과 실천은 미비한 형편이다. 역량기반교육에 관한 가능성 못지않게부정적인 관점도 있으며, 실천상의 어려움도 보고되고 있다(Albanese et al., 2008; Long, 2000; Quillen, 2001). 국내의 경우학생들이 성취해야 할 교육목표를 역량으로 설정하여 교육과정을 개발한 사례는 찾아볼 수 없으며, 역량을 선발이나 평가의 준거로 사용한 사례도 거의 보고 된 바가 없다. 일부 제한적으로 기존 의과대학 교육과정에 추가적인 형태로 의사소통이나 리더십과 같이 특정 역량을 양성하기 위한 교육프로그램이 개발되기도하였으나(이상숙 외, 2007; 이영미 외, 2007), 이들 사례들은 개발과정이 기존의 과목중심의 교육과정과 유사하고, 개발 내용도주로 학습내용과 교수방법에 초점을 두고 있어 역량기반 교육으로 보기 어려운 측면이 있다. 역량기반교육이 의학교육 현장에서 제대로 활용되기 위해서는 여러 가지 체계적인 노력이 필요하지만, 무엇보다도 역량기반교육의 개념적 의미와 활용 방식에대한 다층적인 탐색이 선행될 필요가 있다. 이 글은 선행문헌의탐색적 분석을 통하여 의학교육에서의 역량기반교육의 가능성과 한계를 제시하고자 한다.


대상 및 방법


본 연구는 의학 및 전문직업인 교육에서 논의되고 있는 선행문헌을 탐색적으로 분석하기 위하여 다음과 같은 세 가지 단계적 접근 방법을 취하였다. 첫째, 역량기반 의학교육의 역사를 통해 역량의 개념적 이해와 활용을 분석한다. 둘째, 전문직업인 교육에서 논의되는 역량개념의 다층적인 관점을 탐색한 후, 의학교육의 연구 문헌에서 논의되는‘역량’개념의 이해의 특징을 도출한다. 셋째, 선행문헌을 통해 나타난 역량의 활용을‘교육목표로서 역량의 활용’,‘ 역량의 요소와 수행수준의 결정’,‘ 교육의평가준거로서의 역량’의 측면으로 분석하여 의학교육에서 역량기반교육의 가능성과 한계를 도출한다.




결 과


가. 역량기반 의학교육의 역사


의학교육에서 역량 논의는 1970년대 이후 신자유주의 이념이확산되고 소비자의 권리의식이 고양되면서 의료계 내부에서 의료소비자와 사회의 요구를 반영한 의사 역량강화 방안을 모색한것에서 출발한다. 1972년 미국 소아과 학회는‘소아과 의사의 역량 평가를 위한 토대(Foundations for Evaluating theCompetency of Pediatricians)’라는 문서를 발간하면서 의사의역량을 본격적으로 논의하기 시작하였다. 1978년 세계보건기구(World Health Organization: WHO)는 당시 의료 서비스의 질적 하락의 원인을 부실한 교육에서 찾고,‘ 의학교육에서의 역량기 반 교 육 과 정 개 발 (Competency-Based CurriculumDevelopment in Medical Education)’라는 보고서를 통해 보건의료인 교육과정의 변화를 모색하였다.


1970년대의 역량기반 의학교육의 배경에는 의학의 학문적 발전과 소비자 중심의 사회운동에 있다. 1970년대 의학은 다른 인접분야의 학문적 발달의 영향을 받으면서 빠른 속도로 양적₩질적 변화를 경험하게 되었다. 따라서 예비 의료인이 의과대학에서 익혀야 할 의학지식과 기술은 기하급수적으로 많아졌고, 수련을 받거나 병원에서 근무하는 의사들은 새로운 지식과 기술을습득하기 위해 끊임없이 학습하고 연구하게 되었다. 사회적으로는 소비자 중심의 사회운동이 확산되었고, 의료의 체제는 의료인 중심에서 환자 및 의료사회와의 상호관계로 변화되었다. 의료소비자인 개인과 의료사회는 의료서비스의 질을 평가하고 이를 공유하면서 의료 시장의 주체로 부상하였다. 의학교육에서는의사의 수행에 관한 반성적 논의가 확산되고 교육의 접근 방식에도 변화가 생겼다. 의학교육의 초점은 교수자 중심의‘무엇을가르쳤나’에서 학생을 중심으로 하는‘무엇을 배웠나’로 변화하게 되었고, 교육의 방향은 지식정보를 중시하는‘아는 것’에서‘할 줄 아는 것’의 수행중심 교육체제로 바뀌었다. 따라서1970년대 후반에서 80년대 초반에‘역량’은‘수행’의 측면에서교육을 이해하는 중요한 테마가 되었다.


그러나 이 시기의 역량에 대한 개념적 이해는‘의사의 수행능력’에 제한되어 있다. 역량을 통한 의학교육의 개선도 임상실습의 강화나 술기교육의 중요성을 인식하고 반영하는 정도에 머물면서 1980년대 이후 의학교육에서 역량 논의는 침체를 겪게 된다. Carracio et al.(2002)은 이 시기에 역량기반 의학교육이 침체된 원인을 역량과 교육목표사이의 직접적인 연결고리의 부재와역량을 측정할 수 있는 평가 도구의 부적절함에서 찾았다. 당시의학교육에서‘역량’은 개념적으로 혼재되어 있을 뿐 만 아니라역량을 구성하는 특성에 관한 이해도 부족하여‘의사의 역량’이무엇이고, 이것이 어떻게 교육목표와 연결되며, 이를 달성하기위해 어떤 교육경험을 선정하여 조직할 것인지, 그리고 이렇게학습된 역량을 어떻게 측정할 것인지에 관한 사회적 합의를 이끌어내지 못했다.


의학교육에서 역량논의는 1999년 미국 졸업 후 의학교육 인정평가 위원회(US Accreditation Council on Graduate MedicalEducation: ACGME)가 미국 전문의 협의회와 손을 잡고 수련을마친 후 반드시 획득해야 할 6가지 역량들을 발표하면서 다시 활성화되었다. 미국 졸업 후 의학교육 인정평가 위원회는 의사의역량을‘환자진료’,‘ 의학지식’,‘ 대인간의사소통기술’,‘ 전문직업성’,‘ 진료기반 학습과 향상’,‘ 계통기반 진료’로 제시하였고, 이를 계기로 미국 내 수련프로그램은 역량을 기반으로 하는교육과정으로의 변화를 모색하게 되었다(Albanese et al., 2008).이후 전공의 수련과정에서 역량기반 프로그램 개발이 여러 차례보고되었고(Carraccio et al., 2004; Bhatti &Cummings, 2007),의과대학 교육과정에서는 교육목표 설정에 있어 수행중심의 역량기반 교육과정의 개발 사례들이 보고되었다(Goldstein et al.,2005; Dannefer &Henson, 2007; Litzelman et al., 2007).


최근에 이르러 역량은 의학교육의 주요한 테마로 부상하였다.‘의사의 진료역량 강화’라는 사회적 요구가 표출되고, 의학교육계에서‘역량기반교육’으로의 변화를 요구하고 있으며, 역량기반교육의 효과성이 보고되고 있기 때문이다. 의학교육에서 역량의 논의 범위도 의사의 역량이 무엇이고 이를 어떻게 추출할 것인지, 그리고 이를 어떻게 교육경험으로 선정하여 제공하며, 역량을 어떠한 준거로 어떻게 평가할 것인지를 모두 포함하고 있다. 역량은 의학교육에서 선발₩교육₩평가에 있어서 목표, 내용,준거의 기준을 논의하는데 모두 언급되고 있으며, 접근 방향도인지적인 측면이나 기술적인 측면을 뿐 만 아니라 개인의 내재적₩외재적 특성요소를 모두 포함하고 있다. 그러나 의학교육에서 역량에 대한 개념적 이해와 활용의 확장에도 불구하고 여전히‘역량’에 대한 개념적 혼재가 있는 것은 사실이다. 아직도 역량은 사용하는 학자나 맥락에 따라 다르게 언급되고 있고, 이를구성하는 요소나 의미에 대한 이해도 부족하다.



나. 역량의 개념


1) 전문직업교육에서 역량의 의미


역량을‘지능’이나‘적성검사’와 비교하여 하나의 학문적 개념으로 논의한 것은 McClelland(1993)이다. McClelland는 전통적인 학업적성검사나 지능검사가 인간의 능력을 제대로 측정하지 못한다고 지적하면서 직무 성과를 예측하는 방법으로 성공한사람들의 특성을 검토하여 성공의 원인이 되는 자발적인 행동을규명하는 방식의‘역량’을 제안하였다. McClelland의 역량개념은 특정과제나 직무를 두고 어떤 특성이 필요할 것이라고 미리가정하지 않고 업무성과와 관련된 개인적 특성을 규명한다. 때문에 성공적인 수행을 가능하게 하는 실질적인 원인뿐만 아니라역량이 표출되는 배경상황과 맥락을 중시하여 구체적인 과제상황 및 수행상황에 적합한 역량을 찾고자 하는 특징이 있다(윤정일 외, 2007).


McClelland의 역량개념은 이후 Spencer와 Spencer(1993)에의해 보다 정교화 되었다. Spencer &Spencer(1993)는 역량을‘특정 상황이나 직무에서 준거에 따른 효과적이고 우수한 수행의 원인이 되는 개인의 내적 특성’으로 정의하였다. 그들이 제시한 역량의 유형은 동기₩특질₩자아개념₩지식₩기술의 5가지이다.

  • 동기(motives)는 특정한 행위나 목표를 향해 행동을 촉발시키고방향을 지시하게 하는 원동력이며, 
  • 특질(personal characteristics)은 신체적인 특성, 상황 또는 정보에 대한 일반적인 반응성,
  • 자아개념(self-concept)은 태도, 가치관, 자기상을 뜻한다. 
  • 지식(knowledge)은 특정 분야에 대해 가지고 있는 정보이고, 
  • 기술(skills)은 특정한 신체적 또는 정신적 과제를 수행할 수 있는 능력이다. 

지식과 기술은 비교적 가시적이고 표면적인 특성을 가지고 있기 때문에 교육 훈련의 요소로 많이 활용 될 수 있는 반면에 개인의 내재적인 요소인 자아개념, 동기와 특질은 평가하거나 개발하기 어렵다는 특징이 있다[Fig. 1.]. Spencer &Spencer의 역량 정의는 역량을 인지적 측면에서 논의하는 것에서 벗어나 정의적 측면까지 포괄하여 이를 심층부분에 둠으로써 그 중요성을 부각시켰다는 것에 의의가 있다.






McClelland와 Spencer &Spencer의 역량에 대한 정의는 기업이나 직장상황에서 광범위하게 적용되는 개념이다. McClelland와 Spencer &Spencer의 역량개념은 Boyatzis(1982)가 정의한역량, 즉 효과적이고 우수한 수행에 인과적으로 영향을 미치는개인의 행동특성(behavioral characteristic)의 개념과 더불어 대표적인‘행동역량모형’의 범주로 분류된다.


‘행동역량모형’은 사람을 중심으로 역량이 정의된 것인 반면에, ‘직무성과모형’은 특정 직무에서 기대되는 수준의 수행을가능하게 하는 능력이다. 직무성과모형에서 역량은 직무에서 요구하는 표준이며 성과와 동일시된다(오헌석, 2007). 

  • 의학에서 의사의 역량을‘일상적인 진료에서의 의사소통, 지식, 기술, 임상적 추론, 감정, 가치, 성찰을 생활화하여 판단력을 가지고 사용하는 것’이라 정의한 것이나(Epstein &Hundert, 2002), 
  • WHO에서 역량을 유능한 의료진료(competent medical practice)의 관점에서‘특정한 전문 의료 서비스를 수행할 수 있는 능력을 가능하게 하는 넒은 범위의 지식과 태도 및 관찰 가능한 행동’으로설명한 것이 여기에 속한다.


오헌석(2007)은 근본적으로 개인의 능력, 행동의 결과로서의성과의 관계를 어떻게 이해하느냐에 따라 사람중심의 관점과 직무중심의 관점의 차이가 생긴다고 지적하였다. 

  • 사람중심의 관점에서는 역량은 직무를 효과적 직무수행에 요구되는 지식₩기술₩능력으로 대변되는 개인의 특성으로 이해한다. 직무를 수행하는 최상위 수행자를 중심으로 도출되는 이러한 속성은 직무와속성간의 관계를 통해 검증되며 보편적인 성격을 지녀 다양한직무 상황의 맥락과 독립적으로 존재하는 일반능력이다. 
  • 직무중심의 관점에서는 직무에서 출발하여 이러한 활동을 개인의 속성으로 전환시킨다. 이러한 과정을 통해 무엇이 역량을 구성하는지 구체적이고 세부적인 역량 리스트를 도출함으로써 지나치게일반적인 개인 속성의 역량정의문제를 직무의 문제로 환원시키는 것이다.


이 밖에도 역량은 서로 다른 학자들에 의해 다르게 정의되어왔다. Van der Klintk &Boom(2007)은 이러한 다양한 역량 개념을 세 가지 관점으로 분류하였는데,

  •  첫 번째는 지역에 따라 개념적 차이를 갖는 미국의 행동역량 모형과 영국의 직무성과 모형이다. 
  • 두 번째는 훈련과 교육, 선발, 수행평가 등의 적용분야에따른 정의의 차이를 보여주고 있다. 
  • 세 번째는 학습에 관한 이론적 관점에 따라 인지주의와 구성주의를 구분하여 이에 따른 정의의 차이를 설명한다[Table Ⅰ].


역량을 정의하고 활용하는 방식은 학자나 사용하는 맥락에 따라 조금씩 차이가 있다. 어떠한 관점을 취하든 교육환경에서 역량은 학습자에게 필요한 능력을 추출하고, 추출한 능력을 양성하기 위한 교수-학습의 설계의 주요 요소가 된다는 점에서는 공통적인 특징이 있다. 그리고 이러한 접근은 교육의 시작을‘우수한 수행’관한 논의에서 출발한다는 점에서 기존의 교육과정의접근방법과는 차이가 있다.


2) 의학에서의 역량의 이해


의학에서는‘역량’자체를 정의하려는 시도는 많지 않다. 역량기반 교육에 관한 대부분의 문헌들은 역량을‘지식₩기술₩태도의조합으로 이루어진 수행의 복합체’라로 미리 가정하고 있다. 의학교육에서‘역량’의 개념적 특성과 관련하여 Albanese etal.(2008)은 교육상황에서 역량을 정의하는 5가지 기준을 제시하였다. 

  • 첫째, 역량은 교수학습에서 최종산물의 수행에 초점을 둔다. 
  • 둘째, 교육프로그램에는 외부 환경의 요구가 반영된다. 
  • 셋째는 측정할 수 있는 행동용어로 표현된다. 
  • 넷째, 다른 학습자의 수행에 영향을 받지 않는 역량측정의 기준을 활용한다. 
  • 다섯째, 이해관계자 뿐 만 아니라 학습자에게 무엇을 성취해야하는지 충분히 고지된다. 

이러한 특성을 가진 역량은 기본의학 교육 및 졸업후 교육의 프로그램 개발을 개발할 때 교육의 내용을 확인하거나 교육의 결과를 평가하는 요소로 활용되고 있다.


역량은 그 문맥의 쓰임에 따라 특정분야에서 유능함을 나타내는 개인의 자질이나, 구체적으로 개인이 할 수 있는 행동이나 수행을 의미하기도 한다. 

  • 비록 미묘한 차이가 있지만 대체적으로학자들은 유능함을 나타내는 개인의 자질을 역량으로 볼 때competence를 사용하는 반면에, 그러한 자질을 드러내는 구체적인 행동 특성을 언급할 때는 competency를 사용한다(Caraccio et al., 2004). 
  • 특정한 사람을 가리켜‘의사로서 역량이있다’라는 표현을 사용할 때는 전자의 역량(competence)을 의미한다. 후자는‘그 의사는 이러이러한 역량을 가지고 있다’고표현하는 경우로, 여기서 역량(competencies)들은 적절한 진단기술, 환자와의 의사소통 기술, 치료에 필요한 기술의 수행 능력등 보다 구체적인 능력요소를 가리킨다. 
  • 논문에 따라서는 competencies라는단어를 competency와 구별하여 활용하는 경우가 있는데, competencies라는 단어를 주로 사용하는 경우에는전공의 교육이나 의과대학 교육과정(Smith &Fuller, 1996;Dannefer &Henson, 2007; Litzelman et al., 2007)에서 의사의직무 과제와 업무를 분석하여 구체적인 행동이나 특성 모음을몇 가지 역량(competencies)으로 설정하여 제시할 때다.


의학교육에서 역량의 의미와 관련하여 한 가지 눈여겨 봐야할점은 역량이라는 단어가 교육목적과 목표(Goals and Objectives)나 교육의 결과(Outcomes)라는 단어와 혼용되어 사용되고 있다는 점이다. Albanese et al.(2008)은 교육목적과 목표(Goals andObjectives)는 교수과정이나 교육프로그램에 초점을 맞춘 개념이고, 역량은‘교육의 결과’에 초점을 두는 교육의 산출물(endproduct)혹은 목적의 정점상태(goal-state)를 의미한다고 주장하였다. 여기서 교육목표나 목적은 진료의사에게 요구되는 요소로 가드너의 다중지능 이론이 반영된 의미인 반면에‘역량’은행동주의 이론이 반영되어 보다 특정한 행동요소에 초점이 맞춰져 있다고 주장하였다. 따라서 만약 교육프로그램이 교육의 산출물과 결과물(end-product outcomes)을 생산하는 특정한 방식으로 구성된다면 교육목적이나 목표(Goals and Objectives)또한 역량에 해당하는 기준을 충족할 수 있다는 것이다. 비록 사용하는 용어는 다를 수 있으나‘교육의 목적이나 목표’혹은‘교육결과’등이 역량을 정의하는 핵심 요소인‘관찰 가능한 요소로서 지식₩기술₩태도 등의 교육의 산출물’이라는 요건을 갖춘다면‘역량기반교육’으로 받아들일 수 있다.


의학교육에서 논의되고 있는 역량은‘의사의 진료’라는 맥락의존적인 성격이 있다. 따라서 의학교육에서 논의되는‘역량’의의미는 직무상황을 통해 도출된 보다 구체적이고 세부적인 역량리스트에 집중되어 있다. 의료계의 역량 논의는 의사의 직무에서 출발하여 필요한 활동을 확인하고 이를 개인의 속성으로 전환하는 직무중심모형에 치우쳐 있는 것이 현실이다. 그리고 이러한 역량접근이 교육으로 환원되면서 역량의 속성 중 가시적인행동요소로 표현되는‘교육의 결과’에만 집중되어 역량개념의본래적 특성인 개인의 내재적인 속성을 충분히 고려하지 못하는한계가 있다.



다. 의학교육에서 역량의 활용과 가능성


의학교육에서 기존의 교육과정은 과목이나 계통의 학습과제를 도출하는 상향식 분석 기법을 통해 개발되어 왔다. 그러나 이러한 개발 방식은 교육기관이 가지고 있는 최종의 교육목적을제대로 반영하고 있지 못하고 있다는 한계가 있다. 의학교육에서 활용되는 역량 기반 교육과정은 상위 목표를 설정한 후 이를달성하기 위한 역량을 도출하고 역량을 구성하는 요소들을 파악하여 교육과정을 개발하는 것에서 출발한다. 교육에서의 기대되는 성과를 교육의 목적 및 목표로 보고 이를 수행하는 데 필요한역량을 추출한 후에 각각의 역량을 구성하는 지식, 기능, 가치 및태도를 확인하여 교육내용을 선정하고 교육방법 및 교수전략을모색하는 것이다.


교육과정개발 단계에서 활용되는 역량의 개념은 크게 두 가지접근방식으로 구분된다. 

  • 첫째는 통합적 접근(Integrated Approach)으로 역량을 의료의 과제를 수행하게 하는 복합적인개인속성의 조합으로 보는 방식이다. 이러한 접근에는 직무로서의 의료에 대한 사회의 복합적인 요구와 일상의 진료라는 상황적 특성이 고려된 접근으로, 역량을 교육의 목표로 활용할 때 주로 사용된다. 
  • 두 번째는 역량을 세밀하게 정의하고 평가하여 수행의 정확한 측정의 기준으로 사용하는 행동주의적 방식(Behaviorist Approach)이다. 이러한 접근은 핵심역량을 통해도출된 세부역량을 기술할 때 접근하는 방식으로 주로 학습목표로 표현되며 수행의 준거로서 측정가능한 행동요소로 표현되는특징이 있다(Bhatti &Cummings, 2007). 의학교육에서 이러한접근방식들을 이용하여‘역량’을 크게 교육목표 설정, 교육과정개발을 위한 역량요소와 수행수준의 제시, 교육의 평가의 준거등으로 활용한다.


1) 교육의 목표로서의 ‘역량’의 확인


역량기반 교육과정에서 가장 중요하고 특징적인 내용은 교육의 결과로 얻고자 하는 역량을 확인하여 이를 교육의 목표로 설정하는 것이다. 이것은 의과대학 교육과정 개발에서 성공적인졸업생의 구체적인 요소를 설정하는 단계라 할 수 있다. 교육목표에 제시될 역량은 지식과 기술 및 태도를 통합한 총체적인 것으로, 의사의 역할을 효과적으로 수행하기 위한 특성들로 기술된다. 여기서 역량은 의학적 지식과 술기 능력이외에도 졸업 후의 의사로서의 역할을 고려한 다른 역량들이 교육과정으로 편입되어 중요하게 다뤄지고 있는 것이 특징이다. 진료 현장에서 의사에게 필요한 능력은 의학적 지식이나 기술 뿐 아니라 환자와의 의사소통 능력 및 문제해결력, 정보처리능력 등 기존의 교과목 혹은 통합과정의 형태에서는 거의 다뤄지지 않았던 요소들이라 할 수 있다.


의과대학에서 교육의 목표로 졸업생의‘역량’을 선정하고 이를 중심으로 교육과정을 개발한 사례를 보면 

  • Brown 의과대학은졸업생이 성취해야 할 요소로 ① 효과적인 의사소통, ② 기본 임상술기, ③ 임상에서의 기초과학의 활용, ④ 진단, 관리, 예방, ⑤평생학습 ⑥ 전문직업성과 자아성장, ⑦ 지역사회의 보건관리,⑧ 윤리적 추론과 임상윤리, ⑨ 문제해결 등 9가지를 역량으로제시하였다(Smith et al., 1999). 
  • 인디아나 의과대학(IndianaUniversity School of Medicine: IUSM, 2007)은 ① 효과적인 의사소통, ② 기본 임상술기, ③ 진단과 관리, 치료, 예방에 과학의활용, ④ 평생학습, ⑤ 자의식, 자아치유, 자아성장, ⑥ 지역사회에서의 보건관리, ⑦ 윤리적 추론과 윤리적 판단, ⑧ 문제해결,⑨ 전문직업성과 역할인식 등 9가지를 학생들이 졸업시 성취해야할 역량으로 제시하였다. 
  • Cleveland 의과대학(ClevelandClinic Lerner College of Medicine) 제시한 9가지의 역량은 ①연구, ② 의학지식의 기초, 임상과학, ③ 의사소통, ④ 임상기술,⑤ 임상추론, ⑥ 직업전문성, ⑦ 자기개발, ⑧ 의료 관리제도, ⑨반성적 진료이다(Litzelman et al., 2007). 
  • Minnesota 의과대학의경우에는 ACGME가 제시한 핵심 역량을 참고하여 ① 의학지식,② 임상술기와 환자진료, ③ 과학적 임상적 연구 ④ 전문직업성⑤ 대인 및 의사소통술, ⑥ 건강관리체계, ⑦ 성찰을 통한 계속적인 계발 등 7가지 역량을 제시하였다.


기본의학교육에서 교육의 목표로 제시된 역량들을 보면 이들은 개인의 특성요소 즉, 지식, 기술, 태도 및 특질들의 복합체로서 통합적이고, 총제적인 성격을 가진 것을 알 수 있다. 역량은어떤 일정한 체계 속에서 서로 융합되어 의사 혹은 의학자 등의교육의 최종 목표에서 제시된 직무를 수행할 수 있도록 하는 요소로 의과대학 졸업생에 대한 사회적 기대와 요구가 뿐 만 아니라 교육기관의 핵심가치와 교육적 지향방향이 통합적으로 제시된다

.


2) 역량의 요소와 수행수준의 결정


역량은 상위수준의 역량을 구체화할 수 있는 세부적인 수준으로 다시 정의된다. 하위 세부적인 역량은 보다 더 세분화된 하위의 역량요소로 정의될 수 있다. 이를 테면‘의사소통능력’을 구체화할 때는 의사소통의 범주에 따라‘언어적 의사소통’과‘비언어적 의사소통’으로 나눌 수 있고, 언어적 의사소통은 다시‘음성언어’혹은‘문자 언어’등으로 나뉘거나 의사소통의 환경등을 기준으로‘진료실 의사소통’이나‘실험실 의사소통’과 같은 항목으로 구분될 수 있다. 하위의 세부적인 역량은 더 세분화된 하위의 역량요소로 정의될 수 있다. 이러한 역량요소는 각각지식, 기술, 태도 등이 복합적으로 구성된 수행요건들이 제시되어 있다. 요건들은 성취 수준별로 단계적으로 구성되어 있는 것이 특징이다. 세부 역량의 행동모음들은 더 상위의 개념인 역량을 습득하기 위한 학습경험의 집합이라고 볼 수 있다. 이러한 요소들은 학생들이 역량을 달성했는지 여부를 판별할 수 있는 평가의 기준으로 이용된다. 학생들은 어떠한 과업이 주어질 때, 그과업 수행하는데 필요한 지식, 기술, 태도 등의 요소를 복합적으로 활용하여 이를 수행하게 된다. 따라서 과목이나 과정에서의학습 평가는 그 과목 혹은 과정을 마친 후에 이루어지지만 역량은 그 성취 수준이 단계적으로 이루어지기 때문에 졸업 시점이완전한 습득의 목표라고 할 수 있다.


Brown의과대학의 사례를 보면 역량은 역량의 의미를 정의하는 것에서 시작된다(Smith et al., 1999).‘ 효과적인 의사소통’이란 무엇인지 정의가 제시되어 있고 이 역량을 획득하기 위한 세부 역량의 하나로‘문자언어 효과적으로 활용하기’가 제시되어있다. 이 세부역량은 다시 역량 획득여부의 판별기준이 되는 행동들의 모음으로 이루어진다. ‘기록된 병력과 신체 진찰내용을이해하고 해석하는 능력’과‘퇴원요약’,‘ 퇴원시 유의점’,‘ 처방’,‘ 병원의원칙’,‘ 타기관의뢰및협력계획’과‘증례보고/포스터/과학적연구서술’,‘ 환자또는환자가족에게편지쓰기’등이 이에 해당한다. 세부역량은 그 성취수준에 따라 초보, 중간,상급 단계로 나누어져 있어 세 성취수준에는 어떤 술기를 어떤수준으로 능숙하게 할 수 있기를 기대하는지 자세히 묘사되어있다[Fig. 2].





역량은 보다 총체적인 의미에서 교육의 목표로 활용되지만,이를 교육과정으로 개발하는 단계에서는 보다 구체적이고 측정가능한 수행의 요소들로 분석된다. 이 구체적인 수행요소가 실제교육현장에서는 교수학습의 내용과 평가의 준거로 활용되는 것이다. 역량기반 교육과정을 개발하는데 있어서 직면하는 어려움은 설정된 핵심역량으로부터 실제 수행을 할 수 있게 하는 교육내용으로서의 지식과 기술 및 태도 등의 요소 등을 도출하고 이를 학습의 수준에 맞게 적절하게 조직화하는 것이라 할 수 있다.




3) 교육의 평가준거로서의 역량


역량은 교육의 목표이자 교육경험을 선정하는 기반일 뿐만 아니라 교육의 결과를 평가하는 준거이기도 하다. Bhatti &Cummings(2007)은 역량평가의 접근방식을 두 가지로 설명하였다. 

  • 첫째는 객관성과 재현성을 강조하는 기존의 과학적인 접근방법이다. 이러한 접근방식에서 역량의 평가는 지식 중심이고, 정확한 답을 요구하는 표준화된 문제가 제시되는 것이 특징이다. 평가과정에서 역량은 행동주의적 요소와 결합하여 보다객관적이고 관찰가능한 지식이나 기술을 평가하게 된다. 대표적인 예는 의학적 지식정보를 지필형태의 시험으로 확인하는 방법이나, 특정 술기를 평가하는데 있어서 체크리스트를 활용하는방법, 객관화구조임상시험(OSCEs) 등이 있다. 역량을 기반으로교육과정을 운영하는 교육기관에서 지필고사를 통한 정보습득의 확인과 표준화된 술기교육의 평가는 기본적인 요소로 여전히강조되어 활용된다.
  • 두 번째는 학습자의 판단을 기반으로 하는 접근방법이다. 평가는 답이 없는 열린 문항으로 제시되거나, 수행 상에 이론과 실제가 통합된 학습자의 판단을 요하는 경우가 여기에 해당한다.학습자는 문제를 해결하는 다양한 요소들을 고려할 수 있고, 자신이 선택한 문제해결이 합리적이라는 것을 증명해 보이는 과정이 평가의 중요한 요소이다. 의학교육에서 중요하게 다뤄지고있는 특정 역량 즉, 전문직업성이나 자기주도학습 등의 요소를평가할 때 이러한 접근방식이 자주 이용된다. 구체적인 평가 방법으로는 자기보고식 자료나 역량의 수행에 관한 포트폴리오(portfolio), 혹은 표준화 환자를 이용한 임상시험 등에서 교수자나 동료학생들이 함께 참여하는 질적, 양적 평가 등이 있다.


그러나 이러한 두 접근방법들은 각각 특정 역량의 역량요소를평가하는 것에는 유용하게 쓰일 수 있으나, 교육의 최종 목표로서 통합적이고 총체적인 특성을 가진 역량을 제대로 평가하지못하고 있다는 비판을 받을 수 있다. 역량을 평가의 준거로 재기술하여 사용하면서 역량 본래의 통합적이고 총체적인 의미가 손상될 위험이 있다는 것이다. Dannefer &Henson(2007)은 역량평가의 어려움을 지적하면서 현재 역량평가에는 최소한 다음과같은 4가지 문제가 제기되고 있다고 주장하였다. 

  • 첫째, 여러 역량들을 통합할 수 있는 능력을 필요로 하는 복합적인 상황에서학생들의 수행을 전범위의 역량에 걸쳐 평가할 필요성이 제기된다. 현재까지 사용되고 있는 역량평가의 방법은 특정 역량이나그 역량의 부분요소를 평가하는데 효과적일 수 있으나, 역량이발현되는 맥락을 제대로 반영하지 못하고 있다. 
  • 둘째, 역량기반교육에서 수행의 준거가 교육목표와 직접적으로 연계되면서 학습자들이 그들의 수행을 개선할 수 있도록 질적인 접근과 중간평가의 필요가 강조된다. 평가는 교육의 결과를 측정하는 것이 머물지 않고, 교육의 과정으로 이해되어야하며 이를 위해서는평가과정에서 교수자의 지속적인 개입이 필요하다. 
  • 셋째, 수행이 특정한 맥락의 상황과 관련되어 있기 때문에 측정의 문제는여러 상황적 맥락과 환경 중의 샘플링 문제가 부각된다. 채점자나 평가상황에 따라 평가결과가 달라질 수는 문제는 신뢰도와타당도로 해결해야할 과제이다. 
  • 넷째, 수행의 평가에 있어서 심리측정방식(psychometric approach)의 접근 하나만으로는 더이상 적절하지 않다는 것이다. 역량을 제대로 평가하기 위해서는 역량을 성취했다는 다양한 종류와 자원을 가진 증거들을 분석할 수 있는 새로운 모델이 필요하다.


고찰: 역량기반 교육의 몇 가지 한계


지금까지 역량기반 의학교육의 역사와 역량의 개념적 특성을살펴보면서, 역량기반교육의 가능성을‘교육 목표의 설정’,‘ 수행수준의설정’,‘ 평가의준거’측면에서논의하였다. 의학교육에서 역량기반 교육은 기존의 지식중심의 교육과정에 대한 대안적 개념으로 활용되고 있으며 그 용어 또한 교육결과(outcome),교육목표(object)와 혼용되어 사용되고 있다. 의학교육에서 역량(competency)은 의료라는 구체적인 맥락에서 수행을 강조하는개념으로, 지식, 기술, 태도 등의 특정한 조합 또는 복합체로 정의되고 있는 것은 대부분의 연구에서 공통적으로 합의하고 있는것은 사실이다.


의학교육에서 도출된 사례들을 보면 대부분 교육의 목표로 제시되고 있는‘역량’들은 직무 중심의 관점에서는 의료라는 맥락에기반을둔구체적이고세부적인요소들을추출한것으로,‘ 훌륭한 의사의 수행’이라는 관점에서 의료의 이해당사자인 사회와 개인, 의사집단, 전문직업인으로서의 의사 자신의 요구와 책임에 대한 분석결과가 반영되어 있는 것이 특징이다. 교육의 목표로 제시된 역량은 이를 구체화할 수 있는 세부수준으로 다시정의되어 학습경험을 선정하는 준거로 활용되며, 하위 세부 역량은 그 성취수준과 평가준거가 측정가능한 행동요소로 표현되어 평가요소로 활용될 수 있다.


교육의 목표로 제시된 역량들은 의료사회의 요구에 부응하는훌륭한 의사의 지식₩기술₩태도 뿐만 아니라 계속적인 전문성 계발 요소를 함께 제시함으로써 의료사회에 적극적으로 대응할 수있는 의료인을 양성할 수 있는 토대가 된다. 세부수준으로 정의된 역량과 수행준거는 보다 개별화되고 유연한 학습과 훈련을가능하게 하는 장점이 있을 뿐 만 아니라 투명한 수행준거를 제시함으로써 특정 직무의 인력 선발과 교육평가의 기준으로 활용될 수 있다는 것에 그 활용의 가능성이 있다.


그럼에도 현재까지의 연구를 통하여 논의된 역량기반 의학교육은 네 가지 측면에서 이론적, 실제적 한계를 지니고 있다. 

  • 첫째, 현재 의학교육의 역량은 직무중심의 접근으로 본래의 역량이 가지고 있는 사람중심의 내재적 특징이 제대로 반영되어 있지 않다는 것이다. 현재의 역량교육은 역량이 가진 내재적₩외재적 요소와 개인과 맥락의 통합적 요소를 제대로 반영하지 못한채, 측정 가능한 행동요소에 집중되어 있다. 따라서 의학교육에서 설정된 역량은 이를 구성하는 행동요소들로 분절화 되어 특정 지식이나 기술의 수행에만 집중되면서 본래의 역량이 가지는인간의 수행이라는 통합적인 가치가 제대로 발현되지 못할 위험이 있다. 
  • 둘째, 역량기반교육을 실현하기 위한 교육방법과 교수전략에 대한 이해의 부족이다. 역량기반교육은 기존의 지식중심의 전달교육이나 제도적 기술 습득과는 전혀 다른 교육적 처치를 필요로 한다. 설정된 역량에 따라 이를 훈련하는 방식은 다를수밖에 없고, 교수자의 교수능력에 따라 학생들의 성취수준도달라질 수 있다. 그러나 아직 의학교육에서는 특정 역량을 계발하기 위한 교수-학습 모형에 관한 연구가 부족할 뿐 만 아니라,교육 현장에서 역량에 따른 교육적 방법이나 교수전략에 대한교수자의 이해도 부족한 편이다. 
  • 셋째, 학습자 역량에 관한 교육평가의 정확성과 객관성 확보의 어려움이 있다. 역량기반 교육에서 역량의 성취여부는 세분화된 수행요소의 습득으로 평가된다. 이러한 접근방식은 평가의 대상이‘역량’이 아니라 준거로제시된 수행요소를 측정하는 데 머물면서 역량이 발현되는 본래의 맥락에서 통합적이고 총체적인 역량을 제대로 평가하지 못한다는 비판의 위험이 있다. 평가자나 채점자에 따라 평가 결과가달라지는 문제도 극복해야 할 과제이다. 
  • 넷째, 역량기반 교육의실행에 필요한 교원 및 교육기관의 변화의지이다. 역량기반 교육은 역량의 설정과 분석 및 이를 개발하는 과정에서부터 많은인력과 비용이 필요하고, 이를 운영하는 과정에서도 어려움이따르기 때문에 적지 않은 변화가 필요하다. 이 과정에서 기존의학과중심의 학사운영과 강의중심의 교수에 익숙해져 있는 교원들의 혼란과 반발이 발생할 수 있다. 역량기반 교육은 현재의 의과대학 교원들에게 내용도 생소할 뿐 만 아니라, 기존의 1인 교수체제나 전공별 교육이 아닌 역량별 팀별 접근을 필요로 하는지금과는 전혀 다른 교수-학습 체제를 필요로 하게 된다. 생소한내용을 가르쳐야 하는 부담과 새로운 교육방식의 적응과정은 많은 시간의 노력과 열정을 필요로 하며, 교원의 적극적인 참여와변화의지 없이는 역량기반 교육은 불가능하다.


역량이라는 용어가 사용되든 그렇지 않든, 의학교육에서‘수행’을 중심으로 하는 교육으로의 변화는 필연적이다. 역량기반교육은 역량의 설정과 분석 및 이를 개발하는 과정에서부터 많은 인력과 비용이 필요하고, 이를 운영하는 과정에서도 적지 않은 교육의 변화가 필요하다. 역량교육으로의 변화에 대한 필요성과 움직임에도 불구하고, 변화가 더딘 이유는 앞서 제시한 역량교육의 운영상의 제한점 뿐 만 아니라 교육의 목표로서의 역량과 이를 교육의 내용과 평가의 준거로 도출해 내는 과정의 실제적인 어려움이 있기 때문이다. 역량기반 교육이 가능하기 위해서는 역량에 관한 개념적 이해와 더불어 역량기반 교육과정의실천적 연구들이 보완되어야 할 것이다.







Competency and competency-based education are topics of great interest to educators and administrators at most

stages of undergraduate and postgraduate medical training. A competency-based approach in medical setting has been

valued as a more effective way to strengthen learners’ performance compared to the traditional education program. This article

aims to explore theoretical and practical possibilities and limitations of competency-based medical education. We

approached the topic in 3 gradual steps: the comprehension of background of competency-based education, the conceptual

understanding of competency in professional education, and the exploration of possibilities and limitations of competencybased

medical education. The last step of analysis was performed in three dimensions: educational objectives, references to

judge performance, and performance evaluation criteria. In conclusion, we suggest 4 factors which need to be considered to

implement a competency-based medical education.

Key Words: Competency-based education, The possibilities and limitation of competency, The concept of competency

국내 성과바탕의학교육에 대한 비판적 논의: 역량의 개념을 중심으로

The Role of the Concept of Competence in Korean Outcome-based Medical Education

이요바

충남대학교 의학전문대학원 의학교육실

Yo Ba Lee

Office of Medical Education, Chungnam National University School of Medicine, Daejeon, Korea





서 론

현재 국내의 많은 의과대학 및 의학전문대학원들이 성과바탕으로의 교육과정 전환에 대한 요구에 직면해 있다. 이는 성과바탕교육이라는 의학교육의 세계적인 흐름(Harden, 2007; Marger et al.,2007; Swing, 2007)에 영향을 받고 있는 것뿐만 아니라 국내에서도주요 의학교육단체들을 중심으로 성과바탕교육을 도입하고자 하는 움직임이 활발하게 일어나고 있기 때문이다.


국내에 성과바탕교육을 도입하고자 하는 단체들의 움직임 중 대표적인 것은 한국의학교육평가원에서 주최하는 의과대학 · 의학전문대학원 평가인증제도를 들 수 있다. 한국의학교육평가원은 ‘post2주기 의학교육 평가인증기준 및 규정(Korean Institute of MedicalEducation and Evaluation, 2011)’의 교육과정 부분에 각 대학 및 의학전문대학원이 교육과정을 성과바탕교육으로 설계할 것을 명시하였다. 이후 한국의학교육학회(Korean Society of Medical Education),한국의과대학 · 의학전문대학원 학장협회(Korean AssociationMedical College), 대한의학회(Korean Academy of MedicalSciences) 등이 공동으로 주최하는 의학교육학술대회를 통해 성과바탕교육이 본격적으로 논의되기 시작했다. 27차 의학교육학술대회를 통해 세계적인 수준으로 국내 의학교육이 도약하기 위해서는성과바탕교육으로 전환이 필요하다는 주장이 나왔고(Korean AssociationMedical College et al., 2011), 28차 의학교육학술대회에서는 성과바탕교육과정의 개발방법, 사례 등에 대해 자세히 논의하였다(Korean Association Medical College et al., 2012). 그리고 한국의과대학 · 의학전문대학원 학장협회에서는 새로운 학습목표집인 ‘기본의학교육 학습성과: 진료역량 중심(Korean AssociationMedical College, 2013)’을 발간하여 기존의 지식 중심, 학문 중심의목표에서 벗어나 임상표현을 중심으로 구성한 학습성과를 기본의학교육의 학습목표의 표준으로 제시하였다.


성과바탕교육에 대한 관심은 의학교육연구 분야에서도 나타나고 있다. 성과바탕교육에 대한 연구로는 학습성과의 개념 및 배경이론, 학습목표와의 차이점을 소개한 연구(Kim, 2012), 성과중심교육과정의 개발 및 평가방법 대해 소개한 연구(Ahn &Yang,2013; Chae, 2009; Im, 2013) 성과바탕교육의 국내외 사례를 소개한연구(Han, 2013; Kim et al., 2013; Lee et al., 2013) 등이 있다. 그러나 이러한 연구들은 주로 국내에 성과바탕교육을 소개하고 적용방법의 모색을 목적으로 하고 있는 반면, 국내의 성과바탕교육에 대한비판적인 접근의 시도는 이루어지지 않고 있다.


이런 상황을 볼 때, 국내 의학교육 분야에서는 성과바탕교육 도입을 추진하는 힘은 강하지만, 그 힘을 조절하는 비판적인 논의는아직 부족해 보인다. 이번 연구는 역량(competent)의 개념을 중심으로 국내 성과바탕교육에 대한 비판적인 논의를 시도하고자 한다.성과바탕교육은 사전에 설정된 학습성과의 달성을 위해 학습경험및 평가를 설계하는 교육과정의 방식을 말한다(Harden, 1999). 성과바탕교육은 학생들이 달성해야 할 학습성과를 의사가 갖추어야할 역량을 바탕으로 설정하고 있는 일종의 역량바탕교육과정이라고 할 수 있다. 그러므로 국내의 성과바탕교육이 가지고 있는 역량의 개념에 대해 비판적으로 논의해 보는 것은 의미가 있다.


국내의 성과바탕교육이 가지고 있는 역량의 개념에 대한 비판적인 논의를 위해 Stoof et al. (2002)이 제시한 역량의 5가지 차원을분석틀로서 사용하고자 한다. Stoof et al. (2002)은 역량의 개념이주로 논의되는 교육과 human resource development 영역에서 역량의 개념을 구성주의적인 접근방법을 통해 정의하고자 했다. 이를위해 크게 두 가지 방법이 동원되었는데, 

  • 첫 번째 방법은 inside-out접근방법으로, 역량의 개념 및 접근방법에 대한 다양한 관점들을정리하여 양극으로 표현되는 5가지 차원으로 역량을 설명하였다.이 접근은 역량의 다양한 양상을 포괄적으로 이해하는 데 도움을준다. 뿐만 아니라 역량 개발자가 역량의 개념을 정의할 때, 자신이강조하려는 개념을 드러내도록 하는 것을 돕는다. 
  • 두 번째로는outside-in 접근방법으로 수행(performance), 자격화(qualification),능력(capability, ability), 지식, 기술 태도(knowledge, skilland attitude), 전문성(expertise) 등과 같은 용어의 개념과 역량의개념 간의 차이를 구분하였다. 이 접근은 역량을 정의할 때, 용어사용을 명확하게 하기 위함이다. Stoof et al. (2002)은 이렇게 역량개념의 inside-out 접근방법과 outside-in 접근방법을 통해 전반적인 역량의 개념이 어떻게 구성되는지를 드러내고자 했다. 


이 연구는 국내 의학교육에서 역량의 개념을 구체적으로 정의하기 위한 것이기보다는 국내 성과바탕교육에서 사용되고 있는 역량의 개념과교육과정이 어떤 관점을 포함하거나 또는 간과하고 있는지를 파악하고 논의하고자 하였다. 이에 역량의 다양한 측면을 드러내기 위한 도구로 Stoof et al. (2002)의 역량에 대한 정의 중 inside-out 접근즉, 역량의 5가지 차원을 사용하였다. Inside-out 접근만으로 역량에 포함되는 다양한 측면을 드러내는 데 충분하기 때문에 이번 연구에서 outside-in 접근방법을 도구로 사용하지 않았다. Stoof et al.(2002)은 역량의 개념을 파악하기 위한 방법 중의 하나로 역량에접근하는 다양한 관점들을 정리하여 5가지 차원으로 설명하였다.그것은 개인특성 대 과업특성(personal vs. task characteristics), 개인 대 집단역량(individual vs. distributed competence) (필자는 이번 논문에서 distributed competence를 글의 맥락상 ‘집단역량’이라고 번역하였다. 하지만 distributed competence는 ‘조직역량,’ ‘공통역량’ 등의 용어로도 해석될 수 있음을 밝혀 둔다), 특수 대 일반역량(specific vs. general competence), 역량의 수준 대 수준으로서의 역량(levels of competence vs. competence as a level), 가르칠 수있는 역량 대 가르칠 수 없는 역량(teachable vs. non-teachable) 등이다. 역량의 5가지 차원에서 각 차원은 대립되는 두 가지 역량의관점들로 이루어져 있는데, 두 가지 관점 중에서 어떤 관점에 초점을 두느냐에 따라 역량의 개념 및 접근방법이 달라진다고 할 수 있다. 예를 들어 역량의 5가지 차원 중 하나인 ‘개인 대 과업’ 특성 차원에서는 역량의 개인적인 특성을 강조하는 관점과 과업 특성을 강조하는 관점이 존재한다. 역량바탕교육 개발자가 이 두 가지 특성중 어떤 관점에 초점을 두느냐에 따라 역량의 개념 및 접근방법은달라진다.


Stoof et al. (2002)의 5가지 차원은 역량을 둘러싼 다양한 관점들을 잘 드러내 준다. 그렇기 때문에 역량의 다양한 측면 가운데서 역량바탕교육과정으로서의 국내의 성과바탕의학교육이 어떤 관점을 포함하고 간과하고 있는지를 비판적으로 바라볼 수 있는 관점을 제공해 줄 것이다. 본 연구는 Stoof et al. (2002)이 제시한 다차원적인 역량의 개념을 살펴보고 국내 의학교육 분야의 성과바탕교육에의 시사점을 논의하고자 한다. 이를 위해 Stoof et al. (2002)의 역량의 차원을 설명하고 이를 바탕으로 국내 의학교육의 성과바탕교육에 대한 논의를 시도할 것이다.



역량의 5가지 차원


Stoof et al. (2002)은 역량의 개념을 5가지 차원으로 제시했는데,그것은 ‘개인특성 대 과업특성,’ ‘개인 대 집단역량,’ ‘특수 대 일반역량,’ ‘역량의 수준 대 수준으로서의 역량,’ ‘가르칠 수 있는 역량 대가르칠 수 없는 역량’ 등으로 구성되어 있다. 앞에서 밝힌 바와 같이각 차원에서 역량의 어떤 특성을 강조하느냐에 따라 역량의 개념및 접근방법이 달라진다고 할 수 있다. 이번 장에서는 Stoof et al.(2002)의 역량의 5가지 차원을 설명한다.


1. 개인 대 과업 특성


역량에 대한 접근은 우수한 수행자 개인이 가지는 특성에 중점을 두는 방법과 과업의 특성에 중점을 두는 방식으로 나누어 볼 수있다. 역량의 개인 특성을 강조하는 측면은 특정 직무에서 우수한수행자의 ‘어떤 개인적인 특성이 탁월한 수행을 이끄는가’에 초점을 맞춘다. 그리고 성과 향상을 위해 우수한 수행을 보이는 자들이가지고 있는 개인적인 특성을 규명하는 데 목적이 있다. 이 측면에서 역량은 개인이 처한 환경이나 맥락, 직업이 가지는 특수한 성격등에 의하여 개인이 효과적이고 탁월한 수행을 나타낼 수 있는 바탕이 되는 행동이나 특성을 의미한다.


과업 특성을 강조하는 역량 접근은 수행을 위해 요구되는 최소한의 수행수준을 규명하며, 직원의 능력을 진단하고, 자격을 부여하는 것을 목적으로 하고 있다. 이 관점에서는 ‘수행되어야 하는 과업의 기본적인 요소들은 무엇인가’에 초점을 맞춘다. 역량은 직무에서 요구하는 기능의 표준을 의미하며, 역량 자체가 교육이나 학습의 성과이자 결과물과 동일시된다. 그러므로 학습자 및 고용자들은 업무수행 이전에 사전에 기술된 직업의 표준들을 만족하거나그 이상의 수행능력을 보여야만 한다.


높은 수준의 성과를 보이는 수행자일수록 지식과 기술보다는 가치관, 태도, 동기 같은 개인적인 특성이 역량에 더욱 많은 영향을 미친다(Harden et al., 1999). 그러므로 높은 수준의 수행을 위해서는탁월한 수행자의 개인 특성에 초점을 맞추어 역량을 규명하는 것이 효과적일 수 있다. 반면, 신입사원교육, 전문직 면허 부여를 위한교육 등과 같이 남들보다 모든 수행자가 갖추어야 할 기본적인 능력을 강조할 때는 과업의 특성에 초점을 맞추어 역량을 규명하는것이 효과적일 것이다.



2. 개인 대 집단역량


역량을 한 개인에게 속한 어떤 것으로 보는 관점과 개인을 넘어집단이나 조직 가운데 퍼져 있는 어떤 것이라고 보는 관점으로 나누어 생각할 수 있다. 개인역량에 대한 관점은 수행을 위해 개개인의 역량 개발과 그것의 측정에 초점을 둔다. 그러므로 이 관점에서는 특정 행위를 할 수 있는 능력이나 지식, 기술 등을 개인의 내부에축적하는 것을 목적으로 한다. 그리고 개인은 외부에서 해결해야할 문제를 만났을 때, 개인 내부에 축적된 역량을 동원하여 문제를해결한다는 가정을 가지고 있다.


이와 달리 집단역량의 관점은 역량이 개인적인 차원을 넘어 집단적 혹은 체계적인(systematic) 접근이 필요하다고 주장한다. 이 관점에서는 일터에서 개인이 수행한 과업의 성패의 여부가 개인적인수준을 넘어, 조직이나 함께 일하는 동료들에게 의존하고 있다고생각한다. Shon (2005)은 이러한 점을 항해사의 예를 들어 다음과같이 설명한다.


항구에 선박의 수로를 유도하는 상황에서 선박 조종실 안의 두파일럿은 회전 나침반 위에 놓인 망원경을 사용하면서 선박의 지점을 다른 두 파일럿에게 읽어 준다. 그리고 선박의 지점을 전달받은파일럿은 다시 브리지 위에 있는 항법사에게 전화로 통보한다. 그러면 항법사는 장부에 방위 수치를 기입하고 큰 소리로 그 수치를 확인한다. 그 옆에서는 특수 장치를 사용하여 항해차트 위에서 선박의 위치를 기록하고 그 선박의 항해각도를 산출한다. 이러한 과정은 매 1분에서 3분 단위로 되풀이된다. 여기서 파일럿들의 직업수행 역량은 개인적인 능력의 이상을 것을 요구한다. 성공적으로 수로를 유도하기 위해 필요한 지식이 이러한 시스템 전체에 분산되어있기 때문이다(Shon, 2005).


위의 항해사의 예에서 보는 것과 같이 개인의 과업은 상호 의존적이기 때문에, 집단 내에서 한 개인의 성공적인 수행이 반드시 문제해결로 이어진다고 할 수는 없다. 그러므로 개인의 수행능력은개인별로 분리되어 접근하기보다는 한 조직이나 체계(system) 전체의 측면에서의 접근이 필요하다. 그리고 어떠한 조직이나 집단에서의 개인의 수행은 그 집단 체제의 한 부분으로서 역할을 감당하는것이며, 개인이 체제의 한 부분이 된다는 것은 집단이 향유하는 문화나 체제 속으로 들어가는 것을 의미한다. 그러므로 이 관점에서는 역량 개발의 대상이 집단이나 조직으로 확대되어야 함을 의미한다. 이와 더불어 학생들이 어떻게 실천의 현장 속으로 어떻게 사회화가 되고, 현장에서 어떻게 상호작용하며, 조직의 한 구성원으로서 어떻게 역량을 발전시켜 나가야 하는지에 대한 이론적인 이해가 필요하다(Dornan et al., 2012).




3. 특수 대 일반역량


역량의 정의는 범위에 따라 특수역량에서부터 일반역량까지의스펙트럼을 형성할 수 있다. 역량은 구체적인 상황이나 맥락에서요구되는 구체적인 수행능력을 강조할 것인지, 아니면 다양한 상황이나 맥락을 포괄할 수 있는 수행능력을 강조할 것인지에 따라 개념 및 접근방법이 달라질 수 있다.


이러한 점은 의학교육에서 Frank et al. (2010)이 정리한 역량의개념에서 쉽게 확인을 할 수 있다. Frank et al. (2010)은 역량의 범위에 따라 역량을 competence와 competency로 개념을 나누어서 설명하고 있다. 

  • 그에 따르면 competence는 특정한 맥락에서 의사의수행에 요구되는 다양한 능력의 집합체를 의미한다. 수행자가 문제를 해결하기 위해 처한 실제현장의 맥락은 상황적인 결정, 불확실한 예측, 가치갈등의 문제들이 항상 놓여 있다. 이러한 실제현장의맥락으로 인해 의사는 과업수행 중에 매번 새로운 상황을 맞닥뜨리며, 매번 그 상황에만 해당하는 문제해결능력 즉, 특수한 역량을발휘해야 한다. 그렇기 때문에 실제상황에서 요구되는 competence는 시간이나 공간적 변화에 따라 가변적이다. 
  • 반면, competency는지식, 기술, 가치, 태도 등의 다양하고 전문적인 요인들로 구성된 관찰 가능한 능력이다. 몇몇의 세부적인 competency는 결합되어 더욱 넓은 영역을 포괄하는 핵심적인 competency로 발전할 수 있다.이런 competency는 수행자가 competence를 발휘하기 위한 일종의 재료라고 할 수 있다. 즉, competency는 특정 맥락과 상관없이의료 전문성 전반에 요구되는 능력이라고 할 수 있기 때문에 의사역량의 일반적인 특성에 해당하는 것이라고 할 수 있으며, 

competence는수행자 특정한 맥락에서 자신이 처한 상황에 맞게 competencies를사용하여 발휘하는 것이기 때문에 의사역량의 구체적이고 맥락적인 특성에 초점을 두고 있는 것이라고 할 수 있다.


  • 직업이나 혹은 다양한 맥락들에서 공통적으로 요구되는 능력에초점을 두고 있는 역량의 일반적인 특성 강조는 다양한 맥락에서활용 및 전이 가능성을 가지고 있다는 장점을 가지고 있다. 그러므로 일반역량의 강조는 개인이 교육을 받은 후 다양한 실천현장으로 진출할 가능성과 여지가 있을 때, 적용이 가능하다. 
  • 반면 특정한맥락에서 요구하는 능력에 초점을 두고 있는 특수역량의 강조는실제상황에서의 수행이 가지는 특성을 잘 반영하고 있다는 점에서장점을 가지고 있다. 그러므로 학생이 졸업 후 실제현장에 나갔을때, 현장의 맥락에서 역량을 개발하기 위한 교육적 상황에 적용이용이할 것이다.



4. 역량의 수준 대 수준으로서의 역량


  • 역량의 수준’의 관점에서는 역량을 수준에 따라 단계적으로 나눌 수 있다고 가정한다. 이 관점에서는 개인이 어느 정도의 역량의양을 가지고 있다고 여긴다. 그리고 역량의 양은 초보자에서 전문가(expert)로 갈수록 점점 더 많아진다고 생각한다. 예를 들어 성과바탕교육에서는 학생들이 졸업 전에 반드시 달성해야 할 학습성과를 선정하고 학습시기 및 수준에 따라 선정된 학습성과를 시기성과(phase outcome), 과정성과(course outcome), 수업성과(lessonoutcome) 등으로 세분화한다. 그리고 각 수준에 적합한 평가방법을 사용하여 학생의 역량성취 여부를 확인한다. (Frank et al., 2010;Harden, 1999; Harden et al., 1999) 
  • 반대로 ‘수준으로서의 역량’의관점에서는 역량을 초보자에서 전문가로 가는 단계 중에 하나의단계로 생각한다. 즉, 역량을 단계에 따라 세부적으로 나눌 수 있다고 생각하기보다는 발달단계의 특정 지점에 해당하는 능력 중에하나를 가리킨다. 예를 들어 Dreyfus의 전문성 발달모델을 들 수있다. Dreyfus의 모델은 전문성의 발달단계를 novice, advance beginner,competent, proficient, expert 등 5가지 단계로 나누고 있다(Dornan et al., 2012). 이 모델에서 역량은 전문가 수준으로 이르는하나의 수준으로 묘사되고 있는 것이다.


5. 가르칠 수 있는 영역 대 가르칠 수 없는 영역


역량에는 지식, 기술, 태도, 개인적인 특성, 동기 등의 많은 요인들이 포함되어 있다. 역량의 많은 요소들 중에 과연 어떤 것들을 교육에서 다룰 것인지, 어떤 것을 가르칠 수 없는지에 대한 결정에 따라교육에서 역량의 개념 및 접근방법이 달라진다. 예를 들어 Spencer& Spencer (1993)는 역량의 요소들 중에 지식이나 기술 같은 것들을 가시적으로 확인이 가능하기 때문에 개발이 용이하지만, 개인적 특징, 동기, 자아개념 등의 요소들은 암묵적이고 심층적인 요소이기 때문에 개발이 어렵다고 주장한다. 이러한 경우 교육적 상황에서 암묵적이고 심층적인 요인을 가르칠 수 없는 역량으로, 행동적이고 가시적인 요인을 가르칠 수 있는 역량으로 설정이 가능하다.또 다른 예로 Shon (2011)은 개인이 직무를 수행하는 현장은 매우복잡하고, 예측이 어렵기 때문에 직무를 수행하는 개인은 맥락적이고 즉흥적인 문제해결능력이 필요하다고 주장한다. 이러한 역량은 좁은 의미에서의 지식과 기술에서 나온다기보다는 그 지식과관련되어 이루어지는 현장에서의 실천과정 그 자체에서 성취가 가능하다. 그러므로 Shon (2011)은 현재 학교의 경험만으로는 역량교육이 어려우며, 학교 밖의 경험을 어디까지 인정할 것인지가 고려되어야 한다고 주장한다. 이 경우에는 가르칠 수 있는 역량의 요인은구체적으로 밝히고 있지는 않지만, 맥락적이고 즉흥적인 문제해결능력은 학교에서 가르칠 수 없거나, 한계를 가지고 있다고 가정하고있다.


역량의 가르칠 수 없는 영역은 교육과정에서 소홀히 하거나, 공식적으로 가르치지 않는 내용이라고 할 수 있다. 이렇게 배재된 교육과정을 Eisner (1985)는 영 교육과정(the null curriculum)이라고 명명했다. 가르쳐야 할 내용임에도 불구하고 의식적 혹은 무의식적으로 배재된 교육과정이 무엇인지에 대해 성찰해 보는 것은 현재 존재하는 교육과정을 더욱 풍부하게 해석할 수 있도록 해 준다. 즉, 역량의 가르칠 수 있는 영역 대 가르칠 수 없는 영역에 대한 성찰은 역량바탕교육의 내용 중에서 무엇이 배재되었고, 무엇이 포함되었는지를 판단하는 틀이라고 할 수 있다.



고 찰


Stoof et al. (2002)의 5가지 차원은 역량이 가지고 있는 다양한 측면을 드러냄으로 역량의 개념을 이해하는 실마리를 제공한다. 뿐만 아니라 역량 개발자의 상황과 의도에 따라 역량의 개념을 구성할 수 있는 기준이 되기도 한다. 그렇다면 Stoof et al. (2002)의 5가지 차원 중에서 의학교육의 역량은 어떤 범위에 위치할 수 있는가? 필자는 의학교육에서의 역량이 Stoof et al. (2002)의 5가지 차원을두루 포함해야 한다고 생각한다. 이는 역량의 개념이 가지고 있는총체성 때문이다. Short (1985)에 의하면 역량이라는 용어는 행동이나 수행과 같은 특정한 측면을 통해 역량의 습득을 파악하기보다는 개인의 실제활동을 종합적으로 판단하여 총체적인(holistically)관점에서 역량의 습득 여부를 판단하여야 한다. 이것은 곧 어떤 사람을 유능하다고 판단할 수 있는 사람의 자질(quality of aperson)이나 존재의 상태(state of being)로 역량을 인식하는 것이다. 역량을 세부 구성요소로 나누고, 특정한 기준에 의해 각 구성요소들을 수준화하는 것은 역량의 습득 여부를 객관적으로 파악할 수 있게 하며, 역량의 습득과정을 명확하게 함으로 교육적인 상황에 적용하는 것을 용이하게 한다. 그러나 쪼개어진 역량의 구성요소에 집착을 하거나 구체적인 행동이나 수행에만 관심을 가지다보면, 자칫 역량의 전체적이고 총체적인 관점을 해칠 수 있다. 이런관점으로 볼 때, 의학교육에서 역량의 개념은 Stoof et al. (2002)의 5가지 차원을 두루 포함해야 한다. 비록 기본의학교육(pre-medicaleducation), 졸업 후 교육(graduated medical education), 평생교육(continuing medical education) 등 의학교육을 구성하는 각각의교육 하위수준에서 강조하는 역량의 개념은 차이가 있을 수 있다.하지만 각각의 하위수준들을 포함하는 전체적인 의학교육의 측면에서 보았을 때는 역량의 총체성을 지향해야 할 것이다.


역량의 총체적인 관점에서 볼 때, Stoof et al. (2002)이 제시한 역량의 5가지 차원을 통해 현재 국내 의학교육에서의 성과바탕교육에 대한 논의는 다음과 같이 크게 두 가지로 제시할 수 있다.


첫 번째 시사점은 성과바탕교육과정은 역량에 접근하는 여러 가지 모델 중 하나의 모델이라는 점을 인식해야 한다는 것이다. 국내의학교육 분야에서 역량바탕교육과정은 주로 성과바탕교육과정의 틀 안에서 다루어지고 있으며, 성과바탕교육과정과 역량바탕교육과정을 동의어로 사용하기도 한다(Lee, 2011). 그러나 성과바탕교육과정은 역량을 다루는 방식 중 하나의 방식일 뿐임을 인식해야 할 필요가 있다.


Stoof et al. (2002)이 제시한 역량 차원에 비추어 보았을 때, 국내에서 성과바탕교육의 적용은 다양한 역량의 개념 및 접근방식 중에 일부분이라고 할 수 있다. Stoof et al. (2002)의 차원에 의하면, 

    • 첫째, 국내의 맥락에서 성과바탕교육은 과업 특성을 강조한다. 물론이론적인 측면만 보았을 때, 성과바탕교육이 역량의 과업 특성을강조하는지 개인 특성을 강조하는지를 분명하게 파악할 수 없다.왜냐하면 성과바탕교육에서는 교육과정의 설계에 있어서 학습성과의 중요성을 강조하고 있기는 하지만, 어떤 학습성과를 가져야하는지에 대해서 정하고 있지는 않기 때문이다. 그러므로 교육과정개발자의 의도에 따라 과업 특성을 강조할 수도 있고, 개인 특성을강조할 수도 있다. 그렇지만 국내의 성과바탕교육이 의사자격부여를 위한 기본의학교육의 수준인 대학교육에 한해서 주로 논의되고있기 때문에 과업 특성 즉, 현장에서 기본적으로 요구하는 역량을강조하고 있다고 할 수 있다. 
    • 둘째, 국내의 성과바탕교육은 교육의대상이 조직, 집단, 문화 등이기보다는 개인의 능력 획득에 초점을두고 있으므로 개인역량을 강조한다. 
    • 셋째, 특정한 환경이나 맥락에서 요구되는 능력보다는 의사에게 필요한 전반적인 능력을 강조한다는 측면에서 일반역량을 강조하는 특성을 가진다. 넷째, 최종학습성과에 도달하기 위해 역량을 하위요인으로 구분하고 세분한다는 점에서 역량의 수준을 강조한다. 
    • 마지막으로 역량을 사전에설정된 관찰 가능하고 행동적인 용어로 진술된 기준에 의해 판단하며, 그것을 학습성과로 설정하고 있는 측면에서 역량의 가시적인측면, 즉 행동적인 측면을 가르칠 수 있는 부분으로 설정하고 있다고 할 수 있다.


국내의 성과바탕교육이 역량에 대한 이런 접근을 가지는 이유는 성과바탕교육이 R. Tyler의 목표중심교육과정을 뿌리로 하고 있는교육과정 전통주의자들과 맥을 같이 하고 있기 때문이다. 성과바탕교육은 R. Tyler의 목표중심교육과정이 가지는 사전에 선정된 목표(학습성과)가 중심이 되는 교육과정 개발방식, 행동적인 목표진술 및 평가방법, 목표의 세분화 등의 특징을 그대로 이어받고 있다.과학적이고 합리적인 방법으로 교육과정에 접근하는 전통주의자들의 방식은 수업과 학습방법을 비교적 분명하게 제시하는 점에서장점을 가지지만, 행동주의식 발상, 처방적인 교육과정 개발방식,교육목표와 결과의 동일시 등과 같은 면은 비판을 받아 왔다. Stoofet al. (2002)이 제시한 역량의 차원을 볼 때, 역량에 대한 접근은 개인, 사회, 학습, 실천 등에 관한 다양한 이론적 관점들이 요구되기때문에 전통주의자들이 추구하는 과학적 · 합리적인 방법만을 통해 역량에 접근하는 것은 한계가 있다.


그러므로 다차원적인 역량의 개념을 교육적인 상황에 적용하기위해서는 성과바탕교육과정뿐만 아니라 다양한 교육과정 담론에대한 논의와 적용이 요구된다. 

  • 전통주의자들의 교육과정개발방식은 1950년 R. Tyler의 목표중심교육과정 모델의 등장과 함께 교육과정의 가장 지배적인 교육과정 패러다임으로 등장하였다
  • 그러나1950년대와 1960년대를 지배한 과학적 · 합리적인 패러다임이 가진행동주의적이고 기술공학적인 교육과정 접근에 대한 비판이 일어나면서 새로운 교육과정 탐구의 토대를 구축하는 일이 시작되었다(Park, 2007). 예를 들어 Pinar et al. (1993)은 1970년대 교육과정 학문의 여러 전통들이 새로운 학문 영역들과 결합하여 교육과정학의여러 담론과 텍스트들을 낳았는데, 이러한 것들을 역사적, 정치적,인종적, 젠더, 현상학, 탈구조주의적/해체적/포스트모던적, 자서전적, 미학적, 신학적, 정책적, 국제적 등 열한 가지의 담론들로 정리하고 있다. 

이처럼 교육과정에 접근하는 방식은 관점과 이론에 따라매우 다양하게 존재하고 있으며 이러한 다양한 방식을 통해 역량에 접근할 때 역량의 특성을 교육적 상황에 더욱더 잘 드러내고 적용할 수 있을 것이다. 그러므로 의학교육의 맥락에서 역량바탕의학교육과정을 개발하고 적용하는 데 있어서 성과바탕교육이 가지는한계점에 대한 논의가 충분히 이루어져야 할 뿐만 아니라 이를 보안하기 위한 역량에 대한 다양한 교육과정의 이론적 접근이 필요할 것이다.


두 번째 시사점은 역량에 대한 논의가 기본의학교육을 넘어 졸업 후 교육, 평생교육 등으로 확대되어야 할 필요가 있으며, 이들 간의 상호적인 연계가 필요하다는 것이다. Stoof et al. (2002)이 제시한차원은 역량 교육적 적용범위가 직업을 얻기 위한 준비교육뿐만 아니라, 취업 이후 우수한 성과를 위한 교육적 상황에도 넓게 적용되고 있다고 할 수 있다.

  • 예를 들어, 역량의 차원에서 개인 특성 대 과업 특성 차원 중, 과업 특성은 특정 직업이 요구하는 전반적이고 기본적인 역량을 강조하며, 그러한 전반적이고 기본적인 역량이 교육의 결과로 달성되어야 할 성과로 다루어지기 때문에, 현장에 나가기전의 교육적 상황에 적용이 용이하다. 반면 개인 특성은 현장의 특수한 맥락과 환경 가운데서 최소한의 수행능력을 뛰어 넘는, 남들보다 높은 성과를 나타내는 우수 성과자가 가지는 개인적인 역량에 초점을 두고 있으므로, 졸업 후 실제현장에서의 역량개발에 적용이 용이하다고 할 수 있다. 
  • 또한 개인 대 집단역량 차원에서 역량의 대상을 개인에게 두고 있는 개인역량은 학교교육의 상황에, 조직이나 집단에 퍼져 있는 집단역량은 졸업 후의 실제현장에 적용하는 것이 더욱 용이하다. 
  • 뿐만 아니라 특수 대 일반역량 차원에서도 구체적 역량은 맥락적이고 다양한 맥락으로 전이 가능한 역량을 강조하기 때문에 실제현장에 나가기 전인 직업 준비교육에 적용이 용이하다. 반면 구체적 역량은 실제현장이 가지는 독특한 맥락을 강조하기 때문에 졸업 후의 실제현장에서의 역량 개발에 적용이 더욱 용이하다. 이와 같은 예들을 볼 때 역량은 그 적용범위가 학교 직업 준비교육을 넘어, 취업 후에도 계속 이어질 수 있음을 알 수있다. 이러한 점은 의학교육에서 교육적 상황에 대한 역량의 적용범위가 기본의학교육뿐만 아니라 졸업 후 교육, 평생교육까지 확대되어야 함을 시사한다.


그러나 현재 국내의 의학교육에서 역량에 대한 논의는 주로 기본의학교육의 수준에서만 주로 논의되고 있으며, 졸업 후 교육, 평생교육으로 이어지지 못하고 있다. 이러한 점은 제29차 의학교육학술대회에서 Jeon (2013)에 의해 이미 지적되었다. 그에 따르면 국내의 의학교육을 담당하고 있는 큰 의사단체인 의과대학 · 의학전문대학원장협의회, 대한병원협회, 그리고 대한의사협회가 유기적 협의를 하지 못하고 있다. 그리하여 인턴, 레지던트 선발에서 기본의학교육에서 강조되었던 역량이 반영되지 않을 뿐만 아니라, 인턴,레지던트과정에서 요구되는 역량이 기본의학교육에 반영되지 않는 상황이 발생하고 있다고 그는 주장한다.


결국 국내 의학교육 분야에서 역량에 대한 다양한 접근과 다양한 방법의 교육적 적용을 이끌어 내기 위해서는 역량의 적용범위를 졸업 후 교육, 평생교육 등으로 더욱 확대해야 할 것이다. 이를 위해 국내의학교육 관련 단체들이 역량교육의 연계를 위해 적극적으로 노력해야 할 것이다. 뿐만 아니라 현재 우리나라의 다양한 의료현장의 맥락에서 의사 개인이 어떤 과정을 통해 역량을 개발해나가고 있는지에 대한 연구가 필요하며, 초보자에서 전문가에 이르는연속적이고 일관된 교육과정을 개발해야 할 필요가 있다.



결 론


이번 글은 Stoof et al. (2002)이 제시한 역량의 5가지 차원이 국내성과바탕교육에 주는 시사점을 살펴보고자 하였다. Stoof et al.(2002)의 역량의 차원을 통해 역량의 개념은 관점에 따라 다양하게존재할 수 있으며, 관점에 따라 교육적 접근방식도 달라짐을 확인하였다. 그럼에도 불구하고 국내의 역량바탕교육은 다양한 접근방법이 공존하기보다는 기본의학교육이라는 한정된 기간 내에 성과바탕교육의 틀 안에서 주로 논의되고 있다. 역량의 가진 다양한 특성을 교육적 상황에 풍성하게 적용하기 위해서는 교육과정에 대한다양한 이론적인 논의 및 적용이 필요하다. 뿐만 아니라 현재 기본의학교육에 한정되어 논의되고 있는 역량바탕교육을 평생교육의관점에서 접근해야 할 것이다.


이런 측면에서 현재 국내 의과대학 및 의학전문대학원의 역량바탕의학교육전환에 큰 영향을 미치고 있으며, 성과바탕교육모델의관점의 적용을 엄격하게 규정하고 있는 한국의학교육평가원의post 2주기 의학교육 평가인증기준이 역량에 대한 다양한 접근을시도할 수 있도록 보다 유연하게 수정될 필요가 있다. 이를 위해 역량에 대한 접근방법에 대한 다양한 탐색과 더불어 역량바탕의학교육이 도입되는 현장에 대한 연구가 필요하다. 교육현장에 역량바탕의학교육을 도입한 이후 나타나는 현상들을 다양한 이론과 방법을 통하여 분석 및 해석하는 일은 교육현장의 맥락에 맞게 역량바탕의학교육을 시행할 수 있도록 하는 방안들을 모색하는 데 큰 도움을 줄 것이다.





Before Outcome-based curriculum reform, medical graduate school and medical schools of korea need to understand limit or threshold of outcome-based education’s point of view. This article examines the multi-dimensional concept of competence suggested by Stoof and colleagues and discusses about implication for outcomebased education in medical education of Korea. Because Stoof and colleagues’s five dimensions of competence reveal various concepts and educational methods of competence. Therefore, It is possible to use to identify the strengths and weaknesses of outcome-based education of Korea as a reference standard. Five dimensions of competence suggested by Stoof and colleagues is consist of ‘personal vs. task characteristics,’ ‘individual vs. distributed competence,’ ‘specific vs. general competence,’ ‘levels of competence vs. competence as a level,’ and ‘teachable vs. non-teachable.’ Implication for outcome-based education in medical education of Korea is, first, that It should recognize to outcome-based education as a one of educational models approaching to competence. Second, discussion about competence should be expanded from pre-medical education to graduated medical education and continuing medical education.


Keywords: Competence, Curriculum, Medical education


Corresponding author

Yo Ba Lee

Office of Medical Education,

Chungnam National University School

of Medicine, 266 Munhwa-ro,

Jung-gu, Daejeon 301-747, Korea

Tel: +82-42-580-8281

Fax: +82-42-584-2846

E-mail: yobaking@hanmail.net

Received: August 5, 2013

Revised: October 11, 2013

Accepted: October 15, 2013

한국의 의사상: 좋은 의사양성

The Future Roles of Korean Doctors: Cultivating Well‐Rounded Doctors

안덕선

Ducksun Ahn

고려대학교 의과대학 의인문학교실

Department of Medical Humanities, Korea University Medical College





서 론


오늘날의 의료는 사회 구성원 모두가 관심을 가지고 있는 사회적 실천의 문제가 되었다. 또한 여타의 다른 전문직과 마찬가지로 의사들에게서 드러나는 특성은 사회, 문화, 역사 그리고 경제의 시대적 환경에 영향을 받을 수밖에 없는 것도 당연하다. 사정이 이와 같다면 미래의 의사들이 급변하는 의료환경에 따라서 시대적 요구에 부합하는 의사를 양성하기 위해서 다양한 사회적 역량을 교육하고 실천하는 것이 필요하다.


우리의 언어체계에서, 말하자면 한글 ‘의사상’은 오늘날 한국의 의사가 갖고 있는 집단적 특성 또는 바람직한 의사에 대한 의미를 담고 있는 개념적 용어를 뜻한다. 따라서 ‘한국의 의사상’의 내용은 보다 구체적이고 명확하게 규명되어야 할 필요성이 있다. 왜냐하면 ‘의사상’을 해석하는 주체에 따라 그 의미가 다양하게 해석될 수 있기 때문이다. 예컨대 의사는 그것을 의사 전문직의 규약 또는 상징적인 목표집으로 해석하는 반면에 환자나 사회는 그것을 의료에 대한 사회의 희망과 염원을 담은 것으로 이해할 수 있기 때문이다. 하지만 오늘날의 의료는 사회적 실천의 문제가 되었다. 게다가 의료는 국민의 기본권에 속할뿐더러 사회적 제도로서 확고히 뿌리내리고 있다. 이와 같은 현실에서 의사는 종래의 임상가로서의 진료능력뿐만 아니라 보다 거시적인 차원의 다양한 능력도 갖추어야 하는 시대상황에 놓여 있다고 할 수 있다.


의사의 역량을 임상적인 것과 비임상적인 것으로 구분하는 것은 매우 인위적일 뿐만 아니라 임의적이기도 하다. 하지만 그리스 철학에서 말하는 실천(praxis)의 의미를 올바르게 되새긴다면 의사전문직에서 임상적 역량 이외의 역량 또한 이미 의료에 포함되어 있는 요소라고 해석할 수 있다. 이러한 관점에서 의사의 포괄적 역량(global role of doctor)은 의사의 임상적, 비임상적 그리고 사회적역량 모두를 종합하고 아우르는 것을 의미하고, ‘한국의 의사상’은 바로 그와 같은 의사의 포괄적 역량을 가리킨다. 


세계의학교육연맹은 국제적인 사업의 일환으로 가치와 덕목을 바탕으로 하는 비임상적 역량과 임상적 역량 모두를 포함하는 포괄적인 역량을 나라별로 규명하도록 하였다(World Federation for Medical Education, 2010). 하지만 영어 단어 ‘global’은 포괄적이라는 의미 외에도 ‘국제적, 세계적, 일반적’ 등으로 다양하게 해석될 수 있고, 이러한 사정은 다른 나라들도 마찬가지다. 따라서 ‘global role’을 ‘포괄적 역량’으로 해석할 경우에 초래되는 애매성과 의미의 혼돈을 막기 위해 의사의 ‘미래 역량(future role)’이라는 용어를 사용하고 있다. 우리나라 또한 의사의 역량을 규명하고 규정하기 위한 국제적인 노력에 부응하기 위해 지난 4년간 ‘한국의 의사상’을 설정하는 노력을 지속적으로 수행하였다. 따라서 본 논문에서는 우선 의사상의 현대적 의미와 우리나라 의사나 의료가 갖고 있는 시대적 특성을 고찰하고, 다음으로 2014년 초에 완성된 ‘한국의 의사상’의 내용을 축약하여 소개하고자 한다. 본 논문의 영문제목도 영어단어의 혼선을 피하기 위하여 포괄적 역량(global role) 대신 미래 역량(future)으로 사용하였다.


의사상의 의미

본 논문에서는 의사상에 대한 의미를 세계의학교육연맹이 추구하는 의사의 포괄적 역량과 같은 뜻으로 사용하고자 한다. 현대의료의 사회적 실천(social practice)이라는 개념하에서 의사의 포괄적 역량은 곧 우리나라 말로 ‘의사상’을 가리키기 때문이다. 의사상은 의사 전문직과 사회가 모두가 합의하여 수용할 있는 의사의 ‘덕목(virtue)’과 ‘역량(role)’에 대한 기술이다. 따라서 의사상은 의사의 덕목을 강조하는 가치(value)와 윤리적인 측면의 의무(duty)에 대한 선언적인 기술이며, 이것은 바로 의사의 직무에 대한 직/간접적인 설명과 지침을 제시한다. 일반적으로 역량이란 특정 직무를 수행하기 위한 행동적인 절차와 실천을 위한 도구를 의미한다. 상징적이고 가치추구적인 의사의 덕목과 역할에 대한 합의와 정의를 마련하였다면, 다음으로 그것을 구체적으로 실현시킬 행동적 규준을 제시해야 한다. 구체적인 행동적 내용은 의사로서의 의무를 제시하며 추상적인 내용은 바람직한 가치에 대한 설정으로 의사가 펼치는 의료의 기준(standards)이 된다. 이러한 기준은 특정할 수 있는 부분을 다시 역량(competency)으로 구분하여 의사를 양성하는 모든 주기에 적용할 수 있는 의학교육의 공통목표가 된다. 말하자면 의사상은 곧국가적 단위의 윤리를 바탕으로 하는 의료의 기준과 교육목표로 받아들여져야 한다(Ministry of Health and Welfare, 2014).


전통문화유산의 의사상

우리나라의 경우 서양 의학이 도입된 이후로 의사 전문직이라는 개념이 생겼기에 서구에 비해 그 역사가 짧다고 할 수 있다. 서구적 의미의 의사가 정립되기 전의 우리나라의 의업은 복잡한 한문을 이해할 수 있는 일부 소수의 계층에 한정되어 교육되었고, 유교적 전통에서 생계를 위한 수단으로 하는 의업은 천박한 것으로 간주되었으며, 심지어 수익을 전재로 한 진료는 도둑질이라고 표현하기도 하였다. 예컨대 정양용은 유배 시절 500권이 넘는 저서를 남겼고 유배지에서 의사로서 역할도 하였다. 문중이나 지역의 주민에게 의학적 지식을 제공하는 것이 선비의 의무였기 때문이다. 동아시아의 유교문화의 전통은 전문직으로서 의사의 정체성을 추구하기보다는 선비계층으로서 문화적 동질성을 추구하였고 직능별로 수직적 개념의 전문직업화를 배척하였다. 당연히 의사 전문직 단체는 결성되지 않았다. 전통적인 유교문화 속에 의업은 선비계층의 사회봉사적 개념이었고 소수의 전문직화한 의원이 궁중에서 전업으로 봉직하였다.하지만 이것 역시 가정을 잘 다스리고 국가에 충성한다는 전통적인 유가개념의 관직으로 수평적 개념의 정체성을 추구하는 것이지 생계유지를 위한 수직적 개념의 전문직화와는 거리가 있다.


식민문화유산의 의사상

일제 강점기 동안 전통적인 직업 분류에 의한 전통적인 사회적 계층의 이동이 일어나기 시작했다. 의(醫)와 법(法) 등 서양의 전문직이 본격적으로 도입되었고, 서양의 과학과 기술로 무장한 새로운 계급이 기존의 사(士)층 계급을 대신하게 되었다. 일제는 근대적 국가의 경영에서 전문직이 필수적인 요소임을 깨닫고 있었기에 소수의 조선인들을 고등교육에 편입시켰다. 하지만 일제는 조선인의 이성적 진보를 경계하여 고급기술과 인문학적인 배경에 대한 교육은 의도적으로 제외하는 등 차별적인 교육을 제공하였다. 우리나라보다 일찍이 서양문물을 도입한 청나라는 이미 과학과 기술 중심의 서양문물 도입의 위험성을 경고하였고 물질주의를 팽배하게 하는 위험요소로 간주하였다(De Bary & Lufrano, 2000). 그러나 식민조선사회는 서양의 과학과 기술에 압도당하여 서양문물에 대한 이렇다할 비평 없이 식민교육을 서양교육으로 착각하고 수용하였다(Ahn, 2011). 우리의 전문직 역사는 불행히도 식민지 경영을 위한 인력양성의 도구로 사용되었다. 한편 일본의 식민정책의 일환으로 시작된 교육과 함께 서양종교의 진출에 의한 교육은 사립고등교육의 발전을 도모하였고 인류에 대한 서양식 보편적 가치의 도입과 함께 특히 여성의 해방에 지대한 역할을 하였다.


일제 강점기 동안 2천만 조선인을 위한 의사의 수는 극히 적었고 응급상황에서의 서양의학의 괴력 앞에 의사는 자연스럽게 별 어려움 없이 경제적 보상을 즐기며 소자본가로 성장하였다. 전통적인 농경사회에서 지주를 제외하고는 자본 축적을 경험하지 못한 조선인이 의사가 된다는 것은 경제적으로 성공할 수 있다는 것을 의미했다. 의료자본가의 성장은 해방 이후 신설의과대학의 설립으로 이어져 급속한 경제적 성장 속에 의학교육의 사립화를 이끌었고 의사교육에 대한 공적인 개념이 발달하는 것을 가로막는 현상을 초래하였다.


사립주도 의학교육과 의사상

우리나라는 현재 41개 의과대학이 있으며, 그 중 31개가 사립대학으로 전체 의과대학의 약 75% 이상을 차지하고 있다. 반면에 일본의 경우 전체 의과대학 중 75%가 공립으로 운영되고 있으며 약 25%만을 사립대학이 운영하고 있다. 우리나라의 경우 사립의과대학이 교육을 담당하는 비율은 세계에서 가장 높다. 우리나라의 경우 미처 의학교육의 공적 특성이 파악되기도 전에 의학교육의 사립화가 이루어졌고, 이것은 현재 세계적으로 문제가 되는 의학교육의 상업화와 사립화의 논의가 한 세대 앞서 이루어지는 역설적인 시대착오적 현상을 초래하였다. 우리의 경우 의사를 양성한다는 것은 곧 의학지식을 보유한 전문가를 기르는 것으로 인식하였고, 이는 다시 의료를 소규모 자영업으로 인식하게 만들었다. 달리 표현하면 우리나라의 의료는 과학과 기술의 발전에만 모든 역량과 관심을 집중한 결과 의학교육과 의료에 대한 공적 가치와 공공의 개념이 전무한 상태로 발달되었다는 것이다.


해방 이후의 상황도 그 전과 크게 다르다고 할 수 없다. 미국은 세계 유일의 순수자본주의 국가체제를 갖고 있을 뿐만 아니라 최고의 과학기술을 보유한 나라이기도 하다. 미국의 의료과학기술과 자본 중심의 의료정책 및 환경에 크게 영향을 받은 우리나라는 다시 미국의 선진의학기술을 도입하는 것을 최우선의 사명으로 여겨 의학교육과 의료에 대한 공적 개념을 성장시킬 기회를 상실하게 된다당시에 많은 의사들이 미국으로 이주하였다. 이것은 그들이 미국의 의료제도가 안고 있는 어두운 측면보다 미국 내 의사의 지위와 권위를 동경하였기 때문이다. 의사가 국제적으로 이동하는 것의 장점도 분명히 있다. 미국의 선진 의료교육은 우리나라의 전공의 교육과 접목되어 현재의 전문의 제도를 낳았으며, 선진 의료기술의 수입은 우리의 의학기술이 세계 최고의 수준에 오르는데 기여한 바가 있기 때문이다. 하지만 불행하게도 미국 방식의 전공의 제도를 채택한 우리나라 의사의 전문직업성은 의료 환경이 다른 우리나라에서 매우 다르게 발전하였다. 말하자면 우리나라는 미국 의료환경의 외형과 기술의 동등성은 확보하였으나 그것을 뒷받침할 의료의 사회적 실천에 대한 가치는 미국과 매우 다르게 정착되었다.


거대자본과 대형병원: 의사상의 추락

의사가 자영업자로서 경제적인 성공을 이루게 된 현상은 의학교육에 여러 가지 부정적인 결과를 초래하는 원인이 되었다. 말하자면 높은 학업성취도를 보인 학생들이 의과대학 입학을 목표로 하였고, 이것은 다시 중등교육의 비정상화를 초래하였다. 게다가 많은 대학들은 고등교육사업의 경제적 성공을 담보하기 위해 자본을 축적한 의사의 병원을 모체로 하여 의과대학을 설립하거나, 최근에는 심지재벌의 거대자본에 의거하여 경쟁적으로 의과대학을 설립하였다. 더불어 종교집단의 경제적인 성공도 의과대학설립의 교육사업의 투자를 이끌어 내었다. 이것은 겉으로 보기에 비록 설립 주체가 대학, 병원, 재벌 그리고 종교단체와 같은 개별적인 사회적 단위에 의한 투자인 것 같지만, 바탕에 깔려있는 근본적인 요인은 의과대학과 의료사업을 통한 학교수익의 증대를 발판으로 계속된 기관성장이 주된 목표인 것으로 보인다.


최근의 재벌에 의한 대학병원의 대형화는 의료계가 소자영업자의 성공에서 경험하지 못한 의료산업의 거대산업화와 거대자본화를 경험하게 되었고 의료인의 노동계급화를 촉진하고 있다. 이러한 환경에서 의사는 직접적인 육체적/정신적 노동뿐만 아니라 관리자의 역할도 요구받고 있으며, 교육기간도 고등학교 졸업 후 통상 11–13 년으로 여타의 다른 일반직에 비해 현격히 길다. 물론 의사도 의료업무를 한다는 점에서 노동자다. 하지만 의사가 고급 노동 계급화가 되는 과정에서 의사전문직이 갖는 전문직업성이 함께 훼손되고 있다는 것이 문제다. 특히 경영논리에 의한 임상자율권의 훼손은 과잉진료 및 터무니없이 짧은 진료시간이라는 폐해를 낳고 있다. 여하튼 우리의 의료는 현재 거대의료기관을 지향하고 있으며, 그것이 궁극적인 목표인 것처럼 바뀌고 있다. 요약하자면 우리나라는 일제 강점기의 강압적인 분위기에서 의사양성이 시작되었고 해방 이후에는 극우 군사정권에 의해 채택된 의료정책과 지난 한 세대 거대자본의 비영리 의료시장 개입에 의한 역설적인 경영논리 지배구조의 혼돈속에 의사양성이 되고 있다(Kwon et al., 2012).


의료의 사회적 실천시대 의사상:

오늘날의 의료는 의사와 환자의 개인적 관계에서 사회 모두가 참여하는 사회적 실천으로 변모하였다. 이것은 의료에 대한 국민보험이 도입되면서 환자뿐만 아니라 환자 이외의 사회 구성원 모두가 잠재적인 환자로 간주된다는 것을 의미한다. 의료가 의사의 전유물이 아니라는 것은 당연하다. 의료는 사회를 구성하는 구성원과 사회에 영향을 미치는 경제, 문화, 역사, 정치 등 다양한 요인에 의해 영향을 받는다.


민주화가 이루어진 이래 우리나라에서는 의료를 중심으로 다양한 문제들과 심각한 갈등들이 표출되고 있다. 의료인, 환자, 그리고 정부 등 모두가 이제 의료의 직/간접적인 이해당사자가 되었다. 이것은 긍정적인 시각에서 의료가 이제 국민의 일상과 관련된 생존을 위한 기본권으로 발전하였다는 증거로 볼 수도 있다(Ministry of Health and Welfare, 2014). 하지만 우리의 경우 민주화의 성취와 발전이 아직 선거제도의 확립에 그치고 선진화한 의회정치를 보여주지 못하고 있듯이, 의료에 대한 근본적인 철학적 사고나 의료기술의 발전에 상응할 만한 사회적 논의는 매우 감각적이고 초보적인 수준에 머물러 있다.


의료는 공익적이며 사회 구성원 모두를 위한 것이기에 결코 값싼 대가로 얻어질 수 있는 것이 아니다. 무상의료라는 그럴듯한 구호에 따른 선심성 정치는 사회적 위해를 가할 수 있다. 또한 의료에 대한 거시적인 조정기능을 마련하지 않은 채 의료가 상업성과 산업성을 근거로 한 창조경제산업으로 둔갑되어 의료를 통한 경제적 이득, 특히 국가적 이익의 창출이 목적이 될 경우 의료 직종의 전문직업성이 크게 훼손될 수 있다. 그렇다고 하여 대형화되고 있는 병원의 이점을 간과할 수는 없다. 이제 의사는 작은 의원 단위에서 거대병원의 경영까지 이해하고 참여할 수 있는 역량을 갖출 것을 요구받고 있다. 그럼에도 의사의 본연적인 임무는 환자의 진료뿐만 아니라 의료와 의료를 뒷받침하는 제도가 의료의 본래 가치와 취지를 훼손되지 않도록 주의하고 경계하는 것이다.


의료는 사회적인 문제이기 때문에 의료의 복잡성과 복합성은 경제, 경영, 정치 등 특정 단일 시각으로 설명될 수 없다. 그러므로 의사집단은 의료가 사회적 실천의 현상에서 다양한 집단의 특정적인 입장에 휘말려 의료 본래의 가치가 손상되지 않도록 최대한의 노력을 기울여야 한다. 따라서 의료가 사회적 실천으로 나타날 때 의사에게 필수적으로 대두되는 역량이 바로 사회적 역량이다(Ministry of Health and Welfare, 2014). 의사는 의료를 가장 잘 이해하는 전문집단이고, 실제로 환자에 대한 가장 핵심적인 역할을 수행하고 있다. 따라서 의사는 가장 높은 수준의 직무윤리를 요구받는다. 달리 말하면 의사가 의료를 제공하는 가장 상위적인 위치에 놓여 있다는 데에는 이견이 없다. 하지만 의사는 의과학적 지식 이외의 영역에 대해 상대적으로 문외한일 수 있으며, 따라서 의료에 대한 특정 사안이 대두되었을 경우 사회의 다양한 계층의 집단 합의를 필요로 할 때 그들과 올바르게 의사소통할 수 없는 경우들이 발생하기도 한다. 심지어 자기중심적 사고에 의한 서툰 협상의 결과가 항상 비상대책위원회를 소집하고 회의 불참선언으로 이어져 의사집단의 주장이 마치 이익집단의 자기방어로만 비추어지는 현실도 반드시 극복되어야 한다. 의사는 환자와의 의사소통도 중요하게 생각해야 한다. 하지만 거기에 더하여 의사는 의료제도와 정책적인 측면에서 의료를 위한 정직하고 옳은 입장이 있다면 정확하게 전달할 수 있는 의사소통 역량과 대사회적 그리고 정치적 역량도 함께 갖추어야 한다는 것이다(Kwon et al., 2012).


결 론

1. 의사상과 의학교육

의료가 사회적 실천으로 정착된 지금도 우리사회는 여전히 ‘의술은 인술’이라는 시대착오적인 의사상을 무비판적으로 받아들이고 있다. 물론 인술의 근본적인 가치는 시대를 초월한다. 그러나 사회적 실천의 시대에는 보다 명확하게 규명된 의사에 대한 역할과 가치관이 제시되어야 하며, 이러한 경향은 이미 거스를 수 없는 세계적 추세다. 일찍이 영국은 두세 대 전부터 의사의 직무에 관련된 기준을 제시하였고 이것이 바로 의사상과 의학교육의 목표가 되었다. 영어권 문화에서는 매우 구체적이고 분석적인 의료의 기준을 마련하여 그 개념을 전파한 결과 영국뿐만 아니라 미국, 캐나다, 호주에는 자체적인 의사상에 준하는 기준과 목표를 제정하였다(Australian Medical Council, 2009; General Medical Council, 2013; Institute for International Medical Education Core Committee, 2002; Royal College of Physicians and Surgeons of Canada, 2005). 


우리나라의 의사상을 만드는 작업은 21세기의 의학교육을 대비하기 위하여 한국의과대학장협의회에서 출간된 ‘21세기 의학교육에 관한 보고서’가 효시가 될 수 있다. 그러나 후속작업이 진행되지 않아 현재는 거의 사용되지 않고 있다. 2008년 한국의학교육평가원은 우리나라 전공의 교육의 공통역량에 대한 과정을 출간하였다. 당시는 의사면허 발부 100주년을 기념하기 위한 뜻있는 해여서 이것 ‘전공의 공통역량 respect 100’이라고 명명하였다. 이들 의사상이 보여주는 내용은 의사와 환자의 관계를 종래의 진료적 관계로만 파악하는 것이 아니라 의사의 전문직업성 강화와 의사의 사회적역량을 강화하여야 한다는 것이다(Ministry of Health and Welfare, 2014).


영국은 사회적 역량을 비임상적 역량으로 표기하고 있으나 타 학문분야는 이미 비임상적으로 분류된 역량을 사회적 역량으로 규명한 바 있다. 의사상의 제정은 이제 국제적으로 확산되어 급기야는 세계의학교육연맹이 이제 모든 나라에게 각 나라에 맞는 의사의 역할과 덕목을 규명하여 볼 것을 요구하고 있다. 의사상을 제정하는 것은 현 시대의 의사의 역할과 덕목에 대한 철학적 고찰과 함께 의학교육이 나아갈 방향을 제시하는 중요한 작업임에는 논의의 여지가 없다. 우리나라도 지난 2011년부터 의사상 제정을 위한 꾸준한 작업을 하여왔고 2014년 봄에는 임시적으로나마 사용가능하고 적용 가능한 의사상을 출간하였다(Ahn, 2014). 다양한 참여자와 다양한 기관의 검수를 거쳐 제작한 우리시대의 의사상은 어떤 의사가 양성되어야 하는가를 제시하고 있다. 의사상에서 제시된 각 영역의 세부사항은 학습목표로 전환되어 성과바탕교육의 근본을 제시하고 성과는 까다로운 측정을 거쳐 역량으로 전환시킬 수 있다. 그러므로 의사상의 설정 자체는 현재적 개념의 의학교육의 추세와 궤를 같이하는 작업이기도 하다.


2. 새 시대의 의사상

한국의 의사상은 우리나라 의사들이 갖추어야 할 미래지향적이고 포괄적인 역량을 기술하였다. 크게 환자진료, 소통과 협력, 사회적 책무성, 전문직업성, 교육과 연구의 5개 영역으로 구분하고 각 영역이 정의와 해설 그리고 하부 역량군에는 세부역량을 기술하였다(Ministry of Health and Welfare, 2014). 간혹 중복된 세부역량은 역량의 중요성을 감안하여 표현이나 강조하는 바를 달리한 경우 반복도 수용하였다. 새로운 세대의 교육을 위한 한국의 의사상 제시는 본 논문의 성격과 양적 제한으로 자세한 소개보다는 의사상의 요약을 다음과 같이 제시하였다.


1) 환자 진료

의사는 환자의 건강과 안전을 최우선으로 여기며, 한국의 의료체계와 상황 안에서 환자와 사회의 신뢰를 바탕으로 최선의 진료를 할 수 있는 역량을 갖추고 이를 유지 ․ 발전시킬 수 있어야 한다.

(1) 의학지식 및 임상술기

• 전문적인 의학지식과 적절한 임상술기능력을 갖추어야 한다.

• 환자의 상태를 파악하고 진단, 치료하는 과정에서 환자 중심의 태도를 견지하며 정확한 의학적 판단과 적절한 임상적 결정을 내릴 수 있어야 한다.

• 진료는 과학적 근거에 바탕을 두고, 환자의 개별성을 고려해야 한다.

• 진료와 관련된 결정 시에 정보제공, 교육, 상담, 동의서 받기(informed consent) 등의 활동을 통해서 환자의 의견을 존중해야 한다.

• 환자에 대한 개인정보 보호 의무를 준수해야 하며, 의무기록과제 증명서 발급에 관련된 내용을 숙지하고, 이를 진실하고 정확하게 기록해야 한다.

• 진료과정에서 통증과 고통으로 인해 환자의 삶의 질이 저하되지 않도록 적절하게 대처해야 한다.

(2) 전문가적 태도

• 환자의 인격을 존중하며 서로 신뢰하는 환자-의사 관계를 유지해야 한다.

• 환자와 보호자 그리고 의료진과 원활한 의사소통을 이루어야 한다.

• 현대 의료의 한계를 인정하는 한편 이를 극복하기 위한 개방적인 노력을 기울여야 한다.

• 자신의 지식이나 경험을 넘어서는 환자를 만나게 되는 경우, 다른 적절한 의료인의 협력을 구하며, 자신에게 자문이나 의뢰가 요청되었을 때 협조해야 한다.

• 직무윤리를 준수하고 최선의 진료능력과 전문가적 태도를 갖추기 위해 전문직업성을 개발해야 한다.

(3) 환자 안전

• 환자의 안전을 위한 대비책을 충분히 강구해야 한다.

• 응급상황이 발생하면 신속한 연락과 응급처치를 하고 상황 악화 방지를 위하여 필요한 경우에는 후속진료가 가능한 의료기관으로 이송해야 한다.

• 약물의 상호작용은 물론 발생 가능한 부작용을 교육하고, 약물중독과 오남용을 방지하도록 노력해야 한다.

• 환자 안전에 관련된 상황이 발생했을 때 환자 보호를 최우선으로 하여 적절한 후속조치를 취해야 한다.


2) 소통과 협력

의사는 환자, 보호자, 의료진 그리고 사회와 상호 소통하고 협력해야 한다.

(1) 환자와의 소통과 협력

• 환자의 입장을 이해하고 공감하며, 이를 적절히 표현할 수 있어야 한다.

• 환자의 이야기를 경청하고 환자의 의견을 존중해야 한다.

• 환자의 사생활을 보호하고 가치관을 존중해야 한다.

• 정직과 신뢰에 바탕을 둔 환자-의사 관계를 이루어야 한다.

• 환자에게 해로운 상황이 발생했을 때 적절한 조치를 취하고 소통과 협력을 통해 문제를 해결해야 한다.

• 진료 종결, 대진, 의뢰, 전원이 필요한 경우 사전에 환자와 보호자에게 충분히 설명해야 한다.

• 협력과 의사소통이 어려운 환자의 특수성을 고려하여 필요한 경우 전문적인 도움을 요청해야 한다.

(2) 환자 보호자와의 소통과 협력

• 환자 진료에 도움이 된다면 환자의 비밀보호원칙을 준수하면서 보호자에게 정보를 충분히 제공하고 협력을 구할 수 있다.

• 환자 가족이나 보호자의 입장을 이해하고 존중해야 한다.

(3) 동료와의 소통과 협력

• 의료인과 비의료인을 포함한 모든 동료와 긴밀하게 소통하고 협력해야 한다.

• 의료진에 속한 각 구성원의 능력과 경험 및 의견을 존중하고 역할과 책임을 분명히 해야 한다.

• 동료 의사에게 환자를 의뢰하거나 진료를 위임하는 경우 적절하고 충분한 정보를 제공해야 한다.

• 동료 의사에 대한 근거 없는 비방을 하지 않아야 한다.

• 직종 간의 이해를 증진할 수 있는 교육에 적극적으로 참여해야 한다.

(4) 사회와의 소통과 협력

• 효과적인 진료 수행과 공공의 건강증진을 위해서 필요한 경우 관련된 여러 기구와 소통하고 협력해야 한다.

• 보건의료 관련 정보를 제공할 때에 진실하고 공익에 부합하는 내용을 제공해야 한다.

• 개인의 건강과 지역사회 및 국가의 보건에 영향을 미치는 다양한 요인들을 파악하고 이에 적절하게 대응할 수 있어야 한다.


3) 사회적 책무성

의사는 환자의 건강과 사회의 안녕을 증진하기 위해 자신의 전문지식을 사용하고 의료자원의 편성과 배분에 능동적으로 참여하여 보건의료체계를 효과적으로 유지하고 발전시키는 데 기여해야 한다. 또한 국내외 재난구호에 참여하고 협력하며 미래 의료변화에 능동적으로 대응해야 한다.

(1) 건강 및 보건 유지

• 진료과정에서 환자 개인의 건강증진 요구에 부응해야 한다.

• 지역 사회 주민의 건강에 미치는 요인과 요구를 파악하여 대처해야 한다.

• 지역사회의 건강증진 및 보건과 관련된 정보와 해결방안에 대한 전문적인 식견을 제공해야 한다.

• 전염병 관리 등 지역 사회와 국가의 건강증진활동에 적극적으로 협조해야 한다.

• 보건의료 취약계층의 건강문제를 파악하고 이를 해결하기 위해 노력해야 한다.

(2) 보건의료정책 결정 참여 및 미래 대응

• 의료 관련 법과 제도의 사회적, 경제적, 문화적, 윤리적 의미를 이해하고 미래 의료변화 추세에 능동적으로 대응해야 한다.

• 한정된 의료자원을 고려하여 의료기관과 보건의료체계의 공평성을 유지하며 효율성을 높여야 한다.

• 보건의료체계의 관리자와 지도자로서 활동할 수 있어야 한다.

(3) 재난구호 및 국제협력 증진

• 국내 재난의 건강수호활동에 협력해야 한다.

• 국제 재난구호활동의 의의를 이해하고 그 활동에 참여해야 한다.

• 보건 관련 국제기구의 활동을 지지하고 국제교류에 참여해야 한다.


4) 전문직업성

의사는 인간의 건강과 생명을 위해 헌신하는 전문직업인으로서 전문적인 직무규범과 자율규제를 바탕으로 높은 수준의 직무윤리를 유지해야 한다.

(1) 윤리와 자율성에 기초한 진료

• 자신의 진료역량을 진솔하게 평가해야 하고 과장 홍보하지 않아야 한다.

• 양심에 따른 임상적 자율성을 바탕으로 최선의 진료를 할 수 있는 역량을 유지해야 한다.

• 환자 비밀보호의 원칙을 알고 이를 준수해야 한다.

• 목적이 합당한 경우 적절한 절차를 거쳐 관련 의료정보를 제공해야 한다.

(2) 환자-의사 관계

• 환자-의사 관계를 직무상의 범위로 한정할 수 있어야 한다.

• 진료 과정에서 발생할 수 있는 이해상충 상황을 관리할 수 있어야 한다.

• 진료과정에서 환자의 정치적, 사회적, 종교적 신념을 존중하고, 환자의 신념에 대한 편견을 갖거나 이를 바탕으로 차별하지 않으며, 의사 자신의 신념체계를 강요하지 않아야 한다.

(3) 전문직 주도의 자율규제

• 관련 법규와 의료전문직이 요구하는 윤리지침을 잘 알고 이를 준수해야 한다.

• 전문직 단체와 관련 기관이 요구하는 의무를 성실하게 이행해야 한다.

• 동료 의사가 전문직업성을 훼손할 경우 적절하게 대처해야 한다.

• 자율 규제를 위한 각종 활동에 적극적으로 참여해야 한다.

(4) 전문직업성과 자기관리

• 자신의 직무와 개인생활 간에 적절한 균형을 유지해야 한다.

• 자신의 건강을 적절한 수준으로 관리하고 유지해야 한다.

• 진료환경에서 자신의 직무를 보호하기 위하여 체계적으로 대응할 수 있어야 한다.

• 자신의 건강문제 등으로 도움이 필요할 경우 동료에게 협력을 요청하여야 하며, 이를 요청받은 의사는 적극적으로 협력해야 한다.


5) 교육과 연구

의사는 과학적 탐구정신을 갖고 평생 자기주도적 학습을 하는 동시에 교육자 및 연구자로서 최신 의학 지견을 개발, 습득, 보급하고 이를 업무에 적용해 그 결과를 비판적으로 평가할 수 있어야 한다.

(1) 교육

• 평생 학습을 통해 전문가적 역량을 유지하고 증진해야 한다.

• 환자, 보호자, 보건의료인, 일반인 등을 대상으로 교육자의 역할을 수행할 수 있어야 한다.

• 과학적 근거에 입각하여 공정하게 동료 평가를 할 수 있어야 한다.

(2) 연구

• 의학연구의 과학적 원칙과 방법을 이해해야 한다.

• 진료과정에서 발생한 의문점을 과학적으로 해결하기 위해 과학적 방법을 선택해 적용해야 한다.

• 의학 연구결과들을 적절하게 분석하고 활용할 수 있어야 한다.

• 인간을 대상으로 하는 의학연구를 할 때 관련 윤리원칙과 지침들을 준수해야 한다.


3. 맺음말

한국의 의사상에서 제시하는 내용을 의과대학이나 전공의 교육만으로 온전하게 완성할 수는 없을 수 있다. 특히 사회적 역량은 평생전문직업성개발로 꾸준히 다져가야 할 역량이다. 그것은 의사상이 미래지향적이고 포괄적인 이유이기도 하다. 한 시대의 의사와 의사집단이 보여주는 특성은 다양한 요인에 의하여 결정된다. 의과대학을 지망하는 학생의 특성과 시대적, 사회적, 문화적 환경 그리고 의료를 통하여 얻어지는 경제적 보상제도 등이 동일한 시대를 살고있는 의사와 의사집단이 추구하는 가치와 밀접한 관계를 갖는다.결국 한 시대의 의사상은 특정한 시대의 의학교육과 당시 사회의 보이지 않는 암묵적인 협상관계에서 결정된다. 말하자면 사회가 원하는 의사와 실제로 사회가 만들어내는 의사 사이의 괴리와 합치의 정도 여부는 바로 우리 사회와 의학교육의 현실을 그대로 투영하고 반영하는 시대적 자화상이기도 하다(Ludmerer, 1999). 새 시대의 바람직한 의사를 양성하기 위해서는 의사나 의사집단의 내부적이고 독단적인 노력보다는 사회와의 끊임없는 교감과 설득, 그리고 건설적인 대화를 통하여 의사양성 역시 사회적 실천으로 전환되어 사회가 투자하고 사회가 바라는 좋은 의사가 양성되어야 한다. 한국의 의사상은 곧 후속작업으로 우리나라의 의학교육과 연계되도록 의사상을 바탕으로 우리나라 의사에게 꼭 필요한 핵심역량을 도출하여 전문직과 사회가 모두 바라는 의사의 양성을 위한 교육의 목표와 성과로 설정할 예정이다.




한국의 의사상: 좋은 의사양성 

안덕선

고려대학교 의과대학 의인문학교실

The Future Roles of Korean Doctors: Cultivating Well‐Rounded Doctors

Ducksun Ahn

Department of Medical Humanities, Korea University Medical College


Much of the behavior of doctors reflects the influences from the social, cultural, historical, and economic environment of the time. Therefore, it is very important for future doctors to understand the practice environment in an ever changing world. Traditionally, doctors’ competence has been based on the doctor-patient relationship. However, the social practice of medicine in the contemporary era asks future doctors to have social competencies, which often are defined as non-clinical competencies. As a global project, the World Federation for Medical Education has urged every country to define the future role of doctors to encompass global roles based on the duty toward and value of clinical as well as non-clinical competencies. In the past four years, Korean medical professional societies have coordinated to set forth the global role of Korean doctors. Five domains of clinical competence, professionalism, social accountability, communication and collaboration, and education and research have been chosen. The current version of the “global role of Korean doctors” can be used not only for the common objectives of medical education, but also for translating into the competencies of doctors that can be achieved through life-long learning. If we all want to improve medical education in order to produce more qualified and competent doctors as the public desires, then it may be the most urgent task to produce doctors who are equipped with social competencies to persuade, negotiate, and engage in constructive dialogues with society for better health care for a better society. 


Keywords: Social practice, Social competence, Global role, Duty, Value

역량바탕의학교육 : 학부교육과정에서 갖는 의의

Competency-based medical education: implications for undergraduate programs

PETER HARRIS1, LINDA SNELL2, MARTIN TALBOT3 & RONALD M. HARDEN4, FOR THE INTERNATIONAL CBME COLLABORATORS

1University of New South Wales, Australia, 2McGill University and Royal College of Physicians and Surgeons of Canada, 3University of Sheffield, England, 4University of Dundee, Scotland


[[[[[




Introduction


학부의학교육을 비롯하여 의학교육에서 역량틀(competency framework)의 정의, 적용, 가치(desirability)에 대해서는 이미 논의가 된 바 있다. 일반적으로 역량틀은 졸업후 전문과 수련과정에서 더 적용이 용이한데, 여기서는 해당 과에서의 준거에 의해 수행능력이 정의될 수 있기 때문이다. 그러나 학부교육과정과 국가인증기준이 달라지면서 CBME에 대한 이슈는 다른 차원으로 옮겨갔다.

Issues surrounding the definition, application, and desirability of a competency framework in medical education, including its appropriateness for undergraduate medical education, have been debated in the literature (Grant 1999; Talbot 2004). Typically, competency frameworks have been more readily applied to postgraduate specialty training, where the graduate's performance can be closely defined by the criteria of the relevant specialty. However, changes to undergraduate curricula and evolving national accreditation standards (such as the Tomorrow's Doctor initiative in the United Kingdom and the National Undergraduate Framework in the Netherlands), together with enhanced definitions of competency-based medical education (CBME), as discussed in other articles in this issue, have moved the debate to a new stage.


학습성과에 대한 다양한 프레임워크들이 학부의학교육에 적용된 바 있다. 학부의학교육에서는 학습자들이 이후 전문직으로서 살아가는 동안 변화하는 의학 속에서 살아나갈 수 있도록 준비하는 과정이며, 따라서 현시성(currency)과 상관성(relevance)를 평가하기 위한 정기적 교육과정 검토가 필요하다. 역량바탕프레임워크는 루틴하게 반복되는 교육과정 개선 그 이상을 위한 것인데, 이 논문에서는 CBME에서 제기되는 다양한 이슈를 검토하고 이들 이슈에 대한 최선의 사례를 보여주고자 한다.

Various frameworks for learning outcomes that are in use or in preparation apply a competency-based approach to medical student education (e.g., Scottish Doctor, Netherlands National Undergraduate Framework, CanMEDS). An undergraduate medical program prepares the learner for professional life in a discipline that is based in change and thus requires regular curriculum review to ensure currency and relevance. Competency-based frameworks are designed to move beyond routine curricular renewal. This article sets out to review a number of issues raised by CBME in the context of undergraduate programs and to provide examples of best practices that might help to address some of these issues.


개념적으로도 명확하지 못하다는 것 외에도 역량프레임워크를 둘러싼 일관된 용어가 없는 것이 CBME의 발전을 크게 저해해왔다. 성과바탕 또는 역량바탕 학부교육과정에 대해서 논의하고자 할 때에 논쟁이 되는 지점은 역량이란 것은 전문직 수행능력에 통합적으로 내재해있는 것인데, 이것을 분리되어 서로 독립적인 역량으로 나누는 것이 과연 가능하냐는 것이다.

The lack of a consistent language surrounding competency frameworks, along with an underlying lack of conceptual clarity, has been a substantial obstacle to the advancement of CBME. One point of contention in the discussion of any outcome- or competency-based undergraduate curriculum model is the notion of separate and independent competencies, given that competencies or capabilities reside in integrated professional performance.


역량바탕프레임워크를 활용하여 전문직의 수행능력을 묘사하고, 이를 토대로 학부교육과정에서 이러한 수행능력을 달성할 수 있게 해주는 enabling competency를 정립함으로서 "역량있는 의사에게 요규되는 자질과 능력"에 초점을 둘 수 있다. CBME는 학생들로 하여금 평생학습능력을 증진시키고, 스스로 학습을 지속할 수 있도록 하는 의도도 있다. CBME모델은 자기성찰을 통한 발전적 활동에 초점을 둔다. 또한 CBME는 전문직의 삶에 기반한 진짜 경험을 활용해서 의학교육의 여러 단계에 걸쳐 부드러운 연결이 이어질 수 있도록 한다.

Using a competency-based framework to describe the activities and performance of the practising professional and working backward to build enabling competencies in the undergraduate curriculum may provide an authentic curriculum focused on the “qualities and attributes required in a competent physician” (Smith & Dollase 1999). CBME may also prepare students for lifelong learning by increasing their involvement in making decisions about and tracking their own learning. CBME models provide a focus on reflective and developmental activities, which Candy and colleagues (1994) place at centre of learning activities; this is in keeping with one of the purposes of higher education, which is to foster the development and transformation of students, providing tools to assist them in continuing to learn (Toohey 1999). CBME also appears to provide a seamless link between levels of medical education by using authentic experiences based in professional life.


실제상황에서의 목표에 기반하여 명확히 기술된 프레임워크는 학생들은 드물지만 필요한 역량을 쌓아나가기 위한 경로를 개발할 기회를 가질 수 있다. 많은 이전의 교육과정이 경험을 층층이 쌓는 방식에 의존했으나, 그렇다고 해서 항상 이전 경험 위에 다음 경험이 쌓이는 것은 아니고, 종합적 역량프레임워크로 이어지지 않는다. 또한 CBME가 전문직으로서 진짜로 하게 되는 진료에 초점을 두는 것은 학생이 졸업 직후에 대비하도록 해준다. 이는 인턴수련과정에 대한 것만은 아니며, Hamilton이 언급한 바와 같이 "전문직으로서 성숙한 역할, 돌봄의 질, 그리고 보건서비스에 대한 기여"를 위한 준비를 말하는 것이다.

A clearly articulated framework of practical, real-world objectives provides a rare opportunity for students to develop a clear pathway toward relevant competencies. Many previous curricula have relied on a layering of experiences that do not always build on one another and are not linked through a comprehensive framework. Further, the focus of CBME on authentic professional practice should prepare students for their early postgraduate years. This does not mean only intern training, but rather, as Hamilton has stated (1999), preparation for “the mature role of the professional, the quality of care provided and the contribution to health services.”


이러한 장점에도 불구하고 CBME모델은 여러가지 이슈를 제기한다.

Despite these advantages, CBME models raise a number of issues in the areas of design, assessment, and systemic factors, all of which will have an impact on undergraduate teachers and learners. These concerns are discussed in the following sections.




설계 Design issues


Outcome을 정의한 후 enabling skills을 키우기 위한 교육과정 요소들을 구성함. 하나의 enabling skill은 여러 개의 outcome에 해당될 수 있음.

CBME curricula are designed to include a series of activities, each of which should contribute to the achievement of explicit, agreed outcomes. Once these outcomes are clearly delineated, curricular components designed to foster the acquisition of “enabling skills” and of knowledge can be structured in a logical sequence. Enabling skills may relate to a number of competency outcomes; for example, in the CanMEDS model, communication skills in a group setting could relate to the competencies required by the Communicator, Manager, or Collaborator roles (ten Cate 2006). The relationships between roles should be reflected across the curriculum blueprint and should always lead to one or more competency outcomes – without being atomized to mere checklists of behaviours. The test for relevant learning activities, then, is “What does this activity contribute to the student's outcomes?” An example of some additional reward for learning activities is discussed in the section below on systemic issues.


기대성과를 어떻게 시각화하고 어떻게 이에 대한 소통을 가능하게 할 것인가? 여기서 핵심은 통합이다. "역량모델은 환자돌봄에 초점을 두고 추가적인 단계를 거쳐서 의사가 어떤 성과를 갖추어야 하는가를 결정한다. 최종 산출물 또는 교육이 목적하는 상태에 초점을 둬야 한다."  우리는 교육을 하는 교수들이 '의학전문가' 영역을 벗어나는 부분에 대한 교육역량에 대해 솔직(explicit)할 수 있도록 격려해야 한다.

How do we visualize and communicate expected outcomes? Here, integration is the key. “A competency model starts with a focus on patient care and takes the additional step of determining which outcomes doctors need to have. It should focus on the end product or goal state of instruction” (Albanese et al. 2008). At its best, the competency approach can assist curriculum designers to identify characteristics of practitioners, including enabling skills and knowledge, “so that all dimensions of a performance should be … consciously developed” (Toohey 1999). Here we must encourage teaching faculty to be explicit about teaching competencies that lie beyond the Medical Expert domain (e.g., teamwork, the CanMEDS Health Advocate competencies).


서로 다른 발달단계 또는 서로 다른 기대성과 수준에 따라 동일한 개념도 서로 다르게 'packaged'될 수 있다. 예를 들어 '건강증진활동'이라는 개념을 의과대학생 초기와 졸업후교육에서 서로 다르게 설계하는 것이 가능하다.

Concepts can be “packaged” differently at different stages of development or for different levels of expected outcomes. This allows us to articulate and review levels of expected outcomes for different stages of the undergraduate program. For example, the concepts and practice of health promotion will be designed differently for learners early in their undergraduate career (who might, for example, be required to describe principles) than for graduates in hospital practice (who might be asked to implement individual strategies). On a broader scale, the National Undergraduate Framework in the Netherlands articulates the CanMEDS model, originally designed for residency and beyond, in an undergraduate form (Herwaarden et al. 2009). Similarly, the Bridging Project in Australasia has described, within its “doctor as educator” theme, a vertically staged set of competencies for students, graduates and practitioners (Page et al. 2008).


성과프레임워크는 목표를 구체화하지만 어떻게 거기에 도달해야 하는가를 구체화하지는 않는다. CBME는 어떤 특정한 교육방법이나 교육철학을 강요하지 않으며 다양한 방법이 가능하다. 그러나 일부 철학적 접근법이 내재되어 있기는 하다. 학생중심, 자발적 참여, 디자인의 유연성, 평가를 수반하는 학습활동의 건설적 정렬, 나선형 발달 등이 그것이다.

Outcome frameworks specify the destination but not the mode of delivery. CBME does not mandate any particular teaching strategy or philosophy, and many methods (e.g., problem-based learning, case-based teaching) may continue within the CBME approach. However, some philosophical approaches are implicit in the demands of attaining competencies: student-centredness, active engagement, flexibility of design, constructive alignment of learning activities with assessments, and spiral development of concepts, knowledge, and skills (Biggs 1999) would all be needed for the effective implementation of CBME.




평가 Assessment issues


졸업생의 실제 임상업무수행과 관련되어야 진짜(authentic) 임상 평가라고 할 수 있다. 평가시스템은 학생으로하여금 프로그램의 최종 목적에서 의도하는 학습과제와 성과에 집중할 수 있게 해야한다. 이러한 방법을 활용해야만 "시험에서 성공한 것이 성공이다"라고 여기는 학생들의 참여를 이끌어낼 수 있다.

Assessment becomes clinically authentic once it relates to the graduate's actual performance of required clinical tasks. Competency frameworks allow for the development of an assessment matrix that relates each assessment task back to the relevant competencies. The assessment system must be configured to encourage students to focus on the learning tasks and outcomes intended as the product of the program. In this way it engages students, who tend to “define success as success in assessment” (Dreissen et al. 2007).


CBME는 심지어 신뢰도를 조금 손해보더라도 평가의 타당도에 초점을 둔다. MiniCEX나 다면평가 등과 같이 실시간업무수행을 다수의 평가자가 관찰하는 분석은 학생의사의 실제 수행능력에 좀 더 가까이 가도록 해주며 업무의 타당도를 높여준다. 이러한 실시간 평가의 특징은 정확히 반복생산될 수 없다는 것인데 이는 환자, 상황 등이 다 바뀌기 때문이다.

CBME drives a focus on validity in assessment, even at the potential expense of some reliability. The analysis of authentic real-time tasks by multiple observers, such as through MiniCEX or multisource feedback, moves us closer to the actual performance of a (student) clinician, thus enhancing the validity of the task. The nature of such real-time assessments is such that the assessment cannot be reproduced accurately: the circumstance, or patient, will have changed, potentially interfering with the measurement of reliability.


CBME에서 '마스터'라고 불리는 단계로 옮겨갈수록 학생과 교사 모두 학생이 놓친 부분이 무엇인지를 찾아내야 한다. 즉, 형성평가를 빈번하게 하고 총괄평가는 줄이는 것이다. 형성평가과제는 개개 학생들의 약점을 타겟으로 해야 하며, 향후 이뤄질 총괄평가에서 더 효과적인 수행을 할 수 있게 도와줘야 한다. 잘 설계된 형성평가는 총괄평가의 부담을 줄여줄 수 있으며, 교육과정 설계자들에게 문제 영역에 대한 값진 정보를 준다.

In moving through the progressive levels of mastery envisaged in CBME, both students and teachers need to identify areas where students are missing essential elements. One clear implication of this is the need to focus on frequent formative or “diagnostic” assessment tasks in preparation for the (fewer) summative tasks. Formative tasks should include interventions targeted to individual students or areas of weakness and should encourage more effective performance at subsequent summative assessments. Carefully designed formative assessments can reduce the summative load (Nieweg 2004) in addition to providing valuable data for course designers about problematic areas.


좋은 평가의 두 가지 원칙 - 평가와 학습을 매치시키기, 의사가 알아야 하는 것이 무엇인가에 대한 최종산출물에 초점맞추기 - 를 적용하려면 전통적인 평가방법과 다른 여러 방법을 활용해야 할 수도 있다. 업무수행에 대한 다양한 평가방식을 통해서 프레임워크의 다양한 역량이 골고루 달성되었는가를 평가할 수 있다. 평가는 다양한 맥락과 역량영역에 걸쳐 일반화될 수 있는 행동과 지식을 탐색하고 그 지도를 그릴 수 있도록 만들어져야 한다. 

The application of two of the principles of good assessment – matching learning to assessment, and focusing on the end product of what a physician needs to know (Albanese et al. 2008) – often results in the adoption of a range of non-traditional assessments (Friedman Ben-David 1999). A variety of assessment tasks are required to yield the types of data that will allow a determination of whether the competencies across the framework have been satisfactorily achieved. Assessment should search for and map behaviours and knowledge that are generalizable across contexts and competencies. This notion is addressed in this issue in more detail by Holmboe and colleagues (pp. 676–682).




학생학습 Student learning issues


학생은 학습과정의 중심이며, 이 중심은 결코 '학문'이 아니다. 학습을 유도하는 것은 '성취'이며 '시간'이 아니다. 학생들은 명시된 목표를 향해서 그들의 성취과정을 모니터할 수 있어야 하며, 부족한 부분을 다룰 수 있는 활동에 집중할 수 잇는 선택권이 있어야 한다. 이는 학습활동에 대한 학생의 책임을 강화시키는 것과 같다. 많은 학생들은 프로그램을 거치는 과정에서 만족감을 느낄 것이며, 교육과정의 유연성을 활용하여 관심분야를 더 깊게 공부할 수도 있고, 특정 부분을 힘들어하는 경우에는 그 영역에 대해 스스로 공부할 수도 있으며, 어드바이저로 하여금 그 부분을 향상시킬 수 있도록 학습과 평가활동을 도와달라고 요청할 수도 있다. 이러한 형태의 자기주도적 학습은 약점을 보완하는 수단으로서 유용할 뿐만 아니라 학생들이 자기성찰과 평생학습능력을 갖출 수 있게 해준다. 학습이 필요한 부분을 찾아내고, 그것을 충족시키기 위한 활동을 하기 위한 협상과정은 학생들이 일생동안 해야 할 일이다.

The student, not the discipline, is central to the learning process in a competency-based program. Achievement, not time, is the driver. Students are required to monitor their progress toward stated goals and elect to focus on those activities that will assist them to manage any deficiencies. This increases the student's responsibility for choosing learning activities. Many students will progress satisfactorily through the program and will be able to take advantage of its inherent flexibility, which allows them to study areas of interest in greater depth; by the same token, those who are struggling in a particular area will be directed by themselves, or their advisors, to undertake learning and assessment activities that will help them to improve and ultimately attain competence in those areas. This form of self-directed learning not only addresses weaknesses, but helps the student to develop the capacity for self-reflection and lifelong learning. The ability to identify and negotiate activities to meet a learning need is one that students will ultimately require throughout their professional careers.


elective와 selective를 제공함으로써 학생들은 단순히 관심분야나 특정 영역을 적당히 잘 하는 것 이상을 해낼 수 있다. Selective는 여러 가능한 주어진 옵션 중 하나를 고르는 것으로, 역량바탕프레임워크와 정확히 잘 맞는 것이며, 역량성과의 추가적인 수준을 스스로 정함으로서 개인의 흥미, 역량, 고급성취를 찾아낼 수 있다. 

The provision of electives and selectives creates opportunities for students to progress beyond mere adequacy in areas of interest or special skill. Selectives, which are chosen by the student from a menu of options, are highly compatible with the notion of a competency-based framework and may define additional levels of competency outcomes for students in certain areas, thus recognizing individual interest, capacity, and advanced achievement. The development of student-selected curricular components in the United Kingdom fits this model (Murdoch-Eaton 2004).



교사 Teacher issues

의학에서의 전문직교육의 한 가지 강점은 '직장'에서 학습한다는 것이다. 학부생과 졸업생을 가르치는 사람이 동일하다. 졸업후교육이 점차 역량중심으로 옮겨가면서, 교수들도 CBME에서 사용하는 학습과 평가와 관련한 언어/행동에 더 친숙해질 것이다. 역량은 자기자신의 전문직으로서의 삶을 광범위하게 기술할 수 있는 임상의사들이 좀 더 잘 이해할 수 있으며, 임상 선생님들은 프레임워크가 실제 직업현장에서 어떤 특징을 갖는지에 대해서 더 잘 피드백해줄 수 있고, 어느 단계의 성취수준을 보이는지 잘 구분해줄 수 있다. 반면, 기초선생님들은 임상 성과와 관련애서는 자신의 학문분야를 정확히 평가하는 것에 좀 더 어려움을 겪을 수 있다.

One of the strengths of professional education in medicine is learning in the workplace, where undergraduate and postgraduate teachers are the same people. As postgraduate training moves toward a more competency-based framework (as with the CanMEDs model and in the US Boards, for example), teachers will become familiar with the language and behaviours associated with learning and assessment in CBME. Competencies may be better understood by clinical teachers as accurate descriptions of their broader professional life. Clinical teachers, in particular, are well placed to provide feedback about the authentic nature of any framework and about the appropriate staging of achievement levels. On the other hand, basic science teachers may have more difficulty relating their discipline to eventual (likely clinical) outcomes.


역량바탕접근법을 도입하는 것은 준거지향평가의 원칙과 실제에 대한 교수개발이 필요하다는 것을 의미한다. 준거지향평가는 CBME에만 해당되는 것은 아니며 역량프레임워크의 개념에 포함되어있는 것이라 볼 수 있다. 기준지향평가에서 벗어나는 것은 새로운 평가도구를 필요로 한다. 평가도구를 점차적으로 바꾸는 것이 도움이 될 수는 있겠으나 결과적으로는 명시된 준거에 따라서 평가해야 할 것이다. 준거지향평가는 졸업후수련(직업수련) 영역에서 더 오랜 역사를 가지고 있다. 준거지향평가를 위해서는 평가에 앞서서 '만족할 만한 수행'의 요소를 구체화해야한다. 기준지향평가로부터 준거지향평가로 옮겨가는 것은 부드럽지 않을 수 있다. 낙제를 받는 학생이 초반에는 증가할 수도 있다. 이런 현상은 교과목에서 어떤 것을 요구해야 하는가를 이전에 명확하게 정해놓지 않았기 때문이며, 이는 나중에 '준거'로 제시된 것에 대해서 충분히 넓고 깊게 공부하지 못하는 결과를 가져오게 된다. 평가자를 잘 훈련시키는 것이 신뢰도 높은 관찰평가의 필수적 요소이다. 새로운 평가도구를 도입하거나 기존의 것을 바꾸는 것은 평가자 재개발이 반드시 필요하다.

The adoption of a competency-based approach implies the need for faculty development in the principles and practice of criterion-based assessment. Criterion-based assessment is not unique to CBME, but it is integral to the notion of a competency framework. Moving away from norm referencing will require new rating tools along with training in their effective use. A gradual introduction of changes to assessment tools can be helpful in this transition, but eventually examiners will be required to rely on the expressed criteria on the rating form to arrive at a judgment. Criterion-based marking has, perhaps, a longer history at the postgraduate (vocational) stage of training. Criterion referencing specifies the elements of a satisfactory performance in advance of the assessment. The transition from norm referencing to criterion referencing will not necessarily be smooth: initial increases in failure rates have been observed during the transition. These may relate to examiner calibration or to poor previous definition of course requirements, resulting in students missing out on either the breadth or the depth of topics that have (later) been deemed criterion standards (Carlson et al. 2000). Adequate examiner training remains the sine qua non of reliable observational assessment. The introduction of a new assessment tool or the alteration of an existing one should always flag the need for examiner redevelopment.


역량바탕프로그램에서의 교사는 '내용'을 전달하는 것 외에도 여러 원칙들을 역량프레임워크에 맞춰서 변환하고 궁극적으로는 구체적인 학습과제로 만드는 것에 어려움을 겪을 수 있다. 역량에 초점을 두는 것은 여러 학제간에 걸친 설계가 필요하며, 이를 위해서는 기존의 교실중심의 보고/재정지원(reporting and funding) 체계를 재구조화 해야 할 수도 있다. 이런 면에서 CBME는 다른 통합교육과정과 다르지 않은데, 그러나 고도의 교수설계를 위해서는 교수들로이 새로운 기술을 갖추어야 한다. 이러한 새로운 기술들은 위해서는 교수개발이 필요하다.

Teachers working within a competency-based program are faced with the increased complexity not only of delivering the “content” of their discipline but also of translating the principles of the competency framework into concrete learning tasks. A focus on competency outcomes implies a cross-disciplinary design that may cut across traditional institutional and departmental lines of reporting and funding. In this regard, CBME does not differ from other integrated curricula; however, its higher-order instructional design does demand new skills from teachers involved in course and program design groups. These new skills have implications for faculty development, including the need for training in design models and methods that have been reported to enhance the quality of course design (Hoogveld et al. 2005).






시스템 Systems issues

CBME를 둘러싼 논의 중 일부는 변화관리에 대한 것이다. 학부교육과정에 있어서 이러한 변화관리는 조직구조, 대학의 학사력, 국가 수준의 전문직 인증기관, 전문직단체 등에 대한 것을 포괄한다. 동시에 의과대학의 내부 변화도 관리의 대상이다. 교실 중심의 구조는 교실의 관점을 대변하고 이것이 의사가 반드시 알아야 하는 것은 아닐 수 있다. 졸업후교육에 대하여 졸업후 수련의들과 의사들의 인식을 다룬 최근의 연구를 보면 "무엇을 알아야 하는가"에 대한 인식이 대학의 교실에 속한 교수들과 크게 다름이 드러난다. 

Part of the discussion about CBME revolves around change management. For undergraduate programs, this management includes the institutional structures and timelines of universities as well as national professional accrediting bodies and professional associations. At the same time, internal change within medical schools must be managed. Departmental structures often reflect disciplinary perspectives that do not necessarily relate well to the notion of what a doctor needs to know. Recent work with postgraduate trainees and practitioners indicates a clear perception of the “need to know” materials that is sometimes at odds with that of university-based teachers within a discipline (Koens et al. 2005). The management of this change is further explored in this issue by Taber and colleagues (pp. 687–691).


성과준거와 기준을 정의하는 것은 '시간'으로부터 '수행능력'과 '역량'으로 관점을 바꿔준다. 높은 성취를 달성하는 학생들은 좀 더 가속(accelerated)할 수 있게 해줘야 한다. 한 가지 사례는 UNSW의 병리학 과목의 elective와 selective이다. http://www.med.unsw.edu.au/medweb.nsf/page/Undergraduate+Students

Defining outcome criteria and standards shifts the emphasis away from time to performance and capability. High-achieving students can be rewarded with accelerated programs. One example of this approach is the use of electives and selectives in pathology by capable students at the University of New South Wales (UNSW), Australia, to count toward advanced standing in their later College (Specialty) training in that discipline (see http://www.med.unsw.edu.au/medweb.nsf/page/Undergraduate+Students).


성과준거를 사용하면 주어진 시간 내에 목표를 달성하지 못한 학생들이 더 오랜시간 공부하고 수련받아야 할 수 있다. 또 다시 UNSW의 예를 보면, 소수의 학생들은 임상시기에 들어가기에 앞서서 추가적인 과정을 이수한다. 

The use of outcome criteria may necessitate a longer period of study and training for students who do not reach the standard in the allotted time; some may require additional courses. Again at UNSW, a small number of students are required to undertake an additional course before joining the early clinical phase of the undergraduate program. This phase is designed with rotating terms so that a student can commence during any term. They may be able to catch up with their cohort, or may continue behind until they achieve a satisfactory result. Similar issues related to the timing of progression into internship or residency training can arise for trainees who are accelerated or delayed.




결론 Conclusions


Considering CBME at the undergraduate level highlights a number of challenges for students, teachers, course designers, and managers. Many of these challenges are common to any major curriculum change, but some, such as the issue of time versus achievement, are specific to CBME. An overarching outcomes framework allows a consistent approach to these changes and challenges, along with authenticity of experience and better alignment of educational activities and objectives through the continuum of medical education.


CBME does not specify particular learning strategies, formats, or approaches. As long as the competency statements are articulated at an “appropriate level of generality” (Harden et al. 1999), they can not only be adapted to the different phases of the undergraduate program but will be able to accommodate the integration of emerging topics and content. A regular review of societal and professional needs will allow curricula to mature, absorbing the competencies that may be required of future practitioners.


Many examples of CBME have derived from either major curriculum redesign or the establishment of new curricula. However, good practices such as those mentioned in this article can, or could, support CBME in the undergraduate environment. As curriculum evaluation and review cycles offer opportunities for change, and as new challenges arise, such examples can be employed and enhanced. We will then be able to use best practices in education that currently exist to move toward CBME in undergraduate curricula.








 2010;32(8):646-50. doi: 10.3109/0142159X.2010.500703.

Competency-based medical education: implications for undergraduate programs.

Abstract

Changes in educational thinking and in medical program accreditation provide an opportunity to reconsider approaches to undergraduate medical education. Current developments in competency-based medical education (CBME), in particular, present both possibilities and challenges for undergraduate programs. CBME does not specify particular learning strategies or formats, but rather provides a clear description of intended outcomes. This approach has the potential to yield authentic curricula for medical practice and to provide a seamless linkage between all stages of lifelong learning. At the same time, the implementation of CBME in undergraduate education poses challenges for curriculum design, student assessment practices, teacher preparation, and systemic institutional change, all of which have implications for student learning. Some of the challenges of CBME are similar to those that can arise in the implementation of any integrated program, while others are specific to the adoption of outcome frameworks as an organizing principle for curriculum design. This article reviews a number of issues raised by CBME in the context of undergraduate programs and provides examples of best practices that might help to address these issues.

PMID:

 

20662575

 

[PubMed - indexed for MEDLINE]





현행 학생지도 프로그램 분석과 학년에 따른 프로그램 개발의 필요성

Are medical students being properly cared for? A question for the current student advisory program

허예라, 이금호

Yera Hur and Keumho Lee

건양대학교 의과대학 교수개발 및 멘토링 센터

Faculty Development & Mentoring Center, Konyang University College of Medicine, Daejeon, Korea



이 연구의 제한점과 후속 연구에 대한 제언을 하면 다음과 같다. 우선 연구 대상은 의학전문대학원과 6년제 또는 2+4년 제 의과대학 중 일부만을 대상으로 하고 있으며, 각 대학에서 운영하고 있는 지도교수제도의 방식이 다르지만 이 연구에서는 이에 대해서는 구분하여 연구하지는 않았다. 각 대학별로 추구하는 교육목표는 다르고 교육과정도 다르다. 특히 의학전문대학원과 6년제 또는 2+4년제 의과대학은 재학 중인 학생들의 특성도 다르므로 이를 고려하여 학제에 맞는 프로그램을 개발하여야 할 것이다. 둘째, 이 연구는 단지 현 상황에 대한 조사만이 이루어졌다. 이 연구 결과를 토대로 현행 학생지도 프로그램을 개선하고 보다 체계적이고 효과적인 프로그램의 개발과 이를 운영한 후 그 효과에 대한 후속 연구가 필요하다.





일개 대학 의예과 교육과정 개선에 관한 고찰

A study on premedical curriculum reform of one medical school

황진영1, 이승희1, 김석주2, 신좌섭1, 윤현배1, 김도환1, 김은정1

Jinyoung Hwang1, Seung-Hee Lee1, Seog Ju Kim2, Jwa-Seop Shin1, Hyun Bae Yoon1, Do-Hwan Kim1 and Eun Jung Kim1

서울대학교 의과대학 1의학교육학교실, 2의학과

Departments of 1Medical Education and 2Medical Sciences, Seoul National University College of Medicine, Seoul, Korea




21세기 전후로 미국의과대학협의회(Association of American Medical Colleges), 영국의학협회(General Medical Council), 한국의과대학․의학전문대학원장협의회(Korean Association of Medical Colleges) 등 여러 의학 관련 기관에서는 미래의의학교육 및 의사상에 대한 보고서들을 발표하였다. 이와 같이 사회가 요구하는 다양한 역할을 수행할 수 있는 의사 양성을 위해서는 기존의 의학교육과는 차별화된 교육목표 및 교육과정 편성이 이루어져야 한다[3]. 이는 비단 의학과에만 해당되는 것이 아니며 의예과 때부터 바람직한 의사 양성을 위한 교육이 이루어질 수 있어야 한다.


1. 의예과 교육과정 개선 방향

의예과 교육과정 개선에 관한 3개의 위원회 및 평의원회 정책과제 보고서를 분석한 결과 기존 의예과 교육과정의 문제점교육목표의 부재, 획일적 교육에 의한 학습동기 저하, 소속감의 부재, 인성교육의 부족 등 크게 네 가지로 나타났다.


도출된 문제점들을 기반으로 의예과 교육과정의 개선 방향은 크게 다섯 가지로 설정되었으며 각각의 개선 방향에 따른 개선 결과는 다음과 같다(Table 1). 첫째, 의예과 교육목표의 재정립에 따른 합리적인 교육과정을 개선하는 것이다. 이는 새롭게 제시되는 의예과 교육목표가 전체적인 의학교육의 연장선상에서 재정립되어야 한다는 것을 의미한다. 이에 따라 교육과정이 개선되기 이전에는 명확하지 않았던 의예과 교육목표를 새롭게 정립하였으며 교육목표뿐 아니라 이에 도달하기 위한 실질적인 도달목표를 동시에 설정함으로써 대학이 추구하는 의예과 학생으로서의 역량을 갖출 수 있도록 구체적인 기준을 마련하였다(Table 2).



2) 교육과정 개발 기준에 따른 분석

새롭게 개선된 서울대학교 의예과 교육과정을 Tyler가 제시한 교육과정 개발 모형과 교육과정 개발 단계 각각에 대한 구체적인 절차를 명시하고 있는 이성호의 교육과정 개발 모형을 근거로 하여 분석하였다(Fig. 1).


Tyler, 이성호는 교육과정 개발 단계를 크게 네 단계로 구분하여 

    1. 첫 번째 단계는 정확한 교육목표 설정
    2. 두 번째는 이를 실현하기 위한 구체적인 교육경험 선정, 
    3. 세 번째는 효과적인 교육을 위한 여러 교육경험들의 조직, 그리고 
    4. 마지막 단계는 교육과정에 대한 평가를 실시하는 것으로 구성하였다.


교육과정 개발을 위한 근거로서 학습자, 사회에 대한 연구와 교과전문가로부터의 제언 세 가지를 명시하였는데 먼저 학습자에 대한 연구의 경우 교육과정의 수요자인 학습자의 현재 상태를 파악하고 교육에 대한 이들의 요구(needs)를 파악하여 교육목표 수립을 위한 근거자료를 마련하는 것을 의미한다. 

    • 를 위하여 전체 교수 및 학생들을 대상으로 의예과 교육과정에 대한 설문조사를 실시하였으며 이는 개선되기 이전 교육과정의 문제점, 의의 등을 비롯하여 교육과정 개선에 있어 중점적으로 다루어져야 할 영역에 대한 문항들로 구성되어 있었다. 
    • 사회에 대한 연구는 사회가 학습자에게 요구하는 기대역량에 대한 분석 결과를 교육목표에 반영하는 것을 의미하는데 의예과 교육과정의 경우 국내외 의학교육기관의 연구보고서 등에 대한 문헌 고찰을 통해 현대사회가 요구하는 의사상을 파악하는 작업이 이루어졌다. 
    • 마지막으로 교과에 대한 전문가들의 제언에 관해서는 의예과 소속이 자연과학대학에서 의과대학으로 변경된 것을 계기로 의과대학 교수들이 주축이 되어 교육과정에 대한 전반적인 논의가 이루어졌으며 앞서 이루어진 학습자 및 사회에 대한 연구를 기반으로 의예과 교육과정 개발이 이루어졌다.


교육과정 개발의 첫 번째 단계인 교육목표 수립에서는 학생에게서 개발되어야 하는 행동과 이 행동이 수행되는 내용이 포함된 명료한 교육목표를 제시하여야 한다. 새롭게 수립된 의예과 교육목표는 각각 학생에게 개발되어야 하는 행동을 명시하고 있으며 행동이 수행되는 내용을 포함하고 있다(Table 1).

예를 들어 첫 번째 교육목표에서 ‘학문적 기초를 갖춘다’는 개발되어야 하는 행동이며 ‘자연과학, 인문․사회과학 등 인간과 의학을 깊이 있게 탐구하기 위한’은 행동이 수행되는 내용으로 볼 수 있다. 또한 교육목표 실현을 위한 도달목표들을 별도로 제시함으로써 교육목표에 도달하기 위해 수반되어야 하는 행동 및 내용에 대하여 구체적으로 명시하고 있다.


두 번째 단계는 교육목표를 달성하기 위한 교육과정 편성단계이며 이는 교육과정 내용의 유형 및 다양성을 의미하는 범위(scope)와 교육과정의 누적적이고 지속적인 학습을 위한 수직적 진행을 의미하는 계열성(sequence)로 구분할 수 있다. 의예과 교육과정에서는 과학적, 인문사회학적 관련 지식의 획득뿐만 아니라 논리적 사고, 공감, 의사소통 등 다양한 사고능력, 의사로서 갖추어야 하는 사회적 태도 등을 개발할 수 있는 교과목들을 배치하여 교육과정에서의 범위를 충족시키고자 하였다. 또한 기초적인 과학적, 인문사회학적 지식 습득 위주의 교양필수 교과목들을 1학년에 배치하고 이를 의학으로 확장․적용시킬 수 있도록 하는 전공 교과목들을 2학년에 배치함으로써 계열성을 충족시키고자 하였다.


(...)


네 번째 단계는 교육과정을 평가하는 단계로서 학생들이 교육목표를 달성하였는지 여부와 그 정도를 파악하는 단계이다. 따라서 교육목표가 함의하고 있는 행동들을 명확하게 규명하고 이를 학생들이 발현할 수 있는 상황이 제공되었는지 확인을 한 이후에 달성 여부를 입증할 수 있는 평가방법을 고안할 수 있다. 의예과 교육과정에서는 학생들의 교육목표 달성여부를 파악하기 위한 평가방법으로 의학과 진입을 위한 평가지표를 설정하였다. 평가지표로써 매 학기 이루어지는 수강지도 및 생활지도, 유급, 봉사 등 각각에 관한 의예과 내규를 규정하여 의예과 교육과정 이수 후 학생들이 해당 기준을 충족시키지 못할 경우 의학과 진입을 제한하는 형식으로 이루어지고 있다.





임상실습을 위한 임상표현별 직무중심 학습성과목표 개발

Development of Task-Based Learning Outcomes according to Clinical Presentations for Clinical Clerkships

노혜린, 이병두, 이종태, 배상균

HyeRin Roh1, Byoung Doo Rhee2, Jong-Tae Lee3 and Sang Kyun Bae4

인제대학교 의과대학 1의학교육학교실, 2내과학교실, 3예방의학교실, 4핵의학교실

Departments of 1Medical Education, 2Internal Medicine, 3Occupational & Environmental Medicine, and 4Nuclear Medicine, Inje University College of Medicine, Busan, Korea


연구방법

1) 임상실습 교육 목적과 목표 설정


임상교육위원회는 2007년부터 교육목표와 관련된 여러 참고문헌들을 조사하면서, 대학 창립정신과 사명, 교육 목적과 목표, 의과대학 비전과 발전계획, 의학과 교육 목표와 졸업역량 등을 검토하였다. 임상교육위원회는 2008년에 시행하였던 교육과정 외부평가 결과와 매년 시행하고 있는 의학과 교육과정 평가 설문과 자료 등도 검토하였다. 그 외에도 동문, 학부모, 지역 의료계에 시행하였던 각종 설문조사에서 나타난 임상실습 관련 결과들을 검토하였다. 이러한 자료들을 바탕으로 임상교육위원회는 임상실습 교육 목적을 우선 선정하였다.




의과대학 교수들이 필요로 하는 교수개발 프로그램은 무엇인가?

What do faculties need most in a faculty development program?

나백주, 강재구, 김종엽, 윤정민, 한승연, 황원민, 허예라

Beag Ju Na, Jaegu Kang, Jong-Yeup Kim, Jungmin Yun, Seungyeon Han, Wonmin Hwang and Yera Hur

건양대학교 의과대학 의학과 교수개발위원회

Faculty Development Committee, Konyang University College of Medicine, Daejeon, Korea


이 연구는 일개 대학의 교수들을 대상으로 설문을 실시한 것과 회수율이 31%에 지나지 않은 것은 연구의 결과를 일반화하는 데 제한이 있다. 따라서 후속 연구로 보다 많은 대학의 교수를 대상으로 한 요구도 조사가 이루어질 필요가 있으며, 의학계열의 특성이나 대학의 목표에 따른 특성을 반영할 수 있는 교수개발 프로그램이 개발될 수 있는 기초 연구가 필요할 것으로 사료된다. 그러나 무엇보다, 효과적인 교수개발을 위해서 해결해야 할 공통과제가 있다면 교수개발의 목표와 우선순위를 명확히 해야 하고, 개인과 대학의 요구 간의 균형을 이루어 교육 목표와 우선순위, 교수개발 실행계획, 가르치는 것에 대한 인식 그리고 대학 지원과의 연계성이 뒷받침되어야 하겠다.




교수학습의 의미와 일곱 가지 질문 전략

Seven Strategies for Effective Questioning

양은배

Eunbae B. Yang

연세대학교 의과대학 의학교육학과

Department of Medical Education, Yonsei University College of Medicine, Seoul, Korea


질문의 유형은 B.S. Bloom의 교육목표 분류학에 따라 지식, 이해, 적용, 분석, 종합 및 평가 등으로 구분할 수 있다. 또는 수렴적 사고를 요구하는 질문과 확산적 사고를 요구하는 질문으로도 구분할 수 있다. 예를 들어 X-선이 언제 발견되었는지를 질문하는 것과 A치료법과 B치료법을 비교해 보라고 하는 질문은 요구하는 사고능력이 다르다. 오늘날 많은 의과대학 교수들이 주로 어떤 유형의 질문을 사용하고 있는가 생각해 보라. 강의실을 들여다보면 질문은 거의 일어나지 않으며, 질문이 있는 경우에도 낮은 수준의 사고를 요구하는 질문들이 주류를 이루고 있는 것이 현실이다. 다음은 의과대학 강의실 및 임상실습 과정에서 학생들의 사고를 촉진하기 위해 교수자들이 사용할 수 있는 일곱 가지 질문 전략을 소개한다.





건양대학교 의과대학 신입생을 위한 동기유발 교육과정 개발과 시행 경험

Experience of Developing and Implementing a Motivation Induction Course for Konyang University Medical College Freshmen

나백주, 이금호, 김건일, 송다운, 허예라

Beag Ju Na1, Keumho Lee1, Kunil Kim2, Daun Song2 and Yera Hur1

건양대학교 의과대학 1의학교육학교실, 2의학과

Departments of 1Medical Education and 2Medicine, Konyang University College of Medicine, Daejeon, Korea


동기유발 프로그램은 의학과뿐만 아니라 건양대학교에서 선정한 17개 학과에서 시범적으로 개발하였고 2012년에는 전체 학부에서 시행하게 되는 프로그램의 일환이다. 이에 TF팀의과대학의 교육목표와 인재상 그리고 동기유발 프로그램의 정의와 시행 목적에 따라 운영 프로그램의 핵심 주제를 선정하였다. 그 다음 핵심 주제에 맞는 과정 목표를 설정하고 그 목표에 맞는 내용을 구성한 뒤 교수자를 선정하고 수업방법과 구체적인 내용 그리고 학생 평가 방법을 개발하였다. 이상의 동기유발 프로그램의 교육과정 개발 절차를 요약하면 Fig.1과 같다. 특히 각 단계별로 전문가 자문과 검토 과정을 가짐으로써 개발 내용의 타당성과 객관성을 높이고자 하였고 학생평가 설문의 문항개발이나 방법과 평가 시기 등의 내용의 경우 의학교육 전문가와 함께 개발하였으며, 기존의 교육과정 특히, 의료인문학 과정과는 많은 연계성을 가지도록 개선되었다(Appendix 1).




의료 커뮤니케이션 교육에서 도전과제: 개인적 경험과 성찰을 토대로

Challenges in Communication Skills Education in Medicine: Based on Personal Experience and Reflection

이영미

Young-Mee Lee

고려대학교 의과대학 의학교육학교실

Department of Medical Education, Korea University College of Medicine, Seoul, Korea


커뮤니케이션을 효과적으로 가르치고 배우는 방법에 대해서는 기존의 선행연구와 지침서를 참고하면 쉽게 구할 수 있고, 교육과정을 개발하고 편성하는 것 역시 어려운 일은 아니다. 그러나 교육과정의 운영의 실제와 소기의 교육목표와 성과에 도달하는 것은 결코 쉬운 일이 아니다. 이 글에서는 커뮤니케이션 교육방법에 대한 이론이나 다양한 교수방법을 나열하기보다는 교육과정을 운영하면서 필요한 실제적인 이야기들을 하고자 한다. 즉, 지난 6년 동안 필자의 경험을 토대로 커뮤니케이션 교육을 성공적으로 이끌어갈 수 있는 전략과 도전적 과제에 대하여 간략히 제시하고자 한다.




의료인문학교육에서 질병체험서사의 활용 방안

Teaching Medical Humanities through an Illness Narrative

황임경

Im-Kyung Hwang

제주대학교 의학전문대학원 의료인문학교실

Department of Medical Humanities, Jeju National University College of Medicine, Jeju, Korea



최근 국내 여러 의과대학에서 의료인문학 교육에 대한 관심이 높다. 의료인문학이라는 분야는 아직 개념적으로 확립되어 있지는 않지만, 대개 1960년대 후반에서 1970년대 초반에 미국을 중심으로 현대의학의 과도한 과학 의존성과 이로 인한 비인간화 현상에 대한 반성으로부터 시작되었다고 보는 것이 일반적이다. 특히 의과대학내에 문학 전공자들이 자리를 잡고 ‘문학과 의학(literature and medicine)’을 가르치면서 의료인문학에 대한 관심이 높아지기 시작했다[1]. 한국의 경우에는 2000년도 의사들의 파업사태를 겪으면서 역설적으로 의료인문학에 대한 관심이 크게 높아졌다. 의료계와 사회와의 소통이 필요함을 인식하게 되면서 의학교육에서의 인문사회의학적 교육의 중요성을 강조하기 시작한 것이다. 2000년에 한국의과대학장협의회와 한국의학교육학회가 ‘의사와 사회’라는 주제로 제8차 합동 학술대회를 개최한 사실이나, 한국의과대학장협의회가 ‘21세기 한국의학교육 계획’을 발표하면서 의과대학에서의 인문사회의학 교육의 중요성을 선언한 것이 그 대표적인 예라 할 수 있다[2]. 최근에는 의료인문학 관련 과목을 의사국가고시에 출제해야 한다는 주장이 있을 정도로 의료인문학은 의학교육에서 큰 관심을 받고 있다. 그리고 이런 흐름에 발맞추어 대부분의 의과대학에서 의료인문학 관련 교과목이 강의되고 있다. 물론 의료인문학의 교육목표와 방법에 대해 합의된 바는 없지만, 기존의 의학교육에서 주로 사용되던 강의식, 주입식 교육으로는 의료인문학이 의도하는 결과를 얻기 힘든 것은 자명한 사실이다. 따라서 의료인문학 교육에서는 일방향이 아닌 쌍방향의 교육방법이 중요하며, 특히 시청각자료와 같은 각종 교육 보조 자료와 역할극과 같은 참여형의 수업방식이 자주 이용될 수밖에 없다. 실제로 환자들의 이야기를 담은 영화나 문학 작품을 수업에 활용하거나 모의 환자들과의 의사소통 훈련을 하는 것은 이미 표준적인 방식으로 널리 사용되고 있는데, 이런 텍스트들을 통칭하여 ‘질병체험서사(illness narrative)’라고 부를 수 있을 것이다. 질병체험서사는 질환이야기, 질환내러티브, 질병체험 이야기 등으로 다양하게 번역되고 있다. 본 논문에서는 질병체험서사라는 용어를 사용하는데, 그 이유는 illness에는 단순한 질병보다는 그것을 앓는 환자의 주관적 측면, 즉 체험적 요소가 포함되어 있기 때문이다. 또한 narrative는 그 내용이 되는 이야기(story)뿐만 아니라 그것이 표현되는 형식을 뜻하는 담화(discourse)까지도 포괄하기 때문에 서사라는 용어를 사용하였다.




신 교과과정에 대한 의학전문대학원 1학년 학생들의 만족도: 일개대학

The Satisfaction of the Freshman of Graduate Medical Students to the New Medical Curriculum: One Medical School

박 종1, 안영준2

Jong Park1 and Young Joon Ahn2

조선대학교 의학전문대학원 1예방의학교실, 2의학교육학교실

Departments of 1Preventive Medicine and 2Medical Education, Chosun University School of Medicine, Gwangju, Korea



고찰


오늘날 우리 사회가 의료, 의학교육을 바라보는 부정적 시각 가운데 국민의 정부에서 새교육공동체위원회는 의학교육제도에 대하여 우리 사회가 무엇을 바라고 있는지 분석하였다[1]. 

첫째, 고도 전문인력의 자질 향상 및 내실화, 다양화를 요구하고 있다. 

둘째, 사교육비 경감 및 지역 균형 발전을 위한 교육기회 확대, 균등한 교육여건 조성에 대하여 요구하고 있다. 

셋째, 대학의 기능을 차별화, 다양화, 특성화하여 획일적 서열구조를 타파해야 한다. 

넷째, 21세기를 대비한 신지식 및 기술개발을 위한 연구 중심대학을 육성해야 한다고 했다. 


의전원 체제로 인한 문제점으로는 의사전교육기간만 늘이는 것이며, 의사면허를 취득하기 위한 대학교육의 총 연한이 연장됨으로써 사회적, 개인적 비용이 증가할 것이며, 의사 양성 제도가 이원화되어 커다란 혼란을 초래할 것이고, 대부분의 의과대학에서 현실성이 없는 등 많은 것들을 내포하고 있다[11]. 이러한 관점에서 도입된 의전원 제도는 의학교육의 많은 변화를 초래하였다. 

의과대학에 의전원 제도가 도입되면서 학생들의 자기주도학습능력을 향상시키기 위해 자율학습시간, 선택학습의 시간을 늘리고 교과과목들은 교실의 개념을 넘어서 임상 간, 기초-임상 간, 기초 간 통합되었으며, 

성, 의료전문성, 의사소통 등 인문학적 분야를 교과과목에 반영하는 것이 더욱 구체화 되었다. 

우리 대학도 의과대학 체제(2+4)에서 의전원 체제(4+4)로 전환하면서 기초의학과목을 통합하여 의전원 1학년 학생이 실습을 포함한 주당 수업시간이 1학기에는 36시간에서 31.5시간, 2학기에는 37.5시간에서 32시간으로 줄었다. 

또한 토론 수업을 적극 권장하기 위해서 문제바탕학습(problem-based learning)을 1학년 2학기 때부터 36시간을 할애하였고, 시험은 한 학기에 중간, 기말고사로 2차례 보던 것을 3~4주 간격의 4차례로 확대하였다. 

여기에 인문사회의학교육 강화에 대한 흐름에 맞추어[12,13] 의사 소통술, 의학통계, 의료윤리, 의학과 문화 등을 포함하는 과목인 환자-의사-사회(patient-doctor-society)라는 과목에서 기존내용을 수정, 통합하거나, 새로운 내용을 신설하여 개설하였다. 


이를 통해 우리 대학의 교육목표인 1차적으로 의사로서 필요한 인품, 사명감, 윤리관을 갖춘 일차 진료를 담당할 수 있는 의학지식과 임상수기능력 및 태도를 갖춘 의사를 양성하고, 2차적으로 자기개발, 평가, 자율학습 능력을 갖추어 의료 환경에 능동적으로 대처하고, 사회적 책무를 다하는 기본적 이론과 수기를 습득하는 것을 성취하고자 했다[14]. 의전원 체제로 변화된 우리 대학은 2009년 의전원 신입생이 처음으로 입학하였는데 성별은 의학과 학생과 비교하여 의전원학생의 남성 비율(47.5%)은 감소하고, 여성 비율(52.5%)은 증가하였고, 평균 연령(27.1세), 결혼 비율(8.5%), 수도권 출신 비율(51.3%)이 증가하여 다른 의전원과 비슷한 결과를 보여주었다[15,16]. 이는 의전원 신입생 중 높은 여학생 비율을 고려하여 학교생활, 시설, 교육 및 향후 진로 선택에 있어서 여학생들을 배려해야 한다는 점을 시사한다. 또한 연령이 높은 것과 광주 전남 외 출신의 학생들이 많기 때문에 기숙사 문제, 높은 연령의 학습문제, 향후 광주 전남출신 비율의 감소로 우리대학 병원의 인턴, 레지던트 양성 및 교육에 대한 방향도 새롭게 정립해야 할 것으로 생각한다.




의학교육에서의 팀 바탕학습 운영과 효과성에 대한 고찰

Review on the administration and effectiveness of team-based learning in medical education

허예라1, 조아라2, 김 선2

Yera Hur1, A-Ra Cho2 and Sun Kim2

1건양대학교 의과대학 교수개발 및 멘토링센터, 2가톨릭대학교 의과대학 의학교육학과

1Faculty Development & Mentoring Center, Konyang University College of Medicine, Daejeon, and 2Department of Medical Education, The Catholic University of Korea College of Medicine, Seoul, Korea


지식의 전달이 중심이었던 의학교육은 1985년 미국의과대학협회(American Association of Medical Colleges)의 General Professional Education of the Physician 보고서가 발표되면서 성과바탕(outcome-based) 의학교육으로 전환하고, 학생들이 졸업 후 최소한 갖추어야 할 성과를 규정하고 새로운 교육목표를 설정하기 시작하였다[1]. 새로운 의학교육의 목표는 세 가지로 함축해 볼 수 있는데, 

쏟아지는 의학지식의 홍수 속에서 진단과 치료에 필요한 정보를 수집하고 활용할 수 있는 자기주도학습능력, 

협력진료 환경 속 효과적인 팀워크 능력, 

기초와 임상의학을 통합한 비평적 사고 능력의 함양이 그것이다[2]. 

새로운 교육목표는 자연스레 교육방법의 변화를 요구하였다. 이러한 패러다임의 변화를 수용하여 그 동안 대부분의 교육과정을 전통적인 강의 중심으로 운영해 오던 의과대학들은 팀 바탕학습(team-based learning, TBL) 도입을 위한 논의를 활발히 진행해 오고 있으며, 그에 따라 TBL을 도입하고 있는 의과대학의 수는 점차 증가하고 있다[3]. 특히 외국의 대표적인 의학저널 검색엔진 PubMed에 “team-based learning”, “TBL” 키워드를 입력하면 2000년 1월부터 2013년 10월까지 70편 이상 검색되는데 이 가운데 50편 이상이 2010년 이후 발표되었으며, MedEdPORTAL에는 2013년 10월까지 80여개의 TBL 모듈과 자원이 공유되고 있다[4]. 이러한 수치는 최근 TBL에 많은 관심이 집중되고 있으며, 이미 다양한 의학교육 분야에서 많은 경험이 축적되고 있음을 시사해 준다. 실제로 이미 60여 개 이상의 의학교육기관들이 의과대학 교육과정(undergraduate medical education), 전공의 교육수련과정(graduate medical education), 의사의 평생교육과정(continuing medical education)에 TBL을 도입하고 있으며, 성공적인 교육 경험을 바탕으로 TBL 운영과 효과성에 대한 연구 결과를 지속적으로 발표해오고 있다[5,6]. 반면 국내에서는 TBL 도입 움직임이 여전히 미비한 수준이며 연구 현황도 열악하다. 이는 국내에서 TBL을 도입하고 있는 의과대학의 수가 매우 제한적이라는 현실에 기인한다. 이러한 배경에서 이 연구는 외국의 선행 연구를 바탕으로 TBL의 기본 원리와 진행 단계를 살피고, 의학교육에서의 TBL 운영 유형과 효과성에 대한 분석을 통해 국내의 의학교육에서 TBL의 도입을 위한 과제가 무엇인지 도출해 보았다.






국내외 의과대학의 교육과정 기초조사 및 분석1)

Fundamental Study on Curriculum of Domestic and Foreign Medical Schools 

연세대학교 의과대학 의학교육학과 

Department of Medical Education, Yonsei University College 이 Medicine

류숙희2), 김보현

Soo-hee Ryue, PhD‘ Bo-Hyun Kim, MEd




2. 연구방법

연구대상이 된 학교는 국내 5 개 대학, 국외11 개 대학이었다. 국내 5 개 대학은 우리나라 의과대학장 협의회 (2004) 에서 밝힌 순위결과에 기초하여 가장 많은 조건에서 순위에 오른 5개 대학, 즉 성균관대 , 서울대 . 카톨릭대 , 연세대, 울산대를 선정하였다. 또한 외국의과대학의 경우 외국유명언론(타임즈. US News) 에서 밝힌 순위결과에 기초하여 가장 많은 조건에서 순위에 오른 6개 대학, 즉 University of Washington. UCSF(University of California. San Francisco).University of Southern California. Duke University. Harvard University. Johns Hopkins University. UCLA를 우선 선정하였다 이외에 의학과정과 의학전문대학원과정을 병행하고 있는 호주의 2개 대학 즉 Flinders 대 학. New South Wales 대학과 캐나다의 McMaster 대학, 그리고 독일 베를린의 Freie 대학을 연구대상으로 포함시켰다.

분석방법은 먼저 각 대학에 대한 소개자료,문헌, 홈페이지 자료 등을 수집하여, 수집된자료를 대학별로 교육과정에서 중요한 네 측면 , 즉 교육목표, 교육모형 및 교육내용, 교육평가, 교육과정운영으로 정리하였다 . 그리고 시사점을 얻기 위해 각 교육과정의 측면 에 따라 내용을 종합 정리하여 분석하였다.


3. 국내외 의과대학 교육과정 분석 결과

1) 교육목표

국내의과 대학의 교육목표는 연구, 교육, 치료술기 등에 초점을 두고 있는데, 그 중에서 카톨릭의대가 일차의료를 강조하고 있고 , 서울의대가 학문적 자질과 의사로서의 술기 및 유능성에 주로 초점을 두고 있으며, 연세의대가 봉사정신을 강조한다는 점이 특이했다. 외국의 대학들 대부분도 연구, 교육, 술기를 강조하고 있지만, 그 중에 보건, 삶의 질의 향상 등 지역사회와 관련된 사회적 책임을 강조하는 대학이 있었는데, 워싱턴 대학, 듀크 대학,뉴멕시코 대학, 서던 캘리포니아 대학, 베를린 대학이 이에 포함된다. 이들 중에서 특히 분야간 협력. 1차 진료의사를 탁월하게 교육하는 데에 초점을 둔 워싱턴 대학의 교육목표는 다음과 같았다



4) 교육과정운영

뉴멕시코 대학의 경우, 교육과정 위원회는 the Undergraduate Medical Education(UME) 교육과정을 감독, 발전, 조직화시키는 등의 기능을 한다. 위원회는 정기적으로 4년 과정의 교육목표를 고찰하고 개정하고 있으, 의학 교육의 트렌드를 모니터링하고 , 학교정책을 명확하게 하고, 현존 하고 있는 정책에 대한 투표를 실시하고, 그 결과에 따라 필요하다면 그 정책을 수정하기도 한다. 교육과정 위원회의 회장은 교육과정 위원회의 구성원이 아닌 교수, 스랩, 학생들, 그리고 공동체 대표 등으로 이루어진 분과 위원회를 임명할 권한을 가진다 또한 교육위원회 (Education Council)라는 조직은, 의학 박사 학위까지 연결 되는 의과 대학 교육과정을 모두 검토하는 역할을 수행 하고 있다. 또한 교육위 원회 (Education Counc il)의 의장은 위원회의 구성원이 아닌 사람들로 분과 위원회를 임명 할 수 있는 권한을 가지며 , 분과 위원회의 활동에 협조하고 함께 참여하며, 학생들의 진급정책을 결정하고 ,학부의 정책 변화를조언하며, 의학박사학위를 수여하는 등의 역할을 한다. 이 위원회는 the School of Medicine Voting Faculty의 멤버로 구성되어 있었다


4. 시사점 및 제언

국내외의 의과대학의 교육목표, 교육모형 및 교육내용, 교육평가, 교육과정운영을 살펴본 결과 다음과 같이 시사점 및 제언으로 정리

할수있다.

첫째, 교육목표와 관련해서 앞으로 사회적책임과 봉사 및 지역에서의 요구에 상응하는 목표가 강조되어 좀 더 다양하고 폭넓은 교육목표가 의과대학교육과정에 포함이 될 때, 교육과정의 방향과 질, 다양성이 증진될 것이다. 특히 의학교육철학, 의학교육관에 대한 연구와 기르고자 하는 의사상에 대한 심도 있는 논의가 끊임없이 진행되어야 할 것이다.






글로벌 의사의 역할과 성과바탕 의학교육

Global Doctor’s Role and Outcome-Based Medical Education

한 재 진

Jae Jin Han

이화여자대학교 의학전문대학원 의학교육학교실

Department of Medical Education, Ewha Womans University School of Medicine, Seoul, Korea


한편 교육계에서는 성과바탕 이론이 대두되어 미국의 중등교육 개혁과정에서 보다 명확하고 집중된 목표, 확장된 교육기회와 높아진 기대치 등을 반영하기 위하여 모든 학생들이 교육 후에 최소한 갖추어야 할 성과를 우선 규정하고 이를 달성하기 위하여 개별적이고 자율적인 학습기간 등을 특징으로 하는 성과바탕교육이 시도되었으며, 이는 1985년에 미국의과대학협회(American Association of Medical Colleges, AAMC)의 General Professional Education of the Physician (GPEP) 보고서를 통해 의과대학의 교육에도 도입하도록 제안되었다[4]. 이후 세계적으로 여러 의학교육 관련 기관에서 의사의 역할이나 역량을 규정하려고 하는 노력과 개별의과대학 교육에서의 성과바탕 교육과정 개발 노력이 서로에게 영향을 주면서 발전되어 왔음에 주목하여 나라와 기관, 학교의 수준에서 역사, 특징 및 사례들을 비교하고자 한다.



2. 의학교육기관의 의학교육성과 규정(Table 2)


미국에 있는 The Board of Trustees of the China Medical Board of New York은 의료환경의 변화와 의사를 포함한 의료 자원의 국제간 이동 현상이 점증하는 현상에 주목하여 의사 역량의 국제적인 표준을 만들기 위한 목적으로 1999년 세계의학교육연구소(Institute for International Medical Education)를 설립하고 전세계 의과대학이 공통적으로 달성해야만 하는 최소한의 졸업 성과를 개발하였다[9]. 이러한 국제적인 의사의 최소필수요건(global minimum essential requirements, GMER)7개 영역에 총 60개의 성과항목으로 구성되어 있는데 

전문가적 가치, 태도, 행동 및 윤리 영역에 의사환자관계와 사회책무성 등 11개의 역량, 

의-과학 영역에 기초, 임상 및 사회 의학 등 10개 역량, 

의사소통기술 영역에 환자, 가족, 동료, 대중, 매체와의 소통과 서면보고 및 기록 등 9개 역량, 

임상술기 영역에 진단, 검사, 치료, 예방, 환자교육 및 관리 등 10개 역량, 

보건과 의료체계 영역에는 개인, 지역, 국가, 국제 보건 문제 및 의료체계 등에 관한 9개 역량, 

정보관리 영역에는 의학 및 의료 지식 정보의 획득과 운용 등 5개 역량, 마지막으로 

비판적 사고와 연구 영에는 의료 및 의학 정보분석과 적용, 연구지향적 태도, 문제해결 등 6개 역량을 제시하였다[10]. 

이 GMER은 중국의 몇 의과대학에서 시험 적용하는 단계를 가졌으며 이어서 셋째 단계인 국제적인 확산을 목표로하고 있다[11].

미국의과대학협의회(American Association of Medical Colleges, AAMC)는 1984년 General Professional Education of the Physician (GPEP)보고서에서, 의과대학 졸업 시 지식, 술기, 가치 및 태도에 관한 기대 목표를 교육 과정에 적용하도록 권장하고 의과대학 인증위원회(LCME)를 통하여 인증 기준에 추가하도록 하였으며 또한 1998년에 발간한 의과대학 학습목표 개발지침서인 Medical School Objectives Program에서 의과대학 졸업성과를..

이타적이고(altruistic), 

지식을 갖추고(knowledgeable), 

능숙한 술기(skillful)와 

의무를 준수할 수 있는(dutiful), 

총 4가지 영역으로 구분하였는데 각 영역별로 7개, 6개, 11개와 6개의 성과 항목을 의과대학 졸업 전에 학생이 보여줘야만 하는 역량으로 기술하였다[12]. 


영국에서는 의과대학의 교육에도 밀접하게 관여하고 있는 GMC에서 1993년 Tomorrow’s Doctor (TD)를 발표하여 이를 영국 내 의과대학에 성과 중심의 학습목표로 적용하도록 하였다. 이후 TD는 영국의 GMC 등록의사들의 역량을 규정한 GMP와 연계하여 2003년과 2009년에 개정을 하였는데 마지막 개정판에서는 의과대학 졸업 성과를 3영역으로 구분하여 

졸업성과-1은 의과학자로서의 의사 영역으로 기초-임상-사회의학의 지식과 원리, 공중보건체계, 연구 등에 관련한 역량을, 

졸업성과-2는 진료 행위자로서의 의사 영역으로 환자의뢰, 진단, 관리, 환자와의 소통, 응급처치, 처방, 환자안전, 정보이용등에 관련한 역량을, 

졸업성과-3은 전문인으로서의 의사 영역으로 윤리와 법적 원리, 성찰과 교수-학습, 다직종간의 협력, 환자보호와 진료능력 향상 등에 관련한 역량들을 구체적으로 나열하였다[13].





역량, 티백모델, 시대의 종말

Competencies, the tea bag model, and the end of time

LINDA S. SNELL1 & JASON R. FRANK2

1Office of Education, Royal College of Physicians and Surgeons of Canada, and McGill University Centre for Medical Education & Department of Medicine, Canada, 2Office of Education, Royal College of Physicians and Surgeons of Canada and University of Ottawa Department of Emergency Medicine, Canada


[[[[[






요즘, 적어도 의학교육자들 사이에서는, 티백과 역량에 관한 이야기들이 많다. "의학교육의 티백 모델"이라는 별칭이, 학생들이 얼마나 많은 시간을 - 배우는 것도 별로 없이 - 특정한 상황에 파묻혀 지내는가에 대한 불만을 보여주는 것이라면 이는 요즘 의학교육의 가장 중요한 이슈에 대한 것이기도 하다. "모든 졸업생이 충분한 역량을 갖췄는지를 어떻게 확인할 수 있는가? 이 문제를 해결하기 위해서 전 세계적으로 의학교육의 "competency frameworks"를 도입하기 시작했다. 그 결과는 구조과 절차를 기반으로 한 모델에서 결과(성과)를 기반으로 한 모델로 옮겨가는 것이었고 새로운 용어, 논쟁, 토론이 이어졌다. 어떤 사람들은 CBME에 대해서 '역량의 압제'라며 개탄하며 '역량바탕접근'의 내제적 한계와 이로인해 생기는 갈등을 설명하기도 했다.

Talk of tea bags and of competencies is much in the air these days, at least among medical educators. If epithets such as the “tea bag model of medical education” reflect dissatisfaction with approaches that emphasize how much time learners spend immersed in a certain context, as opposed to what they actually learn there, they also speak to one of the most pressing issues in medical education today: How do we ensure that all of our graduates are competent? To address this challenge, many jurisdictions around the globe have adopted “competency frameworks” for medical education. The resultant movement from structure- and process-based models to an outcomes-based approach has, in turn, given rise to jargon, controversy, and debate. Some have spoken out against the emerging paradigm of competency-based medical education (CBME), deploring “the tyranny of competency” (Brooks 2009) and emphasizing what they view as the inherent constraints and conflicts of a competency-based approach (Reeves et al. 2009).


Medical Teacher는 이번 이슈에서 CBME와 이를 둘러싼 담론을 다루고자 한다. 

Medical Teacher has devoted this issue to the discourse around CBME and its implications for all of us who are engaged in educating health professionals. The papers in this theme issue have been authored by the International CBME Collaborators,1 a unique partnership of interested scholars, practitioners, educators, curriculum planners, and teachers from four continents who came together in mid-2009 to consider the concepts and controversies in this widely debated topic.


의학교육에 대한 담론이 출간되기 시작한 것은 20세기 초반이었지만, CBME에 대해서는 다양한 부류의 담론이 있어왔다. 이번 호에서 CBME의 다양한 측면을 보는 일련의 논문을 실었다. 

Although the published discourse on medical education stretches back to the early 20th century, CBME is experiencing a resurgence of sorts. In this issue, a series of papers explores different aspects of CBME from varied perspectives. 

In a systematic review of the literature Frank and colleagues review published definitions, identify common themes, and propose a definition to stimulate dialogue. The introductory theory-to-practice paper (Frank & Snell) describes the results of an international collaboration that identified controversies, proposed consensus definitions of key terms, described the benefits and challenges of competency-based approaches, and explored future directions. These concepts are applied across the continuum of medical education in papers describing implementation, challenges, and approaches at the level of undergraduate education (Harris et al.), postgraduate training (Iobst et al.), and practice, where CBME may foster a progression from competence to excellence (Campbell et al.). Theoretical background from the learning sciences is provided by Swing to form a foundation for further thought, and a paper by ten Cate and colleagues introduces the concept of “entrustable professional activities” and explores the idea of “competencies in context.” No issue describing a new curricular paradigm would be complete without giving attention to assessment and faculty development. Holmboe and co-authors address issues surrounding assessment, emphasizing the need for robust and multi-faceted assessment systems and evaluation methods. A paper on faculty development by Dath and Iobst describes the challenges of ensuring that faculty understand the concepts of CBME and are comfortable teaching in this context, and suggests solutions at the level of the medical teacher and of the institution. Finally, a paper on policy by Taber and co-authors acknowledges that CBME is not solely a curriculum model that will be used by educators, but will have an impact on and be shaped by the institutions and systems where it is implemented.



이 각각의 논문들로부터 공통의 주제를 이끌어내보면 다음과 같다.

Although each of these papers can be read as a “stand-alone” treatment of its topic, some common themes – including the challenges posed by CBME – emerge:


    • 역량의 규정을 위한 명확하게 정의된 절차가 있어야 한다.
    • CBME는 학습 과정에서의 자기주도성을 촉진하지만 특정 역량을 지정하거나 정의하지는 않는다. 따라서 학습자는 한 CBME모델에서 어떻게 학습할 것인가에 대한 더 큰 수준의 자유를 가지며, 반면 역량이 성문화(codified)될수록 어떤 것을 배울 것인가에 대한 자유도는 감소한다.
    • "역량"은 학습목표의 나열과는 다르며 환원주의적 작업도 아니다. 역량은 의료의 지식, 술기, 행동을 통합을 필요로 하는 광범위한 목표이다.
    • CBME는 시수를 기준으로 한 학습을 강조하지 않으며, 이것이 수련 기간을 감소시키는 결과로 이어질지는 두고 볼 일이다.
    • 여전히 교수자와 학습자와 행정가들의 이해와 수용, 동의가 불완전하다.
    • CBME는 교수 학습 과정, CBME실행의 가능성, 평가를 둘러싼 이슈 등에 대해 상당한 도전을 불러일으켰다.
    • CBME를 현장에서 사용하는 사람들의 입장에서 실행과 관련한 현실적인 이슈가 이론적 잇점보다 중요하다.
    • '순수한' CBME를 설계하고 실행하는 것에 주요한 문제가 있다면 적어도 초반에는 '하이브리드' 버전을 활용할 수 있다.
    • CBME의 전제는 성과에 초점을 두고 졸업생의 역량을 확실하게 하는 것이다.

    • There is a need to establish a clearly defined process for delineating the competencies.
    • CBME promotes self-direction for the learning process, but not necessarily for the designation or definition of specific competencies. Thus, although learners will have more freedom to decide how to learn in a CBME model, they may have less freedom in deciding what to learn as competencies become codified.
    • “Competence” does not equal a list of learning objectives or reductionist tasks; it is a broad objective that necessitates an integration of knowledge, skills, and behaviours in practice.
    • CBME will lead to a decreased emphasis on time-based learning; whether this also leads to shorter training times remains to be seen.
    • There is as yet an incomplete understanding, acceptance, and buy-in by teachers, learners, and educational administrators.
    • CBME presents challenges in the areas of the teaching and learning process, the feasibility of implementation, and issues around assessment.
    • For the on-the-ground “users” of CBME (teachers, curriculum planners, and learners), practical issues of implementation may seem to outweigh the theoretical advantages.
    • These major challenges to designing and implementing CBME in its “pure” state mean that “hybrid” versions will be tried, at least initially.
    • The compelling promise of CBME lies in its focus on outcomes and on ensuring the competence of graduates.



Overall, the papers in this theme issue suggest that, despite criticism and challenges to implementation, CBME is an attractive direction for health professions education. As with all new ideas, there will be resistance to change. Evidence of success of some early programs might quell the fears of those who oppose these concepts and encourage further developments.



From a conceptual standpoint, CBME offers great promise as a means of addressing the needs of society, assuring competent practitioners, and emphasizing the acquisition of skills, attitudes, and knowledge and their application to real-world practice. However, to be implemented successfully, CBME must be understandable, feasible, easy to teach and to learn in, and evaluable. Although we do not believe that the wide implementation of time-free curricula is possible tomorrow, we hope that the papers in this issue will promote critical debate, encourage the development of innovative curricula, stimulate further scholarship, and advance thought and progressive action to improve the effectiveness of medical education around the world.





Read More: http://informahealthcare.com/doi/full/10.3109/0142159X.2010.500707





 2010;32(8):629-30. doi: 10.3109/0142159X.2010.500707.

Competencies, the tea bag model, and the end of time.

PMID:

 

20662572

 

[PubMed - indexed for MEDLINE]


기초의학 교육의 활성화 전략

A Strategy to Activate the Basic Science Education in Medical School


양은배, 안덕선1

연세대학교 의과대학 의학교육학과, 1연세대학교 의과대학 생리학교실

Eunbae Yang, Ph.D., Ducksun Ahn1, M.D., Ph.D.

Department of Medical Education, 1Department of Physiology, Yonsei University College of Medicine, Seoul, Korea

책임저자 주소: 안덕선, 120-752, 서울시 서대문구 연세로 50

연세대학교 의과대학 생리학교실

Tel: 02-2228-1707, Fax: 02-393-0203

E-mail: dsahn@yuhs.ac







최근 들어 의과대학 교육의 내실화 또는 활성화를 명분으로 여러 의과대학에서 교육과정을 개편하고 있다. 즉 의과대학 졸업생에 대한 사회의 요구가 ‘실행능력이 있는 의사(performable physician)’로 변화하는 것에 부응하기 위해 의과대학 교육과정을 기존의 ‘과학에 기반한 의사 양성’에서 ‘임상 추론 능력 및 술기 능력을 제고’하는 방향으로 개편하는 추세에 있으며, 이 과정에서 전임상(pre-clinical clerkship) 교육과정에 개편 압력이 집중되었다[1,2]. 이 결과 전통적인 기초의학 교육이 의과대학 교육과정에서 차지하고 있는 비중이 점점 감소되었고, 이는 일선에서 기초의학 교육을 담당하는 교수들의 커다란 반발과 우려를 유발하였다. 즉 기존의 기초의학 교과목을 장기중심의 통합교과목으로 대치하고, 기초의학에 배정되어 있는 시간을 줄이고, 성과중심으로 교육목표 및 과정을 개편하는 일련의 시도들로 인해 의과대학 교육이 ‘역량 있는 의사’를 양성하는 것이 아니라 ‘단순한 의료 기술자’를 양성하고 있다고 우려하고 있다.




1. 기초의학 교육의 목적과 가치는?


이 같은 인식을 바탕으로 전통적인 교실 별 교과목 체제하에서 기초의학 교육은 “학생들이 의학연구의 자세와 방법, 그리고 임상의학을 학습하는데 필요한 인체의 구조와 기능 습득을 목표”로 하였으며, 이를 통해 ‘과학에 기반한 의사 양성 교육(science-based education)’을 담당하여 왔다[6]. 그러나 기초의학 교육을 성공적으로 이수한 많은 학생들이 임상실습 과정에서 환자사례를 해결하는 데 기초의학에서 배운 원리나 개념을 적용하는 일에 많은 어려움을 겪고 있으며, 이의 원인으로 기초의학교육 내용이 임상적 연관성이 결핍되어 있고, 교육내용이 교과별로 분절된 채 통합되어 있지 않으며, 전임상교육(pre-clinical education)이 임상교육(clinical clerkship)과 해리되어 있기 때문이라고 보고하였다[7-9].


이같이 기초의학자들이 기대했던 것과는 달리 기초의학 교육과정에서 습득한 원리나 사고체계가 학생들의 임상추론 능력으로 제대로 연결되지 않는 것은 학습이 일어나는 현상으로 볼 때 일면 당연하다. 즉 인지심리학에서 이미 지적한 바와 같이 지식의 ‘전이(transfer)’ 과정, 즉 하나의 맥락에서 습득한 개념이나 원리를 이용하여 새로운 맥락 상황을 해석하거나 해결하는 것이 쉽게 일어나는 과정이 아니므로[10], 단순히 기초의학의 원리와 개념을 습득하였다 하더라도 이를 이용해서 학생들이 임상 상황이나 문제를 해결하기를 기대한 기존의 기초의학 목표는 그 효용성에 의문이 있다.


맹광호[11]는 ‘21세기 한국 의학교육계획-희망과 도전’라는 논문에서 기초의학 교육의 목표와 방법에 대해 두가지 제안을 하였다. 즉 “기초의학 교육은 의사로서의 정확한 판단 능력과 연구 능력을 함양시키는 것에 목표를 두어야하며”, “임상의학 교육과 기초의학 교육이 연계되어야 한다”라고 제안하였다. 이 같은 맹광호의 제안은 기초의학 교육의 역할과 가치가 “학생들이 제대로 된 임상 추론 및 의사 결정을 내리기 위한 사고 능력 개발에 있다”는 다른 연구자들의 지적과 일치하며[12,13], 의학교육에 대한 사회의 요구를 적절하게 반영하고 있다고 생각한다.




2. 기초의학 교육 목적 달성을 위한 핵심 요소는?


많은 기초의학교수들은 학생들이 기초의학에서 배운 내용을 너무 쉽게, 그리고 너무 빨리 망각한다고 불평하며, 이 같은 망각 정도는 임상실습 과정에서 사용되지 않았을 경우 더욱 현저하게 나타났다[14,15]. 이 같은 단순 기억에 미치는 효과 외에 ‘전이’ 현상에도 임상증례와의 연관성이 뚜렷하게 나타났다. 즉 기초의학의 원리와 개념을 임상상황과 연계하지 않은 상태에서 교육시킨 경우에 비해 임상사례에 기반해서 기초의학을 교육시킨 경우 전이가 발생하는 확률이 5%에서 25%로 증가하였고, 다양한 임상사례를 이용해서 동일한 원리와 개념을 연관 지어 학습시켰을 때 전이의 확률이 더욱 증가한다는 보고[16,17]로 미루어 볼 때, 해당 학문분야에서 중요하게 다뤄지는 지식 정보를 습득하는 것을 목표로 하는 기존의 과목 중심 교육과정에서 탈피하여 맹광호[11]의 제안과 같이 ‘기초의학과 임상의학이 연계된 교육과정’을 새롭게 구성해야 할 것이다.


현재 전세계적으로 기초의학 과목과 임상의학 과목을 통합하는 추세에 있으며[7,15] 우리나라의 경우에도 과거에 비해 통합교과목 체제를 도입한 의과대학의 숫자가 증가하는 추세에 있다[18]. 다만 이런 개편의 방향이 많은 경우 외형적 개정(cosmetic revision), 즉 장기(organ)에 따라 단순히 기초과목 시간과 임상과목 시간을 묶어서 함께 배치하는 정도에 그치고 실질적인 교육 내용이나 교수방법 등의 변화는 미흡하여, 학생들이나 임상교수들은 여전히 기초의학과 임상의학이 분절되어 있다는 불만을 제기하고 있다[2,8]. 즉 통합 교육을 제대로 수행하기 위해선 기존의 학문 중심으로 구성되었던 두개 이상의 과목을 합쳐서 새로운 과목을 구성하는 것으로 끝나는 것이 아니라 지식이나 경험을 학생들에게 의미 있는 형태로 재구성하여 학습자의 성장을 꾀할 수 있어야 한다[19,20]. 따라서 기초 및 임상 과목의 학습목표를 시간적으로 나열하여 교육하는 것이 아니라 임상 맥락에 기반하여 학습 내용을 재조직함으로써 학생들이 기초의학에서 습득한 개념과 원리를 임상 상황에 맞춰 ‘전이’하는 능력을 갖출 수 있도록 하는 질적인 면에서의 통합교육이 이루어져야 한다.


다만 이 과정에서 기초의학 교육이 의과대학 저학년에서만 이루어져야 한다는 기존의 관념에서 벗어나야 할 것이다. 전통적인 교육과정에선 의과대학 저학년에서 기초의학 교육을 시행한 후에 순차적으로 임상의학 교육 및 실습이 이루어지는 선형접근방법(linear approach)을 적용하고 있는데, 이 결과 임상실습 과정에서 학생들의 기초의학 지식의 활용 및 잔류 정도는 매우 미미하게 되었다[14,15]. 위에서 언급한 것처럼 ‘기초의학의 개념과 원리를 이용해서 임상문제를 해결하는 능력을 확보’한다는 기초의학 교육의 목적과 역할을 제대로 달성하기 위해서는 기초의학 교육을 전임상과정(pre-clinical clerkship) 기간에만 국한시킬 것이 아니라 임상실습 과정에도 독립적인 기초의학 학습용 모듈 등을 적용함으로써 의과대학 전 학년에 걸쳐서 기초의학의 교육내용을 유의미한 반복을 통해 지속적으로 교육하여야 한다[12,15]. 이를 통해 학생들의 임상추론 능력이 강화될 수 있을 뿐 아니라 통합교육으로의 변화 과정에서 전 임상교육과정의 기초의학 배정 시간이 감소하고, 교실 별 교과목의 폐지 등으로 인해 기초의학이 홀대 받고 있다고 느꼈던 기초교수들의 부정적 인식 개선에도 기여할 수 있을 것으로 기대한다.



3. 일선 대학의 교육과정 개편과 실행으로부터 얻은 교훈


잘 알려진 바와 같이 어떤 교육이 성과를 얻기 위해선 교육을 구성하는 세가지 요소인 교수, 학생, 그리고 교육과정이 조화를 이루어야 한다[24]. 따라서 기초의학 교육 개편과 이를 통한 기초의학 교육 활성화가 성공적으로 이루어지기 위해서는 교수, 교육과정, 학생의 삼자가 모두 의미있게 변화하여야 할 것이나 현재 기초의학 교육과정을 개편하였거나 혹은 개편하고자 계획하고 있는 경우, 대부분의 노력이 교육과정, 그 자체에만 집중되어 있고, 실제 이의 실행을 직접적으로 담당해야 하는 교수들의 변화를 위한 노력은 상대적으로 미흡하거나 형식적인 시도에 그치는 경우가 많다. 예를 들어 통합교과목의 과목책임교수로 기초의학 교수와 임상의학 교수를 함께 임명하는 제도의 도입으로 그치는 것이 아니라 기초의학 교수들에 대한 지속적인 설명과 설득을 통해 ‘임상문제의 해결과 환자진료에 효과적으로 적용하는 능력 개발’이라는 기초의학 교육 목적에 동의를 구하는 작업이 함께 수반되어야 학습목표와 내용의 실질적인 재조직이 가능할 것으로 생각하며, 새로운 교수법이나 평가 방법 등의 도입 역시 가능하리라 생각된다.








A Strategy to Activate the Basic Science Education in Medical School
기초의학 교육의 활성화 전략

양은배, 안덕선1
연세대학교 의과대학 의학교육학과, 1연세대학교 의과대학 생리학교실
Eunbae Yang, Ph.D., Ducksun Ahn1, M.D., Ph.D.
Department of Medical Education, 1Department of Physiology, Yonsei University College of Medicine, Seoul, Korea

Abstract
The aim of this article is to identify roadblocks prohibiting effective education of medical students in the basic sciences and then propose strategies for designing and implementing a better curriculum in the basic sciences that remove the roadblocks thereby increasing the relevance to students’ clinical experiences in medical training. Traditionally, the medical student experiences basic science education in a setting where there is little or no communication between the basic science and clinical science professors, where basic science content is given with very little clinical context, while clinical training does not enhance understanding of the scientific foundation for clinical practice. Herein, we re-address the purpose of basic science education proposing the concept of ‘transfer’ as a bridge to connect the basic and clinical science education. We also propose a continuing education program for staff development in the successful implementation of these proposals. 


의학교육의 변화 속에 기초의학교육의 방향

동아대학교 의과대학 생리학교실

서덕준







전통적으로, 의과대학에서의 기초의학교육은 의학연구 자세와 방법, 그리고 임상의학을 학습하는 데 필요한 인체의 구조와 기능에 관한 내용을 교육하는 것을 목표로 했었다. 따라서 각 의과대학에서 교육하는 기초의학 내용과 방법 그리고 교육 시기 및 이에 소요되는 강의시간이 거의 일정하였으며 많은 양의 지식 전달에만 치중하였다. 그러나 21세기에는 기초의학교육의 내용과 방법이 수정되어야 한다.


전통적인 기초의학교육은 서로 분절된 교육과정으로 1) 반복, 2) 과부하, 3) 관련성 부족, 4) 통합성 부족, 5) 학습보다 가르치는 것의 강조 등 부정적인 결과를 낳았다. “학생들은 의학(medical science)과 의료(medical practice)를 학습하는 것이지, 결코 그 속에 포함된 해부학, 생리학, 생화학 등의 교과목을 개개의 독립된 학문으로 받아들이는 것은 아니다.” 어떤 의미에서 이것은 연구중심 기능을 강조하여 온 교수들에게는 혁명적인 사고로 받아들일 수 있을 것이다. 의과대학 교육과정이 완전한 통합 또는 문제지향 교육과정(problem- basedlearning, PBL; “무엇을 배울 것인가”보다는 “어떻게 배울 것인가”에 초점을 맞춘 교육과정)을 채택하고 있다 하더라도 기왕에 존재하고 있는 전문학문(-logy)을 부정하지는 않는다. 다만 〇〇학이라는 명칭으로 시간표 전면에 나타나지 않고 의사양성교육에 필요한 최소한의 의학을 학습시키되, 학생들이 이해하고 흥미를 가지고 구체적인 문제를 다루어 가는 사이에 자연적으로 개개 코스의 unit 내에 필요한 학문분야가 통합된 형태로 나타나 학문으로 귀납되도록 하고 있다.


21세기를 맞으며 의학교육의 목표는 환자 진료에 필요한 모든 것을 가르치려고 했던 데서 벗어나, 다양한 덕목을 갖춘 의사를 양성해야 한다. 이를 위해서는 우선 의과대학 교육 과정에서의 생물의학적 지식과 기술교육을 졸업 후 교육을 준비하는 정도로 그 양을 줄여야 한다. 또한 이들 지식과 기술수준도 1차적인 의료문제를 해결하는 수준으로 낮추어야 한다. 이를 위해서는 교과목 중심의 교육보다는 계통적인 교육이 필요하다. 또한 새롭게 변화하고 증가하는 의료지식을 능동적으로 평생 공부하고 습득하는 의사를 양성하는 방향으로 변화되어야 한다.


또한 의사들은 질병 발생의 기초의학적인 지식 외에도 질병을 유발시키거나 악화시키는 행동인자, 사회적 요인, 사회문화적 배경을 이해해야 할 것이며, 이를 위해서 행동과학, 사회의학, 질병역학, 생물통계학 등의 새로운 분야에 대한 지식도 필요하게 될 것이다.

이러한 변화에 대응하기 위해서는 의학지식의 전달만으로는 학생들 자신들이 지식을 얻는 방법이나 창의력을 키워주지 못하기 때문에 학생들이 독자적으로 공부하고 문제를 해결할 수 있는 교육과정을 기초의학 교육과정에서부터 도입해야 한다. 또한 기초의학교육은 기초의학 총론 및 기관별, 주제별 통합 개념으로 임상의학과 연계하되 임상의학 내용 이해를 위한 것에 중점을 두어야 한다.

이와 같이 기초의학 교육과정의 변화는 21세기 의학교육발전과 관련해서 다른 어느 분야보다 두드러지게 변화할 것으로 예상된다. 이에 2000년 한국의과대학장협의회에서는 ‘21세기 한국 의학교육 계획(21세기 한국 의사상)’을 통해 다음 세 가지를 제안하였다.


1. 기초의학교육은 의사로서의 정확한 판단능력과 연구능력을 함양시키는 것을 목표로 해야 한다.

의사는 자신이 알고 있는 의학지식을 폭넓게 응용할 수 있어야 하는데, 이러한 응용력은 반드시 과학적 배경과 생물학적 기전 이해를 바탕으로 발휘되어야 한다. 또한 실수를 범해서는 안 되는 의사는 질병의 진단과 치료과정에서 치밀함과 정확성을 기해야 한다.


일차적인 의사 양성을 목표로 한 기초의학교육은 생물학적 사실에 관한 지식을 단순히 전달하기보다는, 생명현상에 관한 원리를 체계적이고 과학적으로 파악할 수 있게끔 유도함으로써 논리적 문제해결능력을 증진시켜야 한다. 또한 기초의학 실습을 통해서는 객관성 있는 연구 결과를 얻고자 하는 연구 자세와 연구 결과를 응용할 수 있는 능력을 키워주어, 질병을 진단하고 치료하는 과정에서 필요한 판단 능력과 응용력을 함양시켜 주어야 한다. 당장 임상의학에 도움이 될 것 같지 않은 기초의학 지식 습득과 실험 실습 과정이 의학교육 과정에 빠질 수 없는 것은 바로 이 때문이다.


의과대학의 학습 목표가 진료능력 위주로 설정되고 인턴제폐지에 따른 임상실습 시간 강화 및 기간을 늘림과 성급한 서브 인턴의 도입으로 인해 기초의학 교육시간이 감소하는 임상중심의 새로운 교육과정 개발로 기초의학교육에 대한 관심이 상대적으로 줄어들게 되었다. 그러나 기초의학은 그 학습방법이 바뀌어갈 뿐 기본 내용이 갖는 중요성은 결코 감소될 수가 없는 것이다.


이러한 교육 변화에 대한 기초의학교육 확충 방안으로 의예과와 의학과의 2단계로 구분된 현 교육과정 대신 의예과 교육의 어려움과 비효율성을 인정하여 6년제 통합교육과정을 선택하는 방법도 생각해 볼 수 있을 것이다.



2. 기초의학교육은 임상의학교육과 연계되어 실시되어야 한다.

지금까지 주로 강의에만 의존하던 교육 방법을 지양하고, 실습이나 컴퓨터를 활용한 교육 등을 통해 자율학습의 기회를 넓혀 독자적인 학습 태도와 문제해결 능력을 함양시켜야한다. 또한 교육 내용을 임상의학과 연계하여 실제적 임상상황을 이해하는 데 도움이 되는 방향으로 발전해 가야 한다.


현재까지 대다수 의과대학에서의 교육은 학생에게 방대한 양의 지식을 암기하도록 요구하고 또 이를 평가하고 있는 것이 현실이다. 그러나 날로 증가하고 있는 의학지식 전부를 학생들에게 가르치는 것은 불가능하며, 이들 지식 모두가 실제임상에서 활용되고 있지도 않을 뿐더러 컴퓨터의 발달로 암기의 중요성이 점차 감소되고 있다.


또한, 현재 대부분의 의과대학 기초의학교육은 전통적으로 교실의 영향력에 따라 배정되어온 강의 시간 수에 맞추어 또는 교과목을 운영하는 담당교수 중심으로 편성되어 있다. 따라서 기초의학과 임상의학 간뿐만 아니라 기초의학 간에도 교육과정의 연계가 이루어지지 않아 학생들이 분절화되고 단편적인 의학지식을 수용할 수밖에 없었다. 이를 보완하기 위해서는 우선 교육과정을 학습자 중심으로 전환하고, 교육 목표에 가장 효과적으로 도달할 수 있는 방법을 모색하여야 한다. 교수의 연구 중심으로 편성된 교실 중심 교육체계로부터 학습자 중심의 주제별/장기별 기초-임상 통합교육과정의 강화 또는 PBL 과정의 도입이 필요하다.


일차진료의사 혹은 전문의가 알아야 할 기초의학지식과 기초의학을 전공하는 사람이 알아야 할 지식 간에는 분명한 차이가 있다. 대다수의 학생들이 졸업 후 기초의학이 아닌 임상의학을 전공하므로 기초의학 교육내용은 실제 임상에 많이 응용될 수 있어야 한다. 나아가 이러한 기초의학 교육과정에서의 기초-임상 간 연계는 졸업 후 연구에까지 이어질 수도 있을 것이다.



3. 기초의학교육 및 연구 발전을 위하여 별도의 기초의학자 양성 프로그램을 운영해야 한다.

기초-임상 연계 교육과정의 보편화는 의과대학 기초의학분야의 교육과 연구기능 분리를 더욱 가속화하고 두 기능의 전문화를 촉진하여, 의학교육에서 기초의학이 차지하는 비중이 예전 같지 않다고는 해도 인체를 알고 병을 알아야 정확한 목표를 통해 연구를 진행 할 수 있기에 기초의학교육이 중요한 것은 말할 것도 없다. 또한 대학 간, 국가 간 생명과학 분야 경쟁에 있어서도 기초의학 분야 연구가 중요한 것은 두말할 나위도 없는 일이다.


따라서 의과대학들은 새로운 기초의학 교육과정을 발전시키는 일 이외도 기초의학 연구를 발전시키기 위한 장기적 계획을 세워야 하며, 이를 위해서는 MD-PhD 프로그램 같은 기초의학 내지 기초과학자 양성 프로그램을 만들어 운영하지 않으면 안 될 것이다.


행정 당국은 교수의 능력을 주로 연구업적 중심으로 평가하여 교수들이 교육에는 소홀하게 되었다. 대학에서는 교육도 매우 중요한 부분으로 이에 교육영역 업적을 중요하게 인정하는 교수업적 평가가 이루어지도록 하여 교수들의 교육에 대한 관심을 유도하여야 할 것이다.










Korean J Med Educ > Volume 25(2); 2013 > Article

© The Korean Society of Medical Education. All rights reserved.

교육과정 통합의 열한 단계 -교육과정 기획과 평가의 도구로서-

The integration ladder: a tool for curriculum planning and evaluation

Ronald M Harden







Eleven steps in the ladder

The integration ladder is shown in Fig. 1. It has 11 steps from subject-based to integrated teaching and learning. The ladder builds on previous descriptions or models of integrated curricula, notably the work of Jacobs,6 Fogarty7 and Drake.8 

    • In the first four steps on the ladder, the emphasis is on the subjects or disciplines. 
    • Moving up the ladder, the following six steps emphasize integration across several disciplines. 
    • In the final step, the student takes more responsibility for the integration and is given the tools to do so.







Step 1 Isolation (고립)

(Synonym – fragmentation, anarchy)


The first step is ‘isolation’. Departments or subject specialists (represented by squares in the diagram) organize their teaching without consideration of other subjects or disciplines. Each discipline looks, from the perspective of their own discipline, at the curriculum content in terms of areas to be covered, depth of coverage, sequence and timing. No attention is paid to other, or related subjects which contribute to the curriculum.


The slots in the timetable are labelled with the name of the subject, which is taught by specialists in the discipline. Each subject is seen as an entity in itself. The objectives are seen as mastery of the subject and these are tested in a subject-based assessment of the student’s knowledge and understanding of the subject. The relationships between subjects are not explicitly covered and related topics from two disciplines are not intentionally correlated.


This ‘isolation’ approach may be found in the traditional medical curriculum with blocks of time allocated to the individual disciplines. Students attend a lecture on anatomy, and then move on to a lecture in physiology with neither lecturer being aware of what was covered in the other lecture.





Step 2 Awareness (인지)


The second step is ‘awareness’. As with ‘isolation’, the teaching is subject-based. Some mechanisms are in place, however, whereby the teacher in one subject is made aware of what is covered in other subjects in the curriculum. This can be achieved through appropriate documentation and communication about the aims and objectives of each course and the content and topics covered in lectures and other teaching sessions.


Lecture notes or handouts may be circulated to other course teachers as well as to students. Given this information, the teacher can take account of what colleagues cover in other parts of the course when planning his or her teaching, avoiding unnecessary duplication or redundancy and cross-referring, where appropriate, to other parts of the course. At this step, however, there is no explicit attempt to help the student to take an integrated view of the subject.








Step 3 Harmonization (조화)

(Synonym – connection, consultation)


In harmonization, teachers responsible for different courses, or different parts of the same course, consult each other and communicate about their courses. The consultation process takes place through informal discussions between teachers or through more formal curriculum planning committees and meetings. The consultation may involve individual teachers or groups of teachers. The process of consultation may be overseen by a member of staff who has some overall responsibility for the curriculum and who has, as his or her remit, the facilitation or organization of discussion between teachers from different subjects. This consultation process encourages teachers to adapt their programmes so that each course makes an appropriate contribution to the curriculum and the overall curriculum objectives are more likely to be achieved.


Fogarty7 has described this stage of integration as ‘connection’. The disciplines remain separate but the teacher may make explicit connections within the subject area to other subject areas – connecting topics in one session to later or earlier sessions. ‘The key to this model’ suggests Fogarty ‘is the effort to deliberately relate curricula within the discipline rather than assuming that students will understand the connections automatically.’







Step 4 Nesting (내포화)

(Synonym – infusion)


Nesting’ is the fourth step of integration. It has been used by Fogarty7 to describe an integrated approach where the teacher targets, within a subject-based course, skills relating to other subjects. Content drawn from different subjects in the curriculum may be used to enrich the teaching of one subject. The term ‘infusion’ has also been applied to this stage of integration where teachers ‘analyse the separate subject’s goals and identify ways in which these generic skills can be refined into existing subjects’.9


An example of nesting is a pathology course which introduces aspects of clinical medicine to demonstrate the application of pathological principles, and where students develop problem-solving skills. Another example is the integration of health promotion and disease prevention into a number of major courses in the curriculum.10 This created an environment in which students could experience their learning about disease prevention in the same manner that they should practice it – integrated throughout clinical medicine. It also avoided the necessity of addressing yet another isolated course to an already crowded curriculum.


In nesting, the individual subjects or disciplines recognize the broader curriculum outcomes and relate their teaching programme to these.11 They may do this by arranging content specific inputs from other parts of the course into the subject’s teaching programme, and by recognizing the generic competencies, such as communication and problem-solving skills, to be acquired in the programme. The teaching, however, remains subject-based and the course is the responsibility of and in the control of the subject or discipline.









Step 5 Temporal co-ordination (수업 시간 배치 조율)

(Synonym – parallel teaching, concurrent teaching)


In temporal co-ordination, each subject remains responsible for it’s own teaching programme. The timing of the teaching of topics within a subject, however, is done in consultation with other disciplines. The timetable is adjusted so that topics within the subjects or disciplines which are related, are scheduled at the same time. Similar topics are taught on the same day or week while remaining part of a subject-based teaching programme. Students study the concepts of the different subjects separately, and are left themselves to uncover the relationships. This approach has been described also as ‘parallel’ or ‘concurrent’ teaching.


In a basic medical science programme with temporal co-ordination, physiologists address the subject of the function of the heart at the same time as the anatomists look at the structure of the heart. Students are left to make the links between the two subjects but this is facilitated by the timetabling, with the heart being examined from the two perspectives in the same time-frame. In contrast, in a more traditional course, students might study the function of the heart in physiology, while looking at the same time at the structure of the head and neck in the anatomy course.


Programmes described as ‘integrated teaching programmes’ are often, in practice, programmes which are temporally co-ordinated. The implementation of a temporally co-ordinated programme introduces some of the advantages of integrated teaching and is a good stepping off point for a more integrated curriculum.








Step 6 Sharing (공동 운영)

(Synonym – joint teaching)


Two disciplines may agree to plan and jointly implement a teaching programme. The ‘shared planning and teaching takes place in two disciplines in which overlapping concepts or ideas emerge as organising elements’.7 The two disciplines which come together to offer such a programme are usually complementary subjects and the joint course produced emphasizes shared concepts, skills and attitudes. The focus of the course is usually in these shared elements.


An example of a shared programme is a course in community child health run jointly by a department of child health and a department of general practice. Another is a course on behavioural sciences run jointly by the department of psychiatry and the department of public health.


The impetus for shared programmes often comes from the subjects or departments themselves, through the identification of common areas of teaching or the need to include a new topic in the curriculum. The departments appreciate that together they can teach the subject better, more effectively and more efficiently, than either could alone.


Unlike temporal co-ordination which may be a step towards a more fully integrated overall programme, shared programmes are often seen as ends in themselves. They tend to be perceived as special cases which, even if they are successful, are not necessarily examples to be followed in other parts of the curriculum. Occasionally, however, this is not so and a shared programme may be a step towards more complete integration.








Step 7 Correlation (상호 연관짓기)

(Synonym – concomitant programme, democratic programme)


In the ‘correlation’ step of integration, the emphasis remains on disciplines or subjects with subject-based courses taking up most of the curriculum time. Within this framework, an integrated teaching session or course is introduced in addition to the subject-based teaching. This session brings together areas of interest common to each of the subjects.


An example of correlation is a basic medical science programme where students study topics, such as the gastrointestinal system first from the perspective of each of the subjects, and then meet on Friday afternoons for an integrated session. In this session, the discussion may focus round a patient who illustrates aspects of normal structure and function considered during the week. The contributions of the different subjects are used to illuminate the problem. Another example of correlation is a subject-based programme in which the project or assignment given to students, is designed to integrate the subjects. The students may be required to submit a written assignment or to present a report on the project at an integrated plenary session.








Step 8 Complementary programme (보조적 프로그램)

(Synonym – mixed programmes)


The ‘complementary’ approach has both subject-based and integrated teaching. The integrated sessions now represent a major feature of the curriculum. These sessions are recognized to be, in terms of time, allocated resources and assessment as important, if not more important, than the subject-based teaching.


The focus for the teaching may be a theme or topic to which the disciplines can contribute. This is discussed further in the following sections. Running alongside the integrated teaching are scheduled opportunities for subject-based teaching.


The implications of the approach for assessment are important. Examinations need to reflect the emphasis on both integration and subjects or disciplines.








Step 9 Multi-disciplinary (다학제)

(Synonym – webbed, contributory)


A multidisciplinary approach brings together a number of subject areas in a single course with themes, problems, topics or issues as the focus for the students’ learning. The themes selected as the focus in an integrated course may function in different ways.12


The themes can delineate an area in which practical decisions have to be made and which serve as a focal point of interdisciplinary thinking. Problems and the tasks to be undertaken by the professional may also be used as a focus for integrated teaching. The task may be the management of a patient with abdominal pain, screening for diabetes or the mounting of a coronary artery disease prevention programme. In task-based learning,13 the learning is concerned not only with mastery of the tasks but with learning related to the tasks, including an understanding of the relevant basic and applied medical sciences. A course for teachers of healthcare professionals, at the Institute of Public Health in Malaysia, covers educational theory including curriculum planning, assessment, learning theory and instructional design. This theory is taught in an integrated manner round the practical tasks which will confront the teacher on completion of the course. These include small group teaching, lecturing and teaching practical skills.


The theme in a multidisciplinary programme may be a structured body of knowledge that needs to be mastered but which transcends subject boundaries. The systems of the body are used frequently as an integrating theme.3 Courses are developed round the cardiovascular system, the respiratory system, the nervous system and so on. 


In the thyroid module of the endocrine system block, for example, 

physiology may contribute to thyroid hormone synthesis and its regulation, 

pathology to the underlying disease processes, 

pharmacology to the action of anti-thyroid drugs, 

surgery to the management of goitre, and 

medicine to the clinical manifestations and investigations of thyroid disease. 

The stages of the life cycle from conception through birth, childhood, adolescence, adulthood, the elderly to death may be used as an alternative to the body systems theme.

Finally, the theme may be a complex of information and skills which are relevant to medicine. Clinical methods, ethics and health promotion are examples.


The characteristic of multidisciplinary integration is that, whatever the nature of the theme, it is viewed through the lens of subjects or disciplines. The theme or problem is the focus for the student’s learning but the disciplines preserve their identity and each demonstrates how their subject contributes to the student’s understanding of the theme or problem. ‘A discipline’, suggested Drake,8‘is easily identifiable within the teaching strategy, and the discreteness of the procedures of the discipline can be kept intact by the teacher who will probably approach the task from her own area of specialisation’. In multidisciplinary teaching, the contributions of the individual disciplines to the theme are stated implicitly in the curriculum documents and the timetables. In the multidisciplinary step on the integration ladder, however, the subjects and disciplines give up a large measure of their own autonomy.


The term ‘webbed’, was used by Fogarty7 to describe this stage of integration. ‘A fertile theme is webbed to curriculum contents, and disciplines or subjects use the theme to sift out appropriate concepts, topics or ideas.’






Step 10 Inter-disciplinary (학제간)

(Synonym – monolithic)


In interdisciplinary integration there is a further shift of emphasis to themes as a focus for the learning of and to the commonalties across the disciplines or subjects as they relate to the theme. Jarvis14 defines interdisciplinary as ‘a study of a phenomenon that involves the use of two or more academic disciplines simultaneously’. In the taxonomy proposed in this paper, interdisciplinary teaching implies a higher level of integration, with the content of all or most subjects combined into a new course with a new menu.15 In the interdisciplinary course there may be no reference to individual disciplines or subjects, and subjects are not identified as such in the timetable.


Implicit in the move from a multidisciplinary to an interdisciplinary approach may be the loss of the disciplines’ perspectives.







Step 11 Trans-disciplinary 

(Synonym – fusion, immersion, authentic)


Alfred North Whitehead wrote in 1929 ‘The solution which I am arguing is to eradicate the fatal disconnection of subjects which kills the vitality of our modern curriculum. There is only one subject-matter for education, and that is Life in all its manifestations.’ In trans-disciplinary, as in interdisciplinary integration, the curriculum transcends the individual disciplines. The focus with trans-disciplinary integration for learning, however, is not a theme or topic selected for this purpose, but the field of knowledge as exemplified in the real world. The teacher provides a structure or framework of learning opportunities, but the integration is done in the mind of the student, based on hi-fidelity situations in the real world of clinical care.


Trans-disciplinary education is reflected in learning described by McCombs17 as ‘an individual process of constructing meaning from information and experience, filtered through each individual’s unique perceptions, thoughts and feelings.’


An example of trans-disciplinary integration is the final phase of the medical curriculum at Dundee

The curriculum in the first three years of the students’ studies is integrated round the body systems.18 In the last two years, students are attached for periods of time to a range of specialties in the hospital and in the community and experience the various contexts in which medicine is practised. 

      • A set of 113 clinical problems or tasks provides the students with a framework for integrating their experiences.19 
      • Students look at each of the tasks from the perspective of the different attachments. 
        • Abdominal pain can be taken as an example. 
          • Students have an acute surgical perspective in their surgical attachment, and different perspectives in the medical attachment, in the gynaecological attachment and in their community attachment in general practice. 
      • A printed or electronic study guide20 is a key element in helping the student with the challenge of integrating these different experiences.


Another example of trans-disciplinary integration is the third year programme of integrated clerkships in ambulatory–care settings at South Dakota.21 

    • The students spend the year attached to clinics staffed by physicians from various specialties. ‘The student is not “on” a given specialty for a block of time; rather the required specialties are simultaneous and integrated throughout the year.’ 
    • Students have the entire year to achieve the course objectives at their own speed and by their own methods.


Thus, in a trans-disciplinary approach the disciplines become part of the learner’s real world experience and through these they filter the broader aims and goals of the integrated curriculum. In this environment, the learner is driven to find out as dictated by the prescribed tasks. This stage of integration has been termed ‘authentic’ integration, reflecting that the learning occurs in the real world. The term ‘fusion’ has also been applied to this stage. As the student learns, he or she integrates internally and intrinsically and completes the mastery of the competencies related to the task. Fogarty7 uses the term ‘immersion’ when ‘disciplines become part of the learner’s experience and through these filter the broader aims and goals’.





Discussion and conclusions


교육과정 통합은 의학교육에서 중요한 전략이지만 복잡한 개념이기도 하다. 

Curriculum integration is an important strategy in medical education but is a complex concept.12 This paper attempts to clarify the concept by presenting a taxonomy which defines 11 steps between the two extremes of subject-based and integrated teaching.


통합의 사다리를 한 단계 올라갈수록 개별 학문의 역할에 대한 강조가 줄어들고, 적절히 자원을 배분할 수 있는 중앙의 교육과정 조직 구조가 필요해지며 staff들의 참여가 더 많아져야 한다.

As one moves up the integration ladder there is less emphasis on the role of the disciplines in the curriculum, an increasing requirement for a central curriculum organizational structure with appropriate resources at its disposal, and a requirement for greater participation by staff in curriculum discussions and planning.


또한 사다리를 올라갈수록 의사소통이 더 중요하며, 다른 과목을 가르치는 교수자간의 협동적 계획이 중요하다. 교육 프로그램의 개요부터 가르치는 순서, 목적과 목표, 세부사항, 평가법 등에 대한 협의가 필요하다.

The higher up one goes on the integration ladder, the more important is the communication and joint planning between teachers from different subjects. Agreement between departments may be required concerning the outline of the teaching programme, the sequence of the teaching, the aims and objectives of the programme, the details relating to content and the method of student assessment.


시간표나 syllabus는 교육과정 통합이 어느 정도로 이뤄졌는지 보여주는 지표이며, 통합의 수준이 높을수록 개별 학문은 덜 강조된다.

The published timetable or syllabus will usually give an indication of the level of integration in the curriculum. The higher the level of integration, the less prominence will be given to disciplines.


통합의 사다리는 의학을 가르치는 교수들이나 의학교육자들에게 다양한 상황에서 도움이 될 것이다. 교수자들은 통합의 가치에 대해서는 동의하면서도 그 균형을 어디에 둘 것인가에 대해서는 의견이 다를 수 있다. 다양한 범위의 옵션을 제공하는 것은 논쟁이 과열되는 것을 막을 수 있다. 통합의 사다리는 선택의 다양한 메뉴를 제공함으로써 교수들로 하여금 교육과정에 가장 적합한 범위나 형태의 통합을 찾아낼 수 있도록 도와준다. 

The ‘integration ladder’ is a useful tool for the medical teacher or educator and can help in a number of situations. Teachers may agree about the value of integration, but may differ in their views as to the optimum balance between integrated and subject-based teaching. The demonstration of the range of options helps to avoid a polarization in the debate. The ‘integration ladder’, by setting out the menu of choices, encourages teachers to explore the integration options available and to discuss the extent or form of integration most appropriate in the curriculum. Such informed decision making is preferable to a debate, usually sterile, as to whether the curriculum should be integrated or not.


한 의과대학에 있어서 통합의 사다리에서 가장 적절한 단계가 어디인지는 다양한 요인에 영향을 받을 것이다. 전통적인 학문중심의 교육과정에서 통합 교육과정으로 옮겨가는 것은 상당한 변화이다. 그 대안으로서 correlated teaching approach를 사용하여 소수의 통합된 주제를 중심으로 작고 관리가 가능한 것부터 시작해 볼 수도 있다.

The most appropriate step on the integration ladder for a school will depend on many factors, including the existing curriculum, the experience and views of the teachers, the organizational structure of the medical school, and the overall aims of the curriculum. The move from a traditional subject-based to an integrated curriculum may involve major changes. Alternatively, one can start with something small and manageable such as a few integrated themes using a correlated teaching approach.22


교육과정 계획 외에도 통합의 사다리는 교육과정 평가와 통합의 정도를 평가하기 위하여 사용할 수도 있다.

In addition to its use in curriculum planning, the integration ladder may also be used as a tool to assist curriculum evaluation and to evaluate the level of integration in a curriculum.





 2000 Jul;34(7):551-7.

The integration ladder: a tool for curriculum planning and evaluation.

Abstract

Integration has been accepted as an important educational strategy in medical education. Discussions about integration, however, are often polarized with some teachers in favour and others against integrated teaching. This paper describes 11 points on a continuum between the two extremes. * Isolation * Awareness * Harmonization * Nesting * Temporal co-ordination * Sharing * Correlation * Complementary * Multi-disciplinary * Inter-disciplinary * Trans-disciplinary As one moves up the ladder, there is less emphasis on the role of disciplines, an increasing requirement for a centralcurriculum, organizational structure and a requirement for greater participation by staff in curriculum discussions and planning. The integration ladderis a useful tool for the medical teacher and can be used as an aid in planning, implementing and evaluating the medical curriculum.

PMID:

 

10886638

 

[PubMed - indexed for MEDLINE]


프로그램 평가의 구조: 교과목, 임상실습, 전공의 또는 펠로우 수련 프로그램 평가

The Structure of Program Evaluation: An Approach for Evaluating a Course, Clerkship, or Components of a Residency or Fellowship Training Program

Steven J. Durning a , Paul Hemmer a & Louis N. Pangaro a 

a Department of Medicine , Uniformed Services University of the Health Sciences , Bethesda, Maryland, USA



교과목, 임상실습, 전공의수련 관리자들은 개별 수련자(trainee)들이 교육 목적을 달성했는지 뿐만 아니라 그 프로그램 자체의 질도 담보할 수 있어야 한다. "프로그램 평가"란 개별 수련자들의 정보를 모으는 것을 넘어서 관리자로 하여금 다양한 요인과 성과 지표를 역동적, 지속적으로 평가하도록 한다.

Directors of courses, clerkships, and residencies are responsible not only for determining whether individual trainees have met educational goals but also for ensuring the quality of the training program itself. This “program evaluation” is more than the aggregate of individual trainee data; it requires academic directors to employ a dynamic, longitudinal evaluation process that tracks multiple contributing factors and outcome measurements.


Academic director가 프로그램 평가에 대한 프레임워크를 가지고 있어야 한다는 점은 자명하다.

The desirability and necessity for academic directors to have a framework for program evaluation is evident ...

      • ACGME
      • LCME


논문의 목표

The purpose of this article is to discuss a framework for program evaluation that has sufficient rigor to satisfy accreditation expectations and still be flexible and responsive to the uniqueness of individual educational programs. (...) Our intent is to demonstrate how practical our framework can be for conducting program evaluation in medical education training programs. (...)


이 프레임워크는 baseline, process, product의 역할을 강조하고 있으며, 프로그램의 성공을 판단하는데 있어서 양적과 질적 정보를 모두 강조하고 있다. 또한 최근 ACGME에서 "outcome"을 강조하고 있으나, 우리는 'process'지표도 강조하고자 한다. 왜냐하면 많은 성과지표는 신롸도와 타당도에서 확실하지 않기 때문이며, 또한 성과라는 것은 궁극적으로는 절차(process)를 정교하게 하기 위해서 필요하기 때문이다. 마지막으로 baseline 측정을 강조하고자 하는데, 이는 성과가 수련자에 따라서가 아니라 프로그램에 의해서 얼마나 바뀌었는지를 확인하고자 함이다.

The proposed framework emphasizes the role of baseline, process, and product (outcome) information, both quantitative and qualitative, for describing program “success.” (...) Nevertheless, despite the recent emphasis of the ACGME on “outcomes,” we emphasize the importance of process measurements (such as the number and kinds of patients seen during training and the level of proficiency obtained), as many available outcome measurements have uncertain reliability and validity and because, eventually, the outcomes should be used to refine the curricular process. (...) Finally, we advocate for the inclusion of baseline measurements, which may allow us to determine how much of an eventual outcome depends on the curriculum, as opposed to the prior characteristics of trainees.




프로그램 평가의 과업 정의하기

Defining the Task of Program Evaluation


프로그램평가에서의 "성공"이란?

In this article, we define “success” for program evaluation (PEv) as achieving information that can relate “inputs” to “outputs” and therefore be used to help understand sources of success or failure. (...) In other words, our goal is to understand how the program is working rather than simple classification of graduates (e.g., competent or not competent).


프로그램평가는 특정 프로그램의 '성공'이 무엇인지를 정하고 시작해야 함. 최소 yes/no 형태로 답할 수 있어야하며, 가능하다면 성공의 정도를 묘사할 수 있어야 한다. 어떤 경우든 목표와 기대치가 분명하고 구체적이어야 하며 실질적이어야 한다. 또한 성공의 일부 지표는 외부(LCME, ACGME)에 의해서 정의되기도 한다.

PEv should begin with a definition of success for the specific program. It is not sufficient to say that “good patient care” or “patient safety” is the goal. The description of success must be construed with sufficiently precise words to allow, at a minimum, the determination of whether success has been met, in a dichotomous yes/no fashion. If possible, it is also desirable to describe degrees of success. In either case, these goals and expectations should be clear, specific, and tangible. (...) However, we all recognize that demonstrating success is often defined externally, by accrediting bodies such as the LCME or ACGME. (...)


목적을 열거한 후에는 목표를 설정해야 한다.

After listing goals, objectives should be constructed for determining success in achieving the goals. (...)


그러나 성공을 정의하는 것은 첫 단계일 뿐이며, 어떻게 그 질문에 답할 것인가를 이해하는 것은 더 어렵다. 교육 프로그램에 대한 총체적인 평가에 대한 문헌이 많지 않다.

However, defining success is only the first step; understanding how to approach the question is more difficult. We have found that relatively little practical guidance exists for systematic evaluation of educational programs; the limited guidance that does exist is restricted to graduate medical education arena. 8 , 9 , 10 Indeed, the research pertaining to program evaluation in medical education is less developed than other educational fields and is largely descriptive. 11 (...)





프로그램평가 프레임워크

PEv Framework Overview


세 단계의 평가를 해야 한다.

We advocate a three-phase framework for program evaluation. This framework allows for establishing relationships among baseline, process, and product measurements—Before, During, and After.(...) All of these measurements have often been based on what the graduate does under testing circumstances (such in vitro measurements would include licensure or certifying examinations), but we also want to include in vivo observations such as what trainees do in patient care and graduates do in their practice.

      • Before (baseline) measurements are necessary to determine “how learners change,” and they are especially important to determine the effect of curriculum as opposed to selection of trainees. (...)
      • During (process) measurements are those that monitor the activities of learners during the training program (Table 2). These measurements are often collected prospectively, that is, in real time. (...) “During” measurements, therefore, need to be prioritized for program evaluation purposes so that response to critical, potentially unexpected, information is not delayed or potentially overlooked.
      • After (product) or outcome measurements, in the clinical research literature are analogous to primary and secondary end points. 
        • Primary end points indicate the overall success of management. (...) 
        • Secondary clinical end points indicate intermediate success or complications. As the majority of outcomes in medical education are as complex as in clinical studies, data gathering should optimally be done through multiple measurements (triangulation). (...)


절차 측정의 중요성을 강조하고자 한다.

It is evident that...

      • we emphasize the importance of process measurements; 
      • we believe that we must not ignore systematic process measurements, or baseline measurements, at the expense of focusing on “outcomes” for several reasons: 
        • Our current outcomes in medical education are imprecise, 
        • process measures are required by regulating bodies (LCME with ED2, ACGME with outcomes project), and 
        • process measurements are indispensable to explaining the variance in the outcomes (products) of interest.


세 단계의 프레임워크에서 다양한 척도가 사용될 수 있다. 양적 질적 평가법이 모두 사용되어야 한다.

A variety of measurements can, and should, be used in this three-phase framework (see Table 2). Both qualitative (descriptive) as well as quantitative (numerical scores) assessments can, and in many cases, should be used for program evaluation 14 as the quantitative measurements alone may overlook important findings that are revealed through qualitative analysis. (...)


이 프레임워크는 기존의 프로그램과 새 프로그램 모두에 적용가능하다.

The basic three-phase structure that we propose for program evaluation readily applies to both existing programs and new programs, curricula, or interventions. (...)


각 단계에서 다양한 측정을 하기 위해서는 상당한 자원이 필요하다. 프로그램평가정보는 다양한 의사결정자에게 제공되어야 한다.

Collecting multiple measurements in each phase of our framework can require significant time and human resources. (...) Indeed, program evaluation information should inform multiple decision makers in the program; if this is not the case, then the utility is too limited. (...)


세단계 프레임워크는 의학교육 연속체의 모든 단계를 걸쳐서 협력을 장려할 수 있다.

In addition, our three-phase framework to program evaluation could foster collaboration across the medical education continuum, as the baseline measurements for a 3rd-year clerkship director may comprise the outcome measurements of a 2nd-year course director and the outcome measurements of a clerkship director can serve as baseline measurements for a residency training program director.






Distinctions and Definitions


평가의 이상적 특징들

Next, we define the desirable attributes for the assessment tools that are placed within the model (the micro level) and afterward the desirable attributes of the overall framework (model) for the macro level. Optimally, a tool for assessing the success of a program, is feasible, reliable, and valid. 


미시적 관점에서..

For our purposes at the micro level, 

      • feasibility means the percentage of possible measurements that are actually obtained and the unit cost per measurement (i.e., cost of printing, mailing, and/or entering survey data); 
      • reliability means the internal consistency of specific assessment tools, and 
      • validity is the confidence that the inferences drawn from the data are true. Thus, in our model, validity will mean that process measurements have a significant, meaningful, predictive association or correlation with outcomes measurements and that outcomes measurements have a similar correspondence with patient outcomes.

거시적 관점에서..

At macro level, academic directors optimally should be able to collect the same set of data the same way for each trainee, at each site, each year to help ensure reliable and valid observations collected for program evaluation purposes. 

      • The overall method for program evaluation must be feasible—measurements must be obtained effectively (method should allow at least 90% of possible observations about trainees, faculty, etc., to be captured each evaluation time), 
      • consistently (observations and ratings are recorded, transferred, and stored without degradation),
      • efficiently (no more than 10% of a course, clerkship, program, or fellowship director's time must be consumed, and no more than 10% of an administrator's time is needed), 
      • economically (cost of program evaluation should be no more than 5% of the operating budget for the course, clerkship, or graduate medical education program), and 
      • securely (trainees are protected from their data being shared, and any risk is minimized).


거시적 관점에서..

At the macro level, this means that each set of measurements (before, during, and after) adequately reflects the construct appropriate to the framework.(...)


프로그램 평가모델이 '타당'하려면, 절차가 성과의 원인이 된다는 논리적 추론이 가능해야 한다.

    • For the program evaluation model to be valid, inferences that the process caused, or contributed to, the desired outcome must be reasonable. The usual standard for causality in clinical medicine is the prospective, randomized, blinded trial. This is difficult to achieve in the educational setting, except for subtotal modifications of the curriculum such as restructuring an individual clerkship or changing a 1-month rotation during residency. 
    • Therefore, validation of our program evaluation model would mean that proposed explanations for how variance in outcomes (skill of our individual graduates, in the aggregate, in taking care of their diabetic patients) was related to specific curricular elements (whether they actually performed the practice-based learning and improvement review of their own care of diabetics) would require two levels of evidence
      • initially statistical demonstration (e.g., through correlation or multiple regression models) and 
      • subsequently improvement in diabetic care given by residents graduating after further modification in their curriculum. The latter has not been published in the literature.



자원과 관리

PEv Resources and Measurements


We think that it is helpful to define essential and desirable resources for program evaluation at the outset, as this can assist with requests for funding as well as facilitate best use of limited resources. (...)



프로그램평가의 실현가능성

PEv Practicalities


Timing—Identifying Problems Early

The appropriate timeline for data collection, analysis, and reporting can differ based on the academic program. (...)


We believe that a robust formative evaluation process, based on “during” or process measurements, is a critical component of successful program evaluation. For example, program information that might cause concern, such as having a sufficient number of patients for each intern, should be collected, analyzed, and reported more frequently than on an annual basis. These concerns might be categorized as red and yellow “flags” (Table 3). (...)



Program Evaluators

- Internal evaluators 

- External evaluators 


Visualization of Goals and Objectives

It is not sufficient to say that “good patient care” or “patient safety” is the goal. The description of success must be construed with sufficiently precise words or quantifiable measurements to allow, at least, the determination of whether success has been met, in a dichotomous yes/no fashion.





한계점

Limitations of the Approach


    • In the three-phase approach, learners serve as their own control, which is not necessarily an optimal design (i.e., randomized approach) to study the benefits of a curricular innovation. 
    • Complete data collection may not be feasible for directors of educational programs with limited resources
    • Success with using this model requires close cooperation from others (registrars, other course and clerkship directors). 
    • Data collection may be constrained by local Institutional Review Boards if you wish to use findings for more than quality control in your own program. 
    • Further, the model illustrates correlation and not causation
    • As all factors cannot be controlled, the opportunity exists for multiple confounders with data analysis. 
    • Also, many measurements will have not been sufficiently studied to demonstrate reliability and validity in each institution. 
    • Despite these limitations, such a framework can be useful to guide efforts to evaluate the program.


(...)However, the use of a similar conceptual model to what we propose in the quality assurance literature does enhance the validity of our approach. 3 , 4 , 5 We do believe that our model can be effective at monitoring educational programs to make them more effective. In our program, we monitored and subsequently minimized intersite inconsistencies. Although this did not necessarily lead to any specific changes, successful program evaluation informs the stakeholders and guides their decision making, whether or not the decisions lead to change. We also propose using red and yellow flags allowing a course, clerkship, residency, and/or fellowship director to identify and remediate potentially harmful curricular and/or teacher anomalies (a definition of quality).



PEv Recommendations

  1. Begin with defining the goal: “I would be happy about my program if I knew that …”
  2. It is essential to list outcomes measurements for key parameters of success. Use triangulation—collect at least two measurements for each domain. We advocate collecting at least three measurements for each phase.
  3. Then list process measurements that you think will lead to successful outcomes.
  4. It is desirable to specify baseline measurements that would attribute success to the learner rather than the program.
  5. It is desirable to include qualitative information along with quantitative data measurements.
  6. Define the needed resources—time, human resources, and money. This will assist with feasibility of program evaluation efforts.
  7. Include red and yellow flags to prioritize if unexpected/undesirable process measurements or outcomes are observed
  8. Define your unit of analysis. As a principle, we recommend using the unit of analysis that would be most likely to reveal problems.
  9. The analysis of data should include measurements of both statistical and functional significance. Decide the functional significance that would constitute success. Decide the statistical significance that would constitute failure.



















 2007 Summer;19(3):308-18.

The structure of program evaluation: an approach for evaluating a course, clerkship, or components of a residency or fellowship training program.

Abstract

BACKGROUND:

Directors of courses, clerkships, residencies, and fellowships are responsible not only for determining whether individual trainees have met educational goals but also for ensuring the quality of the training program itself. The purpose of this article is to discuss a framework for program evaluation that has sufficient rigor to satisfy accreditation requirements yet is flexible and responsive to the uniqueness of individual educational programs.

SUMMARY:

We discuss key aspects of program evaluation to include cardinal definitions, measurements, needed resources, and analyses of qualitative and quantitative data. We propose a three-phase framework for data collection (Before, During, and After) that can be used across undergraduate, graduate, and continuing medical education.

CONCLUSIONS:

This Before, During, and After model is a feasible and practical approach that is sufficiently rigorous to allow for conclusions that can lead to action. It can be readily implemented for new and existing medical education programs.

PMID:
 
17594228
 
[PubMed - indexed for MEDLINE]


학부 의학교육프로그램의 평가 강화

Enhancing Evaluation in an Undergraduate Medical Education Program

Kathryn A. Gibson, BMBCh, PhD, Patrick Boyle, MEd, Deborah A. Black, PhD, Margaret Cunningham, MSW, Michael C. Grimm, MBBS, PhD, and H. Patrick McNeil, MBBS, PhD




UNSW의 새로운 학부의학교육 과정 도입

The implementation of a new undergraduate medical education program at the University of New South Wales (UNSW) in Sydney, Australia, brought many challenges, not the least of which was determining whether the new program was effective. In this article, we describe the development and initial progress in implementing a comprehensive whole-program evaluation and improvement strategy for the new undergraduate medical education program at UNSW. Our literature review found relatively little practical guidance about establishing systems to define and maintain the quality of undergraduate medical education programs that encompass multiple aspects of quality. (...)



배경: 전체 프로그램에 대한 평가틀 개발

Background: Development of a Whole-Program Evaluation Framework

 

새 교육과정

A new Medicine program

 

교육과정 개요

In March 2004, the Faculty of Medicine at UNSW implemented an innovative six-year, three-phase undergraduate Medicine program.1 Compared with the previous content-based Flexnerian-style curriculum, the new program is explicitly outcome based,...

      • requiring students to demonstrate specified levels of performance in a range of medicine-specific capabilities (biomedical science, social aspects of health, clinical performance, and ethics) and 
      • generic capabilities (critical evaluation, reflection, communication, and teamwork) at defined levels as they progress through the program. All courses are interdisciplinary and highly integrated both horizontally and vertically

Important features include...

      • early clinical experience, 
      • small-group teaching, 
      • flexibility in courses and assessments, and 
      • a high degree of alignment between graduate outcomes, learning activities, and assessments. 

Each two-year phase uses a distinct learning process which aims to develop autonomous learning progressively during six years. 

The approaches emphasize important adult education themes

      • student autonomy, 
      • learning from experience, 
      • collaborative learning, and 
      • adult teacher–learner relationships.


새 교육과정에서의 평가시스템(포트폴리오)

The program’s assessment system is particularly important and incorporates many novel features, including...

      • criterion referencing of results, 
      • interdisciplinary examinations, 
      • a balance between continuous and barrier assessments, 
      • peer feedback, and 
      • performance assessments of clinical competence. 

To examine the generic capabilities that are not easily measured by traditional assessments, and to ensure overall alignment between assessments, learning, and outcomes, a data-driven portfolio examination occurs in each phase.2

      • The portfolio assessment is supported by an information technology system, eMed,3 which records student assessment grades, examiner feedback on assessment tasks, and peer comments on teamwork skills. 
      • At the end of each two-year phase, students submit evidence of achievement for each capability using reflections on and reference to their performance recorded in eMed, compared with the expected level of achievement for that phase of the program. (...)
      • Portfolio examiners look at the patterns of grades, teamwork comments, and other evidence cited by a student to see what lies behind the student data, and then they make a judgment from all the evidence. The portfolio assessment system is discussed extensively elsewhere.2,3


관리 주체(OME and Interdisciplinary groups)

In contrast to previous arrangements in which individual disciplines and departments managed content-specific components of the old curriculum, responsibility for the planning and implementation of the new program was given to a single unit—the Office of Medical Education under the direction of the faculty’s associate dean of education. However, as part of a planned change management process to maintain faculty ownership and encourage disciplinary integration, much of the work was devolved to interdisciplinary course design and implementation groups, each responsible for the delivery of one or more modular, integrated, eight-week courses, or a limited number of vertical strands, such as clinical and communication skills and ethics. The interdisciplinary groups were assisted by instructional designers and/or included faculty members with pedagogical training or experience.


 

효과적인 평가의 필요성

The need for effective evaluation

 

인증기구(AMC)의 요구조건

Such major pedagogical and organizational change required the development of systems and processes to 

(1) evaluate the effectiveness of the change, 

(2) monitor its implementation to enable continual improvement, and 

(3) use evaluation to recognize and report on excellence in teaching. 

An important driver was the accreditation authority, the Australian Medical Council (AMC), which requires highly specific standards with respect to ongoing monitoring, evaluation, feedback, and reporting of schools’ operations,4 similar to those specified by the Liaison Committee for Medical Education for North American medical schools.5 The AMC lists nine relevant standards that include...

      • the need for “ongoing monitoring … [of] curriculum content, quality of teaching, assessment and student progress,”
      • the need for “teacher and student feedback,” and “using the results [of evaluation] for course development.” 
      • Schools are required to analyze “the performance of student cohorts … in relation to the curriculum and the outcomes of the medical course” and “evaluate the outcomes of the course in terms of postgraduate performance, career choice and career satisfaction.” 
      • Finally, schools are required to report “outcome evaluation … to academic staff, students … [and] … the full range of groups with an interest in graduate outcomes.”4


이러한 통합 교육과정 기준을 맞추기 위해서 많은 혁신이 필요하다

Meeting these standards for an integrated program containing many innovative features required the development of new strategies and approaches to evaluation and improvement. 

      • Initially, we conducted a review of previous evaluation processes at UNSW and found these to be largely content driven and not integrated into an overall program evaluation framework. 
      • We then reviewed the medical and health education literature, which acknowledges the difficulty in conducting methodologically rigorous research or evaluation studies in education.6 
      • We found many examples of evaluations of individual aspects of particular programs but few descriptions of evaluations of multiple aspects of a program and very little around the optimal strategy for systematically evaluating and then improving a medical program as a whole. Of those reviewed, two examples stand out for their breadth of evaluation approach adopted—the McGill dental curriculum 7 and the medical program at Dundee University.8 (...)

Dundee대학의 방법

The University of Dundee group, in describing its approach to evaluation of the medicine curriculum introduced in 1995,8 used evidence from a number of sources, which included internal reviews, external reviews, and student examination data. (...)


학부 교육과정과 관련한 기존 연구가 많지 않음.

Overall, we found little practical guidance in developing frameworks for systematic evaluation of undergraduate educational programs; the limited literature...

      • that does exist is more applicable to GME.9–11 In the wider evaluation literature, 
      • a topic of currency is the importance of program evaluation leading to explicit actions, particularly improvement for students and other key stakeholders,12–14 
      • an issue commonly referred to as “closing the loop.”15



다요소모델 개발

Developing a Multicomponent Model to Evaluate Program Quality

 

프로그램평가 및 향상 그룹 설립

To develop a comprehensive evaluation process, a Program Evaluation and Improvement Group (PEIG) was established by the dean of medicine with administrative support from the Office of Medical Education and the associate dean of education. (...)


PEIG의 주 과업 

A primary task of the PEIG was to establish a framework or model that we considered would encompass all facets of the curriculum at UNSW. With the AMC standards 4 as an important driver, we formulated six strategic principles to guide development of a program evaluation and improvement strategy (List 1). (...)



위의 원칙에 따른 프로그램평가 모델 개발

With these issues and ideas in mind, we undertook the development of a progressive model for program evaluation and improvement. (...)





핵심 quality indicators 만들 때 염두에 둔 것들

In deriving the key quality indicators, we considered the following questions: 

      • (1) Would the indicator facilitate action for improvement? 
      • (2) Is valid information available for the indicator? 
      • (3) Will the indicator convey clear meaning to stakeholders? 
      • (4) Would the information content of the indicator be considered trustworthy and valuable? and 
      • (5) Does the indicator represent a balance of perspectives for multiple stakeholders? 
      • In addition, we were cognizant of the general principles of content validity and relative importance. 

(...)

 

Ownership과 이해관계자들의 참여의 중요성

We recognized that any such model can only be effective if there is ownership of it by key stakeholders and if these stakeholders are actively participating in the processes that are developed as an extension of the model. A key practice principle we adopted to implement the model is that, wherever possible, evaluation activities should be viewed as an integral part of day-to-day practice rather than as externally imposed additional tasks. Thus, an important philosophy is that teachers, course and phase convenors, and relevant administrators should undertake evaluation and improvement activities as an inherent part of effective and scholarly teaching. (...) The PEIG sees its principal role as supporting and facilitating this process, rather than being an external body undertaking such tasks. (...)



각 영역의 평가와 향상

Addressing Evaluation and Improvement of Each Quality Aspect

 

(...) Before establishing specific projects, each working party reviewed their respective indicators (Table 1) to identify relevant available data, areas where instrument development needed to occur, and the reporting, communication, and implementation implications for indicator development. To illustrate the evaluation model in practice, two areas of work to date are elaborated on below.


 

학생경험의 평가와 향상

Evaluation and improvement of the medical student experience

 

네 단계

In 2005, the student experience working party established a baseline project to research and evaluate the medical student experience at UNSW and to establish a sustainable process for its evaluation and improvement. Four stages were involved: 

(1) identifying the students’ understanding of the construct “student experience,” 

(2) developing a trial instrument and process for collecting evaluative data from students, 

(3) undertaking appropriate analyses and communication of findings to stakeholders, and 

(4) establishing an agreed and sustainable process within the faculty for evaluation and improvement of the medical student experience. 


우선 학생들이 'student experience'라는 단어를 어떻게 이해하는지 조사함. 다섯가지 영역 도출

Before developing any instrumentation for tapping student perceptions of their experience as medical students at UNSW, we decided to investigate what students understood by the term student experience. (...) Five main facets emerged and were adopted for the trial medical student experience questionnaire (MEDSEQ): 

      • learning, teaching and assessment; 
      • organization and student understanding of the program; 
      • community interaction and value; 
      • student support; and 
      • resources. 

These encompassed most of the key quality indicators for the student experience aspect shown in Table 1.


The trial MEDSEQ 

The trial MEDSEQ used 32 fixed-response items arranged under the five facets referred to above, plus the option of open-ended comments to collect student participants’ responses. We used a five-point scale (ranging from only rarely to almost always) for students to assess the frequency with which they had experienced the circumstances described by each facet (Chart 1). (...)


In early May 2007, after review of the major MEDSEQ report, the Faculty of Medicine’s principal curriculum committee endorsed embedding the MEDSEQ evaluation and improvement process in the Faculty of Medicine’s continuing operations. Data gathering, analysis, and communication of findings will occur every two years, and a range of responses to the findings in the inaugural report will be initiated to ensure provision of more effective feedback on learning and increased availability of appropriate mentoring.





 

교육 및 교육업무량 관리의 평가와 향상

Improvement of teaching and the management of teaching workload

 

두 가지 측면에 대한 key quality indicator 평가

The working party on staff and teaching has been addressing two of the key quality indicator components for this program aspect: support for teaching and improving the quality of teaching (Table 1)

      • With respect to support for teaching, we developed a policy document and framework for implementation entitled “Managing Teaching Workloads in the Faculty of Medicine,” which was endorsed by the faculty’s major management committee and is being used by department heads to help manage their teaching and research missions. (...)
      • With respect to improving the quality of teaching, guided by the principle of “closing the loop,” efforts are being made to enhance the extent to which student evaluative data are acted on to implement improvement, stimulate reflection, and foster more scholarly activities in relation to learning and teaching. Improving teaching on the basis of student feedback has proved challenging at UNSW in the past because feedback on individuals’ teaching is reported only to the teacher affected and is not available to curriculum leaders or coordinators. (...) 


Expected Outcomes and Initial Evidence of Effectiveness

 

기대 성과

The key outcomes we expect as a result of the processes and strategies we have implemented can be distilled to the following: 

      • multiple aspects of the quality of the UNSW Medicine program are able to be evaluated and reported (e.g., student and staff experiences, student outcomes, content and resources); 
      • the evaluation process is continual; 
      • action to improve the program follows measurement; and 
      • the processes we describe are an inherent part of the responsibility of teachers and course coordinators. 

(...)

 

평가 결과

Phase 1 (medical school years 1 and 2) of the program consists of four integrated eight-week courses per year, the majority of which have been formally evaluated using a standard UNSW course evaluation instrument. As shown in Table 2, initial evaluations in 2004 showed strong evidence that the new program encouraged active student participation and collaborative learning (92% and 97% agreement, respectively). However, students expressed significant dissatisfaction with the provision of feedback and with assessment tasks. (...)


Over subsequent years, there has been significant evidence of improved student experience of phase 1 with progressively greater levels of agreement that the courses provided adequate information about assessments and that the assessments were appropriate (both up to 81% agreement) (Table 2). (...)











 2008 Aug;83(8):787-93. doi: 10.1097/ACM.0b013e31817eb8ab.

Enhancing evaluation in an undergraduate medical education program.

Abstract

Approaches to evaluation of medical student teaching programs have historically incorporated a range of methods and have had variable effectiveness. Such approaches are rarely comprehensive, typically evaluating only a component rather than the whole program, and are often episodic rather than continuous. There are growing pressures for significant improvement in academic program evaluation. The authors describe an initiative that arose after a radical reorganization of the undergraduate medical education program at the University of New South Wales in part in response to feedback from the accrediting authority. The aim was to design a comprehensive, multicomponent, program-wide evaluation and improvement system. The framework envisages the quality of the program as comprising four main aspects: curriculum and resources; staff and teaching; student experience; and student and graduate outcomes. Key principles of the adopted approach include the views that both student and staff experiences provide valuable information; that measurement of student and graduate outcomes are needed; that an emphasis on action after evaluation is critical (closing the loop); that the strategies and processes need to be continual rather than episodic; and that evaluation should be used to recognize, report on, and reward excellence in teaching. In addition, an important philosophy adopted was that teachers, course coordinators, and administrators should undertake evaluation and improvement activities as an inherent part of teaching, rather than viewing evaluation as something that is externally managed. Examples of the strategy in action, which provide initial evidence of validation for this approach, are described.

PMID:
 
18667897
 
[PubMed - indexed for MEDLINE]


임파워먼트 평가 : 의과대학 교육과정 변화와 평가를 위한 협력적 접근법

Empowerment Evaluation: A Collaborative Approach to Evaluating and Transforming a Medical School Curriculum

David M. Fetterman, PhD, Jennifer Deitz, MA, and Neil Gesundheit, MD, MPH



의과대학 교육과정 변화의 어려움

    • Changing a medical school's curriculum is commonly an arduous process because faculty, students, and administrators may hold divergent opinions about both the goals for medical education and the best ways to achieve those goals.1,2 
    • In addition, curriculum reformers may face stiff resistance if they challenge deeply entrenched interests, traditions, and institutional culture.3,4 
    • Proposals for change may engender debate that can be rancorous and adversarial among competing faculty, such as basic scientists and clinicians.5 


그러나 철학적, 현실적 합의에 도달하는 것은 중요함.

Yet, reaching a philosophical and practical consensus for change is critical, because a unified vision is needed to achieve broad acceptance, coordinated implementation, and subsequent refinement of a new curriculum.6 


저자들의 두 가지 질문

(1) 교육과정의 이상적 내용에 대한 합의에 도달하는 가장 좋은 방법은?

(2) 지속가능한 평가 주기와 향상을 위한 교육과정 평가의 최선의 방법은?

We (i.e., the authors, who formed the evaluation team) ask two important questions: (1) What are the best methods for achieving consensus about the optimal content of a medical curriculum? and (2) What is the best way to evaluate a curriculum to ensure that it will undergo sustainable cycles of review and improvement?


지난 20년간, 기초과학 지식의 향상과 의학교육의 혁신에 의하여 많은 미국 의과대학 교육과정은 크게 변화하였음. 성공적으로 교육과정 변화를 이뤄낸 학교들에 대한 연구로부터 Bland 등은6개의 핵심 특징을 찾아내였음. 또한 Loeser등은 다섯 개의 교육과정 변화의 단계를 주장하였고 그 마지막 단계는 도입과 평가이다. 대부분의 교육과정은 그것이 처음 도입된 시점에서부터 완벽한 경우는 거의 없기 때문에 효과적인 평가는 교육과정 개혁의 핵심이라고 할 수 있다. 실제로 새로운 교육과정을 설계한 사람들조차 그들이 생각하는 이상적인 모습에 도달하기 위하여 비판과 교정의 과정을 바라고 있다.

During the past 20 years, stimulated by the growth of basic science knowledge and by innovations in medical education, most U.S. medical schools have implemented significant changes in their undergraduate curricula.7 In a review of schools that had undergone successful curricular change, Bland and colleagues 8 identified six predominant features: 

      • leadership, 
      • a cooperative climate, 
      • participation by organization members, 
      • favorable politics, 
      • human resource development, and 
      • effective evaluation. 

Similarly, Loeser and colleagues 6 described five phases of curriculum change that were used at the University of California, San Francisco; the last phase was the implementation and evaluation of the new curriculum. Thus, effective evaluation is recognized as a key component of curricular reform, in part because most curricula are far from perfect when first implemented. Indeed, those who devise a new curriculum depend on and anticipate cycles of critique and revision to approximate the ideal.9–12


스탠포드 의과대학의 교육과정 변화

The Stanford University School of Medicine underwent a major change in its undergraduate medical education when a new curriculum was introduced in academic year 2003–2004. The curriculum continued to be refined yearly from 2004 through 2008. We found the principles of “empowerment evaluation”13–15—an innovative evaluation method that involves stakeholders in an egalitarian process of review, critique, and improvement—to be useful in evaluating the curriculum and in guiding change. The empowerment evaluation method includes a process for ongoing scrutiny of the effectiveness of the curriculum along with the promotion of a cooperative atmosphere. In this paper, we describe the key characteristics of empowerment evaluation and show how using its tools has helped faculty, students, administrators, and evaluators (as a group, referred to here as “stakeholders”) to revise, refine, and improve our medical school curriculum.



Empowerment Evaluation: The Approach and Its Tools


The approach

Empowerment evaluation, broadly defined, is an approach to gathering, analyzing, and using data about a program and its outcomes that actively involves key stakeholders in all aspects of the evaluation process. The approach provides a strategy by which and a structure within which stakeholders can empower themselves to engage in system changes; this process is based on the assumption that the more closely stakeholders are engaged in interpreting, discussing, and reflecting on evaluation findings in a collaborative and collegial setting, the more likely they are to take ownership of the results and to use evaluation to guide curricular decision making and reform.


 

The tools

Five tools are integral to the empowerment evaluation approach.15 We discuss each one below.

 

"근거의 문화" 만들기

Developing a culture of evidence.

Emphasis is placed on rapidly disseminating formative feedback and data about the curriculum to help inform decision making. Reporting processes are established that will improve stakeholder access to evidence (evaluation data and findings) and that will provide regular opportunities for reviewing and discussing the evidence. Faculty are encouraged and supported in their efforts to use evaluation evidence as a tool to support or refute their positions in debates about curriculum. By making this practice a cultural norm within the institution, a culture of evidence is established.

 

"비판적 친구" 활용하기

Using a critical friend.

The empowerment evaluation method uses a professionally trained evaluator to help facilitate evaluation practices at an institution. However, the role the evaluator plays is not that of an outsider or an expert removed from curriculum development and implementation but, rather, that of a trusted colleague—a critical friend—who can coach stakeholders as they engage in self-evaluation, strategic planning, and curriculum implementation. (Critical friend의 역할)

        • This critical friend can help set the tone for discussions about evaluation results and findings, by modeling and informally articulating the philosophy behind the empowerment evaluation approach.16–20 
        • Specifically, the critical friend should help to establish a positive learning climate in which the views of all stakeholders are respected, input from all parties is solicited, and the conversation is guided so as to encourage comments that are constructive and improvement oriented. 
        • Critical friends model a communication style that is inviting, unassuming, nonjudgmental, and supportive, so that stakeholders will feel comfortable in speaking openly about curricular issues and concerns. 
        • Critical friends should also help to remind members of the group about what they have in common, including shared curricular goals and institutional values.

 

"성찰과 행동의 사이클 장려하기"

Encouraging a cycle of reflection and action.

Structured opportunities allow stakeholders to reflect on evaluation data, set priorities, and develop action plans for revising the courses and curriculum. Once revisions are adopted and implemented, those too are monitored and evaluated. The cycle of inquiry and evaluation is thus ongoing and continuous.


 

학습자의 커뮤니티를 활성화시키기

Cultivating a community of learners.

Under the empowerment evaluation model, the assumption is that each stakeholder, regardless of his or her status within the institution, has a unique and important perspective on curricular issues that should be shared and valued. As stakeholders engage in dialogue and discussion, they learn from one another and, in the process, are able to broaden and deepen their understanding of issues affecting individual courses and, more broadly, the curriculum. They also gain greater insight into the steps involved or hurdles encountered in making improvements and revisions. Emphasizing learning and discovery in a collaborative and egalitarian environment helps to make discussions about evaluation findings more empowering and less threatening. Reaching a consensus cooperatively also helps to reduce the likelihood that mandates for reform will be imposed on faculty or students in a top-down or hierarchical fashion.


 

자기성찰을 할 수 있도록 하기

Developing reflective practitioners.

Building in structured time, assignments, and formal expectations for all stakeholders helps to immerse stakeholders in the evaluation process. Faculty, students, and administrators develop the habit of continually reflecting on their practices and programs, both individually and as part of a larger group or community. By establishing a habit of regular self-assessment, stakeholders become reflective practitioners.


These tools of empowerment evaluation are mutually reinforcing, and they frequently operate together. However, it may be useful, at first implementation of this approach, for those involved to think of the progression as taking place in stages. The stages build on each other, generating a momentum, which culminates in the development of a more refined and constructive evaluative eye (Figure 1).



 


How Empowerment Evaluation Comes Together

 

The theoretical framework and the tools integral to the empowerment evaluation approach, as described, provide the basis for establishing and routinizing a system of evaluation that can be applied across the medical school curriculum. At Stanford, the stakeholders initially focused on developing this evaluation system at the preclinical level.

    1. First, data were assembled from midquarter focus groups, classroom observations, and end-of-quarter student questionnaires. 
    2. Second, faculty members received these data in advance of a group meeting; at the meeting, faculty members discussed the positive and negative data from the evaluations, their own reflections, and the proposed next steps. A trained evaluator, who served as a critical friend, mediated the meeting, providing data and support but also being willing to highlight weaknesses in the course(s) and approach. This facilitated process helped to build a culture of evidence, in which it was the norm to use data to support one's position and inform decision making. 
    3. Third, the faculty members engaged in an initial cycle of reflection and action by discussing ways in which they could collaborate between courses to enhance student learning—for example, by improving the logical sequencing of topics across the curriculum and by removing unintended redundancies. The evaluation findings and faculty responses served to stimulate discussion at curriculum committee meetings and in the faculty senate, which helped to cultivate a community of learners across the school. 
    4. Fourth, faculty and student task forces worked together to complete the design and implementation of the revised courses and/or curriculum. 
    5. Fifth, the process came full circle: The courses and curriculum were evaluated by both students and faculty to determine the effectiveness of the new educational interventions and curricular modifications. 
    6. This last phase is the full cycle of reflection and action that is most characteristic of empowerment evaluation. Through this process, faculty, students, and administrators enhanced their goal of becoming reflective practitioners, who routinely assess teaching and learning in the school.


Application of Empowerment Evaluation Principles and Tools in the Evaluation of a Medical School Curriculum

 

The challenge of transitioning students and faculty through a major restructuring of the curriculum at Stanford lent itself to a parallel reassessment of the existing evaluation methods. The stakeholders, led by the evaluation team, began to think more explicitly about the values that were implicit in our practices and to explore ways to address key weaknesses in our approach.


 

기존의 접근법 Prior approach to evaluation and the areas needing change

OME의 문제

In the past, the stakeholders and the Office of Medical Education (OME) did not explicitly articulate a set of values or goals to frame our approach to evaluation. Implicitly, we were guided by a tradition within the institution that each course was a discrete entity and that responsibility for that course lay primarily with the individual course director. (...)


이혜해관계자의 참여를 지원할 공식적 구조와 절차의 부족

Other weaknesses in our prior approach were a lack of formal structures and processes to encourage and support stakeholder engagement in the evaluation process. Within OME, we did not have dedicated staff members in charge of developing the evaluation program or managing and reporting evaluation data. Consequently, although the OME staff were vigilant about collecting evaluations from students at the end of each course, in some cases, data were “warehoused,” and evaluation results were not made available to course or clerkship directors for months or even years afterward.(...)


전국적으로 벌어지고 있는 의학교육의 변화를 잘 반영하는 평가법을 도입하고자 함.

"평가의 문화가 새로운 교수-학습 문화와 consonant하기 위함"

In identifying and instituting a new model of evaluation, we wanted an approach that would mirror the changes taking place in medical education nationwide.2,7,21,22 Our new medical school curriculum emphasized an integrated and applied approach to teaching and learning, and, in this new environment, faculty needed to work more collaboratively to develop the curriculum. Developing a single block of lectures in the integrated-organ-systems course on the heart or lung required input from and involvement of faculty in the departments of histology, pathology, microbiology, physiology, and pharmacology. Similarly, the stakeholders now expected more participatory involvement on the part of both teachers and learners as active learning exercises were developed in which preceptors would serve not as content experts but as facilitators, helping teams of students diagnose and develop treatment plans for patient problems.23 It was our hope that the new model of evaluation would reflect these changing institutional values and practices and, thus, would bring collaboration and participation to the forefront. The culture of evaluation would be consonant with the new culture of teaching and learning.


 

현재 접근법 Current approach to evaluation

 

구조화된, 일관성있는 프로그램 도입

The new Division of Evaluation staff worked to implement a structured, coherent program that would apply empowerment evaluation principles and tools in evaluating the effectiveness of the curriculum. 

        • Empowerment evaluation tools served to address a wide range of issues affecting the educational program and curriculum at Stanford, including issues surrounding courses, clerkships, scholarly concentrations, advising, and faculty instruction. 
        • The approach also helped us to address crosscutting curricular issues such as scheduling, standardization of syllabi, and clinical skills training. 
        • Finally, the stakeholders used empowerment evaluation to identify broader programmatic issues, such as the need for changes in staffing and the resource allocation needs for integrated courses.


학생과 교수들이 교육과정에 대한 지속적인 대화에 정기적으로, 구조화(structured)되어 참여할 수 있는 기회제공.

Initially, however, the primary focus was on evaluating and monitoring the preclinical curriculum, because this aspect of our program was undergoing the most radical transformation. Shifting to an applied, integrated curriculum meant changes in the faculty's roles and responsibilities. Course content and hours were adjusted, and some faculty had great concern that eliminating content in some areas in order to expand content in others might jeopardize students' knowledge base and preparedness as researchers and clinicians. We therefore felt that it was important to establish regular, structured opportunities for students and faculty to engage in an ongoing dialogue about the curriculum, to reflect on strengths and weaknesses, and to collaboratively seek solutions when problems were identified.


 

임파워먼트 평가 모델을 적용하기

Applying the empowerment evaluation model to the preclinical curriculum

 

      • We applied several familiar evaluation tools to our review of the preclinical curriculum, including focus groups and surveys. (...) 
      • Applying the empowerment model at Stanford also required improvements in the data-collection and -reporting processes. (...) with empowerment evaluation, we distilled and analyzed qualitative and quantitative data, using both standard questions across the curriculum and questions rooted in specific concerns of course directors. (...) By emphasizing the positive steps that could be taken to improve a course, evaluators sought to minimize the disillusionment that can sometimes accompany poor student ratings and to provide encouragement and support for faculty as they worked to revise and refine courses, curriculum, and the quality of instruction. 
      • In the past, scheduled meetings with course directors were rare or sporadic. (...). These meetings provided structured opportunities for what Bohm 25 called “dialogic engagement,” or exchanges among course directors, students, the curriculum committee, and the empowerment evaluators. 
      • As access to evaluation data improved and the process of sharing evaluation data and results became less threatening, faculty became more comfortable engaging in dialogue about evaluation findings. 
      • Working closely with many individual course directors, students, and administrators and adopting an inclusive and pluralistic perspective toward data collection, the evaluation team was in a unique position to identify patterns across the curriculum.(...) Thus, a continuous and systematic cycle of reflection and action across the curriculum became institutionalized.  
      • Collaborative efforts at all levels contributed to providing a comprehensive self-assessment of the curriculum and placed stakeholders back in the driver's seat—providing them with forums and opportunities to become leading voices in setting priorities. Through continuous engagement in the evaluation process and daily immersion in evaluation discourse, stakeholders learned to mirror the process in their daily practice, thus becoming reflective practitioners.


 

Measuring the Effectiveness of Empowerment Evaluation

 

Internal metrics

 

Applying the empowerment evaluation model to curriculum evaluation at Stanford has contributed to improvements in course and clerkship ratings. In comparing evaluation results before and after stakeholders began using this approach, we found that the average student ratings for the required courses (18 courses) improved significantly (P = .04; Student's one-sample t test), as shown in Figure 2. Similarly, ratings for most of the required clerkships remained steady or improved. When dialogue around evaluation findings led to the development of targeted strategies for addressing key weaknesses in courses, clerkships, or the overall curriculum, student ratings showed a marked improvement. Three examples that stand out in this regard are the “Cells to Tissues” course, the obstetrics–gynecology and surgery clerkships, and our cross-curricular approach to clinical skills training.


Figure 2



 

External metrics

 

Finally, we explored the use of several external metrics to measure the effectiveness of the new Stanford curriculum as it was being refined by empowerment evaluation. 

    • The median United States Medical Licensing Examination (USMLE) Step 1 score at Stanford for the three years before the introduction of the new curriculum and evaluation method was 230, whereas the median score rose to 237 by three years after the introduction. 
    • The failure rates of students in USMLE Step 1 and USMLE Step 2 Clinical Knowledge, both before and after the curricular change, were each under 2% (national rates: 6% and 5%, respectively). 
    • For clinical skills development, no data were available from 2000–2003 because USMLE Step 2 Clinical Skills was introduced for the first time in 2004–2005. However, in academic years 2005–2006, 2006–2007, and 2007–2008, the failure rate on this exam at Stanford was 1%, whereas the national failure rate was 3%. 
    • We also examined student performance during the first postgraduate year of training. Approximately 80% of our graduating students match at competitive academic residencies. In their first year of residency, our graduates' performance generally met or exceeded expectations in skills and knowledge domains, as reported by residency program directors. 
    • Although these metrics lack the precision and certainty of a controlled experiment, the aggregate measures indicate that student education was kept at a high level or was enhanced by the introduction of the new curriculum and the simultaneous use of empowerment evaluation to refine it.



Challenges and Barriers

 

Adopting an empowerment evaluation approach at a medical school is rewarding but also challenging. Faculty members...

    • often have demanding schedules and little frame of reference for participating in collaborative feedback
    • Time devoted to reviewing the curriculum and modifying courses may compete with time devoted to research and publication—activities that commonly bring greater institutional rewards. 
    • Some faculty, accustomed to reviewing their evaluation results in private, initially had concerns about discussing course and curriculum strengths and weaknesses in a group setting
    • For empowerment evaluation to work effectively, members of both the administration and the faculty needed to view their participation in teaching and a candid critique of the school's curriculum as priorities equal to research, publications, and grants.


(...)


Empowerment evaluation requires an investment of resources. 

    • Institutions must be committed to supporting the evaluation staff with formal training to facilitate the process, and 
    • faculty time must be protected to allow their participation in meetings about and in discussions of the curriculum. 
    • In the absence of an evaluation unit and a regular meeting schedule, the collaborative process can be compromised. 
    • If data are not collected, analyzed, disseminated, discussed, and reviewed in a timely manner, rigor may not be maintained.


토마스 에디슨은, "많은 사람들이 기회를 놓치곤 하는데, 왜냐하면 기회는 작업복을 걸치고 있어 일처럼 보이기 때문이다."

Thomas Edison once observed, “Opportunity is missed by most people, because it is dressed in overalls and looks like work.” (...)


 

Receptivity of Stakeholders to Empowerment Evaluation

 

A department chair said, 

We are grateful [to the empowerment evaluation approach] as we continue to improve our departmental teaching programs! In addition to the superb efforts [of our clerkship directors], our entire faculty and our residents and fellows are now much more committed to and involved with medical student education.

 

The director of clerkship education said,

Several clerkships have responded to this [evaluation] feedback by requesting individualized coaching [from the evaluation group, which has] made several site visits to assist clerkship directors in revising their orientations, syllabi, and student performance evaluations. End-of-clerkship evaluations demonstrate improved ratings as a result of feedback and coaching; narrative performance evaluations have improved in terms of completeness and level of detail.

 

The director of a medical student clinical clerkship said, 

“All of the Stanford sites want to help improve their teaching. The differences [that empowerment evaluation] made at our neighboring hospitals were visible and clearly effective.”




 2010 May;85(5):813-20. doi: 10.1097/ACM.0b013e3181d74269.

Empowerment evaluation: a collaborative approach to evaluating and transforming a medical school curriculum.

Abstract

Medical schools continually evolve their curricula to keep students abreast of advances in basic, translational, and clinical sciences. To provide feedback to educators, critical evaluation of the effectiveness of these curricular changes is necessary. This article describes a method of curriculum evaluation, called "empowerment evaluation," that is new to medical education. It mirrors the increasingly collaborative culture of medical education and offers tools to enhance the faculty's teaching experience and students' learning environments. Empowerment evaluation provides a method for gathering, analyzing, and sharing data about a program and its outcomes and encourages faculty, students, and support personnel to actively participate in system changes. It assumes that the more closely stakeholders are involved in reflecting on evaluation findings, the more likely they are to take ownership of the results and to guide curricular decision making and reform. The steps of empowerment evaluation include collecting evaluation data, designating a "critical friend" to communicate areas of potential improvement, establishing a culture of evidence, encouraging a cycle of reflection and action, cultivating a community of learners, and developing reflective educational practitioners. This article illustrates how stakeholders used the principles of empowerment evaluation to facilitate yearly cycles of improvement at the Stanford University School of Medicine, which implemented a major curriculum reform in 2003-2004. The use of empowerment evaluation concepts and tools fostered greater institutional self-reflection, led to an evidence-based model of decision making, and expanded opportunities for students, faculty, and support staff to work collaboratively to improve and refine the medical school's curriculum.

PMID:

 

20520033

 

[PubMed - indexed for MEDLINE]


의과대학 교육과정에 대한 지속적 프로그램 평가 (Penn State University College of Medicine)

How we conduct ongoing programmatic evaluation of our medical education curriculum

KELLY KARPA & CATHERINE S. ABENDROTH Penn State University College of Medicine, USA






ABSTRACT

학부의학교육에 대한 평가는 인증기준에 도달하기 위해서 반드시 필요하나, 적절한 평가 단계를 도입하고 유지하는 것은 쉽지 않다. Penn State University College of Medicine에는 2000년 교육과정평가위원회(CEC)가 설립되어 기존의 의학교육부학장과 학부의학교육위원회의 활동을 보조하였다. 여기서는 CEC가 활용한 방법과 성과를 다루고자 한다. 우리가 활용한 단계의 강점은 지속적이고 정기적인 평가이며, 이를 통해서 매2년마다 교과목을 리뷰하고 변화가 필요할 때에는 교과목 담당자가 책임을 지도록 했다. 우리의 평가 단계는 효과적이었고, 지속가능하며, 교육과정 개선을 위한 추가적인 영역을 확인해주었다.


Evaluation of undergraduate medical education programs is necessary to meet accreditation standards; however, implementation and maintenance of an adequate evaluation process is challenging. A curriculum evaluation committee (CEC) was established at the Penn State University College of Medicine in 2000 to complement the already established activities of the Office of the Vice Dean for Medical Education and the Committee on Undergraduate Medical Education. Herein, we describe the methodology used by the CEC at our academic medical center and outcomes attributable to the curriculum evaluation process that was enacted. Strengths of our process include ongoing, regular assessments that guarantee a course is reviewed at least every two years and a feedback loop whereby course directors are held accountable for implementing changes when necessary. Our evaluative process has proven effective, sustainable, and has identified additional areas for curricular improvements.





Introduction


의학교육에서는 총괄적인 프로그램 평가 단계를 묘사한 것을 찾기 어렵다.

Medical education is continually evolving, necessitating ongoing programmatic evaluations to determine the worth of programmatic components and whether overall goals and objectives are being attained (Fitzpatrick et al. 2004). More than 35 types of evaluative theoretical frameworks (needs, cost/benefit, formative, summative, goal-based, outcomes-based, etc.) have been developed for virtually every type of social endeavor; however, within medical education it is unusual to find comprehensive programmatic evaluation processes described (Musick 2006; Durning et al. 2007; Gibson et al. 2008; Fetterman et al. 2010; Vassar et al. 2010).


의과대학은 LCME에서 설정한 인증기준을 만족시키기 위한 평가를 해야 한다. 인증의 요구조건을 맞추기 위해서는 다음과 같은 것을 해야 한다.

Medical schools must establish approaches to evaluation that satisfy the accreditation standards set by the Liaison Committee on Medical Education. To meet accreditation requirements, medical schools are mandated to 

consider student feedback; 

perform ongoing monitoring of curriculum content, teaching, and assessment of student progress; 

use the results of program evaluations for course development; and 

evaluate medical school coursework in terms of postgraduate performance. 


PSUCOM의 교육과정 평가 단계에 대해 설명하고자 함.

Despite these clear directives, medical schools have struggled with identifying procedures and personnel best suited to accomplish these tasks, as exemplified recently by the probation of one United States medical school (Mulder 2012). Herein, we describe the systematic curriculum evaluation process that has been used at the Penn State University College of Medicine (PSUCOM) since 2000. 

      • Our programmatic evaluation process draws from both the Tylerian approach, which places substantial emphasis on objectives (Tyler 1942), 
      • and the empowerment evaluation model, which depends upon a culture of evidence, a critical friend, a cycle of reflection and action, and reflective educational practitioners (Fitzpatrick et al. 2004).



How we started


CEC 출범과 그 과업

A decade ago, our institution formed a Curriculum Evaluation Committee (CEC), an independent evaluative body that made recommendations for consideration by the Committee on Undergraduate Medical Education (CUMED), the authoritative body. The CEC was charged with...

(a) evaluating the performance, outcomes, and impact of the medical school curriculum; 

(b) judging the value and worth of the instructional methods; and 

(c) working with other institutional committees to improve curriculum and course performance. 

To accomplish the directives, the appointed CEC members operate at a granular level to comprehensively review each pre-clinical course and clinical clerkship bi-annually.


교과목 평가시에 고려한 점

The four components the CEC considers when reviewing a course are: 

goals and objectives, 

content, 

examination/assessment, and 

student opinion. 



Two courses are discussed at each monthly (1 h) CEC meeting. In advance, a committee member is assigned to review one of the four components for a single course. Members are provided with course-specific documentation and on-line access to course materials via our electronic course management system. Overall, these bi-annual assessments allow good performance to be rewarded by departmental Chairs, problematic curricular areas to be identified and remedied, and facilitate a shared awareness of curricular issues at all levels from the Dean to individual instructors.


Goals and objectives

The CEC member evaluating course goals and objectives checks these parameters against institutional goals and objectives for alignment. Each educational session (e.g., lecture, laboratory, small-group session) is expected to have specific learning objectives addressing varying cognitive levels that are written in behavioral terms which describe knowledge, skills, and attitudes students should demonstrate as a result of the educational session.


Content

Course content is compared to course goals and the stated learning objectives, United States Medical Licensing Examination (USMLE) course content outlines, and/or curricular content published by national associations. Omissions, redundancy, organization and integration of content, pedagogy, quality of lecture slides, and ease of navigation of electronic course management tools are assessed. The ability of the CEC to assess horizontal and vertical integration of curricular content is facilitated by use of the Curricular Management and Information Tool developed by the American Association of Medical Colleges. Evaluations of clinical clerkships also assess parameters such as inpatient and outpatient experiences, opportunity to perform procedures, and comparability of student experiences across clerkship sites.


Examination/Assessment

Multiple choice question-based examinations are judged in terms of: test reliability, correlation between test questions and objectives and content, level of cognitive domain being tested, item difficulty, item discrimination value, grade distribution, and format and quality of questions. Rubrics and inter-observer validation are expected for subjective assessments, e.g., essays.


Student opinion

End-of-course evaluations by students are semi-quantitative (Likert scale) with opportunity for anonymous free-text comments. CEC members that review student evaluations look for themes pertaining to: quality of lectures; course organization; clarity of learning objectives; quality of problem-based learning sessions, on-line exercises and small group sessions; topics requiring more or less emphasis; clarity and content of examination questions; and level of knowledge necessary for examination in light of course and lecture objectives. Student focus group feedback is reviewed as well.



Putting it all together: Information flow



Results from CEC involvement

부족한 것으로 나타난 부분

To date, areas of curricular deficits identified during the CEC reviews have generally been addressed by adding didactic sessions. Since 2002, the total hours of didactic instruction in year 1 increased from 66.5% to 74.8% (p = 0.02). Even in year 2, where problem-based learning plays a larger role, didactic classroom instruction time has increased by 11% (p < 0.001). Although more complete, this outcome is not necessarily desirable given the current trend toward more student-directed learning.


향상된 것으로 나타난 부분

As a result of CEC feedback to course directors, the number of lectures that state learning objectives has been steadily increasing since 2002; furthermore, the number of lectures with appropriately written behavioral learning objectives has increased in both year 1 and year 2 courses (p < 0.001). Another facet of the curriculum that has experienced improvements as a direct result of CEC involvement pertains to examination questions written in National Board of Medical Examiners-approved format. Since the 2002–2003 academic year, significantly more questions are written appropriately (p < 0.001). These are areas that the CEC has heavily championed, and this committee is largely responsible for the improvements that are noted. In addition, the average percent of our students passing USMLE Step 1 between 2000 and 2005 was 90%. In comparison, within the last five years, the average pass rate has increased to 95% (without any change in student admission requirements). Although this may be multifactorial, we believe the curriculum evaluation process has played a significant role.



A subjective measure of the CEC's effectiveness is the current manner in which course/clerkship directors welcome and are engaged in the review and improvement process. The CEC is generally viewed as a “critical friend” that provides constructive criticism, rather than the “educational police.” This perception likely accounts for the cooperation we receive from faculty in response to our reviews. Some course directors have even requested that the CEC review their course annually (rather than the normal bi-annual cycle), illustrating the value that course directors place on CEC feedback.






 2012;34(10):783-6. doi: 10.3109/0142159X.2012.699113. Epub 2012 Jul 20.

How we conduct ongoing programmatic evaluation of our medical education curriculum.

Abstract

Evaluation of undergraduate medical education programs is necessary to meet accreditation standards; however, implementation and maintenance of an adequate evaluation process is challenging. A curriculum evaluation committee (CEC) was established at the Penn State University College of Medicine in 2000 to complement the already established activities of the Office of the Vice Dean for Medical Education and the Committee on Undergraduate Medical Education. Herein, we describe the methodology used by the CEC at our academic medical center and outcomes attributable to the curriculum evaluation process that was enacted. Strengths of our process include ongoing, regular assessments that guarantee a course is reviewed at least every two years and a feedback loop whereby course directors are held accountable for implementing changes when necessary. Our evaluative process has proven effective, sustainable, and has identified additional areas for curricular improvements.

PMID:

 

22816980

 

[PubMed - indexed for MEDLINE]


하버드 의과대학생들에 대한 New Pathway Curriculum의 영향

The Influence of the New Pathway Curriculum on Harvard Medical Students

GORDON T. MOORE. MD. MPH. SUSAN D. BLOCK. MD. CAROLYN BRIGGS STYLE. PhD. and

RUDOLPH MITCHELL. EdD


배경 BACKGROUND:

급진적으로 재설계된 임상실습  학생(preclinical students)들의 교육과정의 효과를 평가하기 위한 연구

This study evaluated the effect of a radically redesigned curriculum at Harvard Medical School on preclinical students' knowledge, skills, personal characteristics, approaches to learning, and educational experiences.


방법 METHOD:

1989년과 1990년에 입학한 학생들 중 new curriculum에 배정되기를 지원한 121명의 학생들로부터 자료를 수집하였다. 학생들은 NPC와 TC 가운데 무작위로 배정되었다.

Multiple measures were used to collect data from 121 students from the entering classes of 1989 and 1990 who had been randomly assigned to the New Pathway or traditional curricula; all had applied to be in the new curriculum.


결과 RESULTS:

    • The New Pathway students reported that they learned in a more reflective manner and memorized less than their control counterparts in the traditional curriculum during the preclinical years. 
    • The New Pathway group preferred active learning and demonstrated greater psychosocial knowledge, better relational skills, and more humanistic attitudes
    • They felt more challenged, had closer relationships with faculty, and were somewhat more anxious than those in the traditional program
    • There was no difference in problem-solving skills or biomedical knowledge base.


Qualitative data from semistructured interviews at the end of the second year indicated that the NP students felt more responsible for their own educational experiences. They were also more anxious and frustrated than their control colleagues, particularly over intratutorial conflicts and what and how much to study. This finding was confirmed in questionnaires administered near graduation that asked students retrospectively to choose key words that described their preclinical curricula. “Stressful, engaging, and difficult" were descriptors cited statistically more frequently (using the chi-square statistic, p < .05, n :=: 52) by the NP students as opposed to “nonrelevant, passive, and boring" by the controls. The same instrument showed that the NP students were more than three times as likely as the controls to cite a close relationship with faculty members during their preclinical years.


결론 CONCLUSION:

Students in the new curriculum learned differently, acquired distinctive knowledge, skills, and attitudes, and underwent a more satisfying and challenging preclinical medical school experience without loss of biomedical competence. These findings should encourage other schools to consider such a curriculum.



NBME Part I score 점수비교


Psychosocial Skills 비교


학습유형과 학습환경에 대한 비교







 1994 Dec;69(12):983-9.

The influence of the New Pathway curriculum on Harvard medical students.

Abstract

BACKGROUND:

This study evaluated the effect of a radically redesigned curriculum at Harvard Medical School on preclinical students' knowledge, skills, personal characteristics, approaches to learning, and educational experiences.

METHOD:

Multiple measures were used to collect data from 121 students from the entering classes of 1989 and 1990 who had been randomly assigned to the New Pathway or traditional curricula; all had applied to be in the new curriculum.

RESULTS:

The New Pathway students reported that they learned in a more reflective manner and memorized less than their control counterparts in the traditional curriculum during the preclinical years. The New Pathway group preferred active learning and demonstrated greater psychosocial knowledge, better relational skills, and more humanistic attitudes. They felt more challenged, had closer relationships with faculty, and were somewhat more anxious than those in the traditional program. There was no difference in problem-solving skills or biomedical knowledge base.

CONCLUSION:

Students in the new curriculum learned differently, acquired distinctive knowledge, skills, and attitudes, and underwent a more satisfying and challenging preclinical medical school experience without loss of biomedical competence. These findings should encourage other schools to consider such a curriculum.

Comment in

PMID:

 

7999195

 

[PubMed - indexed for MEDLINE]


교육 프로그램 평가(AMEE Education Guide no. 29)

AMEE Education Guide no. 29: Evaluating educational programmes

JOHN GOLDIE

Department of General Practice, University of Glasgow, UK






What is evaluation?


Evaluation is defined in the Collins English Dictionary (1994) as “the act of judgement of the worth of …”. As such it is an inherently value-laden activity. However, early evaluators paid little attention to values, perhaps because they naively believed their activities could, and should, be value free (Scriven, 1983). The purpose(s) of any scheme of evaluation often vary according to the aims, views and beliefs of the person or persons making the evaluation. Experience has shown it is impossible to make choices in the political world of social programming without values becoming important in choices regarding evaluative criteria, performance standards, or criteria weightings (Shadish et al., 1991). The values of the evaluator are often reflected in some of the definitions of evaluation which have emerged, definitions that have also been influenced by the context in which the evaluator operated. Gronlund (1976), influenced by Tyler's goal-based conception of evaluation, described it as “the systematic process of determining the extent to which instructional objectives are achieved”. Cronbach (Cronbach et al., 1980), through reflection on the wider field of evaluation and influenced by his view of evaluators as educators, defined evaluation as “an examination conducted to assist in improving a programme and other programmes having the same general purpose”.


In education the term evaluation is often used interchangeably with assessment, particularly in North America. 

    • While assessment is primarily concerned with the measurement of student performance, 
    • evaluation is generally understood to refer to the process of obtaining information about a course or programme of teaching for subsequent judgement and decision-making (Newble & Cannon, 1994). 

Mehrens (1991) identified two of the purposes of assessment as:

    • to evaluate the teaching methods used;
    • to evaluate the effectiveness of the course.


Assessment can, therefore, be looked upon as a subset of evaluation, its results potentially being used as a source of information about the programme. Indeed student gain by testing is a widely used evaluation method, although it requires student testing both pre- and post-course.





History of evaluation


With the realization of the political nature of the decision-making process, educational evaluators began to embrace Cronbach's view of the evaluator as an educator, in that he/she should rarely attempt to focus his/her efforts on satisfying a single decision-maker, but should focus those efforts on “informing the relevant political community” (Cronbach, 1982b). They also realized that, while many of their attempts at evaluation did not work, some did and when they worked programme quality improved to varying degrees. Improvement, even when modest, was recognized to be valuable (Popham, 1988).






Effecting programme evaluation

There are a number of steps to be taken in planning and implementing programme evaluation.


Initiation/commissioning

The initial stage of evaluation is where the institutions or individuals responsible for a programme take the decision to evaluate it. They must decide on the purpose(s) of the evaluation, and who will be responsible for undertaking it. There are potentially numerous reasons for undertaking evaluation. Muraskin (1997) lists some of the common reasons for conducting evaluations and common areas of evaluation activity (Table 1).


Chelimsky & Shadish (1997) suggest that the purposes of evaluation, along with the questions evaluators seek to answer, fall into three general categories:

      • evaluation for accountability;
      • evaluation for knowledge;
      • evaluation for development.


Table 2.  Three perspectives and their positions along five dimensions (Adapted from Chelimsky & Shadish, 1997).






The potential cost of the evaluation often plays a major role in determining the scope of the evaluation and identity of the evaluator(s), as the cost will have to be met from the programme budget, or by seeking additional funding. The question of whether the evaluator should be internal or external to the programme's development and delivery is often considered at this point. In order to produce an effective educational evaluation, Coles & Grant (1985) point out that skills from many disciplines, for example psychology, sociology, philosophy, statistics, politics and economics, may be required. They rightly question whether one individual would have the competence to perform all these tasks, and whether an institution would necessarily have these skills in-house.


Defining the evaluator's role

The evaluator(s), having been appointed, must reflect on his/her role in the evaluation. This is important to establish as it will influence the decision-making process on the goals of the evaluation, and on the methodology to be used. It is at this point that the evaluator decides where, and to whom, his/her responsibility lies, and on the values he/she requires to make explicit. The questions to be asked in the evaluation, and their source of origin, will be influenced by these decisions.


The ethics of evaluation

Evaluators face potential ethical problems, for example, they have the potential to exercise power over people, which can injure self-esteem, damage reputations and affect careers. They can be engaged in relationships where they are vulnerable to people awarding future work. In addition, evaluators often come from the same social class and educational background as those who sponsor the evaluations. The ethics of an evaluation, however, are not the sole responsibility of the evaluator(s). Evaluation sponsors, participants and audiences share ethical responsibilities. House (1995) lists five ethical fallacies of evaluation: (평가시에 빠지기 쉬운 윤리적 오류)

      • Clientism—the fallacy that doing whatever the client requests or whatever will benefit the client is ethically correct.
      • Contractualism—the fallacy that the evaluator is obliged to follow the written contract slavishly, even if doing so is detrimental to the public good.
      • Methodologicalism—the belief that following acceptable inquiry methods assures that the evaluator's behaviour will be ethical, even when some methodologies may actually compound the evaluator's ethical dilemmas.
      • Relativism—the fallacy that opinion data the evaluator collects from various participants must be given equal weight, as if there is no bias for appropriately giving the opinions of peripheral groups less priority than that given to more pivotal groups.
      • Pluralism/Elitism—the fallacy of allowing powerful voices to be given higher priority, not because they merit such priority, but merely because they hold more prestige and potency than the powerless or voiceless.


To assist evaluators a number of organizations including the Joint Committee on Standards for Educational Evaluation (1994); the American Evaluation Association (1995); the Canadian Evaluation Society (1992); and the Australasian Evaluation Society (AMIE 1995) have issued guidance for evaluators undertaking evaluation. Other authors and professional organizations have also implicitly or explicitly listed ethical standards for evaluators, for example, the American Educational Research Association (1992), Honea (1992), and Stufflebeam (1991). Drawing on these, Worthen et al. (1997) have suggested the following standards could be applied: (평가자가 지켜야 할 기준들)

      1. Service orientation—evaluators should serve not only the interests of the individuals or groups sponsoring the evaluation, but also the learning needs of the programme participants, community and wider society.
      2. Formal agreements—these should go beyond producing technically adequate evaluation procedures to include such issues as following protocol, having access to data, clearly warning clients about the evaluation's limitations and not promising too much.
      3. Rights of human subjects—these include obtaining informed consent, maintaining rights to privacy and assuring confidentiality. They also extend into respecting human dignity and worth in all interactions so that no participants are humiliated or harmed.
      4. Complete and fair assessment—this aims at assuring that both the strengths and weaknesses of a programme are accurately portrayed.
      5. Disclosure of findings—this reflects the evaluator's responsibility to serve not only his/her client or sponsor, but also the broader public(s) who supposedly benefit from both the programme and its accurate evaluation.
      6. Conflict of interest—this cannot always be resolved. However, if the evaluator makes his/her values and biases explicit in an open and honest way clients can be aware of potential biases.
      7. Fiscal responsibility—this includes not only the responsibility of the evaluator to ensure all expenditures are appropriate, prudent and well documented, but also the hidden costs for personnel involved in the evaluation.


Choosing the questions to be asked

The aims of the evaluation depend not only on the interests of individuals or groups asking them, and the purpose(s) of the evaluation, but also on the views of the evaluator as to his/her role. The work of Cronbach is perhaps the most far reaching in this area. He views the evaluator's role as educator rather than judge, philosopher-king or servant to a particular stakeholder group. In deciding which questions to ask, he advocates asking both all-purpose and case-specific questions. The all-purpose questions depend on the evaluator's assessment of the leverage associated with a particular issue, the degree of prior uncertainty about the answer and the degree of possible and desirable reduction in uncertainty in light of trade-offs among questions, methods and resources. This results in different types of issues prevailing in different programme contexts. His case-particular questions relate to the substantive theories underpinning programme design and investigate why a programme is, or is not, successful, knowledge that not all stakeholders are interested in as they may only desire outcome knowledge, or knowledge specific to their needs. His views place a heavy burden on the evaluator in terms of the methodology being complicated by the range of questions generated (Shadish et al., 1991).


Shadish et al. (1991) supply a useful set of questions for evaluators to ask when starting an evaluation. These cover the five components of evaluation theory and provide a sound practical basis for evaluation planning (boxes 1–5).

      • Box 1: Questions to ask about Social programming
      • Box 2: Questions to ask about use
      • Box 3: Questions to ask about knowledge construction
      • Box 4: Questions to ask about valuing
      • Box 5: Questions to ask about evaluation practice


Designing the evaluation

Having decided what needs to be done the evaluator has to design an appropriate plan to obtain the data required for the purpose(s) of his/her evaluation.


Dimensions of evaluation

Stake (1976) suggested eight dimensions along which evaluation methods may vary: (평가의 여덟 차원)

    • Formative–summative: This distinction was first made by Scriven (1967). Formative evaluation is undertaken during the course of a programme with a view to adjusting the materials or activities. Summative evaluation is carried out at the end of a programme. In the case of an innovative programme it may be difficult to determine when the end has been reached, and often the length of time allowed before evaluation takes place will depend on the nature of the change.
    • Formal–informal: Informal evaluation is undertaken naturally and spontaneously and is often subjective. Formal evaluation is structured and more objective.
    • Case particular–generalization: Case-particular evaluation studies only one programme and relates the results only to that programme. Generalization may study one or more programmes, but allow results to be related to other programmes of the same type. In practice results may lend themselves to generalization, and the attempt to formulate rules for case study recognizes that generalizing requires greater control, and more regard to setting and context (Holt, 1981).
    • Product–process: This distinction mirrors that of the formative–summative dimension. In recent years evaluators have been increasingly seeking information in the additional area of programme impact.
      • Process information: In this dimension information is sought on the effectiveness of the programme's materials and activities. Often the materials are examined during both programme development and implementation. Examination of the implementation of programme activities documents what actually happens, and how closely it resembles the programme's goals. This information can also be of use in studying programme outcomes.
      • Outcome information: In this dimension information is sought on the short-term or direct effects of the programme on participants. In medical education the effects on participants’ learning can be categorized as instructional or nurturant. The method of obtaining information on the effects of learning will depend on which category of learning outcome one attempts to measure.
      • Impact information: This dimension looks beyond the immediate results of programmes to identify longer-term programme effects.
    • Descriptive–-judgmental: Descriptive studies are carried out purely to secure information. Judgmental studies test results against stated value systems to establish the programme's effectiveness.
    • Pre-ordinate–responsive: This dimension distinguishes between the situation where evaluators know in advance what they are looking for, and one where the evaluator is prepared to look at unexpected events that might come to light as he/she goes along.
    • Holistic–analytic: This dimension marks the boundary between evaluations, which looks at the totality of a programme, from one that looks only at a selection of key characteristics.
    • Internal–external: This separates evaluations using an institution's own staff from those that are designed by, or which require to satisfy, outside agencies.


Choosing the appropriate design

A range of methods, from psychometric measurement at one end to interpretive styles at the other, has been developed. Table 3 provides a list of common quantitative and qualitative methods and instruments available to educational evaluators.


Table 3.  Common quantitative and qualitative methods and instruments for evaluation.


Shadish (1993), building on Cook's (1985) concept that triangulation should be applied not only to the measurement phase but to other stages of evaluation as well, advocates using critical multiplism to unify qualitative and quantitative approaches. He proposes seven technical guidelines for the evaluator in planning and conducting his/her evaluation:(평가자가 평가 계획 및 수행시 따라야 할 가이드라인)

      1. Identify the tasks to be done.
      2. Identify different options for doing each task.
      3. Identify strengths, biases and assumptions associated with each option.
      4. When it is not clear which of the several defensible options is least biased, select more than one to reflect different biases, avoid constant biases and overlook only the least plausible biases.
      5. Note convergence of results over options with different biases.
      6. Explain differences of results yielded by options with different biases.
      7. Publicly defend any decision to leave a task homogenous.


Approaches to evaluation

With the explosion in the numbers of approaches in recent years, many of which overlap, a number of attempts have been made to categorize the different evaluation approaches. One of the most useful was developed by Worthen et al. (1997), influenced by the work of House (1976, 1983). They classify evaluation approaches into the following six categories: (평가의 여섯 가지 접근법)


      • Objectives-oriented approaches—where the focus is on specifying goals and objectives and determining the extent to which they have been attained.
      • Management-oriented approaches—where the central concern is on identifying and meeting the informational needs of managerial decision-makers.
      • Consumer-oriented approaches—where the central issue is developing evaluative information on ‘products’, broadly defined, for use by consumers in choosing among competing products, services etc.
      • Expertise-oriented approaches—these depend primarily on the direct application of professional expertise to judge the quality of whatever endeavour is evaluated.
      • Adversary-oriented approaches—where planned opposition in points of view of different evaluators (for and against) is the central focus of the evaluation.
      • Participant-oriented approaches—where involvement of participants (stakeholders in the evaluation) is central in determining the values, criteria, needs and data for the evaluation.


These categories can be placed along House's (1983) dimension of utilitarian to intuitionist-pluralist evaluation (Figure 1). 

Utilitarian approaches determine value by assessing the overall impact of a programme on those affected, 

whereas intuitionist-pluralist approaches are based on the idea that value depends on the impact of the programme on each individual involved in the programme.


Figure 1. Distribution of the six evaluation approaches on the utilitarian to intuitionist–pluralist evaluation dimension. (직관론자-다원론자 차원에 배치)



Similarly, to provide a complete description of each example would be beyond the scope of this guide. To assist readers in choosing which of the approaches might be most helpful for their needs, the characteristics, strengths and limitations of the six approaches are summarized in Table 5. These are considered under the following headings after Worthen et al. (1997):

      • Proponents—individuals who have written about the approach.
      • Purpose of evaluation—the intended use(s) of evaluation proposed by writers advocating each particular approach or the purposes that may be inferred from their writings.
      • Distinguishing characteristics—key descriptors associated with each approach.
      • Past uses—ways in which each approach has been used in evaluating prior programmes.
      • Contribution to the conceptualization of an evaluation—distinctions, new terms or concepts, logical relationships and other aids suggested by proponents of each approach that appear to be major or unique contributions.
      • Criteria for judging evaluations—explicitly or implicitly defined expectations that may be used to judge the quality of evaluations that follow each approach.
      • Benefits—strengths that may be attributed to each approach and reasons why one might want to use this approach.
      • Limitations—risks associated with use of each approach.


Table 5.  Comparative analysis of the characteristics, strengths and limitations of the six categories (after Worthen et al., 1997).







Interpreting the findings

Having collected the relevant data the next stage in evaluation involves its interpretation. Coles & Grant (1985) view this process as involving two separate, though closely related activities: analysis and explanation.


Such meta-evaluations assert that all evaluations can be evaluated according to publicly justifiable criteria of merit and standards of performance, and that the data can help determine how good an evaluation is. The need for meta-evaluation implies recognition of the limitations of all social science, including evaluation (Hawkridge, 1979). Scriven (1980) developed the Key Evaluation checklist, a list of dimensions and questions to guide evaluators in this task (Table 6). (평가 체크리스트)


Table 6.  Key evaluation checklist.




Having analysed the data, the evaluator needs to account for the findings. In education the researcher accounts for the findings by recourse to the mechanisms embodied in the contributing disciplines of education (Coles & Grant, 1985). As few individuals have expert knowledge of all the fields possibly required, specialist help may be required at this point. This again has resource implications for the evaluation. Shadish et al.'s (1991) questions (boxes 2–5) also offer evaluators salient points to consider when interpreting the results of their evaluation.



Dissemination of the findings

Again Shadish et al.'s questions on evaluation use (box 2) are of value in considering how, and to whom, the evaluation findings are to be reported. Reporting will be in some verbal form, written or spoken, and may be for internal or external consumption. It is important for the evaluator to recognize for which stakeholder group(s) the particular report is being prepared. Coles & Grant (1985) list the following considerations: (보고서 작성시 유의해야 할 사항)

      1. Different audiences require different styles of report writing.
      2. The concerns of the audience should be reviewed and taken into account (even if not directly dealt with).
      3. Wide audiences might require restricted discussion or omission of certain points.
      4. The language, vocabulary and conceptual framework of a report should be selected or clarified to achieve effective communication.


Evaluators require to present results in an acceptable and comprehensible way. It is their responsibility to persuade the target audience of the validity and reliability of their results. Hawkridge (1979) identified three possible barriers to successful dissemination of educational research findings: (교육연구 결과물을 배포하는데 있어서 장애요인)

      1. The problem of translating findings into frames of reference and language which the target audience can understand. However the danger in translating findings for a target audience is that the evaluator may as a result present the findings in a less than balanced manner.
      2. If the findings are threatening to vested interests, they can often be politically manoeuvred out of the effective area.
      3. The ‘scientific’, positivistic, approach to research still predominates in most academic institutions, which may view qualitative research methods and findings as ‘soft’, and be less persuaded by their findings. As qualitative methods receive greater acceptance this is becoming less of a problem.


A further problem concerns the ethics of reporting. As Coles & Grant (1985) suggested in their consideration of how—and to whom—to report, dissemination of information more widely may require to be censored, for example, information about a particular teacher would not usually be shared with anyone outside a select audience. The evaluator also has to be aware that the potential ramifications of a report may go wider than anticipated, for example into the mass media, where this may not be desired.



Influencing decision-making

As has been touched upon earlier, the initial enthusiasm of the 1970s educational evaluators became soured by the realization of the political nature of the educational decision-making process, and by the inconclusive results that were often obtained. Coles & Grant (1985) suggest the following ways in which evaluators can effect the educational decision-making process: (평가자들이 교육적 의사결정과정에 영향을 줄 수 있는 방법)

      1. involving the people concerned with the educational event at all stages of the evaluation;
      2. helping those who are likely to be associated with the change event to see more clearly for themselves the issues and problems together with putative solutions;
      3. educating people to accept the findings of the evaluation, possibly by extending their knowledge and understanding of the disciplines contributing towards an explanation of the findings;
      4. establishing appropriate communication channels linking the various groups of people involved with the educational event;
      5. providing experimental protection for any development, allocating sufficient resources, ensuring it has a realistic life expectancy before judgements are made upon it, monitoring its progress;
      6. appointing a coordinator for development, a so-called change agent;
      7. reinforcing natural change. Evaluation might seek out such innovations, strengthen them and publicize them further.






 2006 May;28(3):210-24.

AMEE Education Guide no. 29: evaluating educational programmes.

Abstract

Evaluation has become an applied science in its own right in the last 40 years. This guide reviews the history of programme evaluation through its initial concern with methodology, giving way to concern with the context of evaluation practice and into the challenge of fitting evaluation results into highly politicized and decentralized systems. It provides a framework for potential evaluators considering undertaking evaluation. The role of the evaluator; the ethics of evaluation; choosing the questions to be asked; evaluation design, including the dimensions of evaluation and the range of evaluation approaches available to guide evaluators; interpreting and disseminating the findings; and influencing decision making are covered.

PMID:

 

16753718

 

[PubMed - indexed for MEDLINE]


Investigating the use of sampling for maximising the efficiency of student-generated faculty teaching evaluations

Clarence D Kreiter1 & Venkatesh Lakshman2




Purpose  

학생을 대상으로 설문을 하는 것은 강의나 교수 평가를 위해서 많이 사용되는 방법이다. 학생의 의견을 정확히 반영하기 위한 정보 수집을 위해서는 학생들을 평가 과정에 참여시키고 평가에 대한 사려깊은 응답을 제공해야 한다. 학생의 헌신을 유지하기 위해서 학생들이 '대충 설계된 평가(poorly planned evaluations)'를 하느라 부담을 느끼지 않도록 해야한다. 

Surveys of medical students are widely used to evaluate course content and faculty teaching within the medical school. Gathering information that accurately reflects student perceptions requires that students buy into the evaluation process and be willing to provide thoughtful responses to the teaching evaluation. To maintain student commitment, it is important that medical students are not overburdened with poorly planned evaluations. Sampling might decrease the number of evaluations required of students and might also reduce the proportion of non-responses and other forms of inattentive response biases.


Methods  

A sampling technique employed within a large medical lecture is described and evaluated. A generalisability study of the teacher evaluations is conducted.


Results  

A high response rate and high levels of reliability were obtained by sampling a small proportion of the total class. The largest source of error was related to rater and utilising sufficient numbers of student-raters is critical to achieving reliable results.


Conclusion  

Sampling can reduce evaluation demands placed on students, and preserve reliability and increase the validity of mean evaluation scores. With computer presentation, efficient sampling techniques become practical and should be part of software packages used to present teacher evaluations.










 2005 Feb;39(2):171-5.

Investigating the use of sampling for maximising the efficiency of student-generated faculty teaching evaluations.

Abstract

PURPOSE:

Surveys of medical students are widely used to evaluate course content and faculty teaching within the medical school. Gathering information that accurately reflects student perceptions requires that students buy into the evaluation process and be willing to provide thoughtful responses to the teaching evaluation. To maintain student commitment, it is important that medical students are not overburdened with poorly planned evaluations. Sampling might decrease the number of evaluations required of students and might also reduce the proportion of non-responses and other forms of inattentive response biases.

METHODS:

sampling technique employed within a large medical lecture is described and evaluated. A generalisability study of the teacher evaluations is conducted.

RESULTS:

A high response rate and high levels of reliability were obtained by sampling a small proportion of the total class. The largest source of error was related to rater and utilising sufficient numbers of student-raters is critical to achieving reliable results.

CONCLUSION:

Sampling can reduce evaluation demands placed on students, and preserve reliability and increase the validity of mean evaluation scores. With computer presentation, efficient sampling techniques become practical and should be part of software packages used to present teacher evaluations.

PMID:

 

15679684

 

[PubMed - indexed for MEDLINE]


Setting Priorities for Teaching and Learning: An Innovative Needs Assessment for a New Family Medicine Program in Lao PDR

Jeanie Kanashiro, MD, MMEd, Gwen Hollaar, MD, MPH, Bruce Wright, MD, Khamphong Nammavongmixay, MD, and Sue Roff, MA


라오스는 동남아시아의 작은, 열대, 내륙 국가이다. 이 지역에서 가장 개발이 덜 된 국가 중 하나이며, 사회경제적 지표는 세계에서도 하위 25%에 속한다. WHO는 일차의료에 대한 평등을 요구하고 있으며 라오스도 이러한 요구에 부응하기 위하여 Family Medicine Specialist Program (FMSP)를 개발하였다. 이것은 라오스에서 개발된 졸업후 수련 프로그램으로서 지역사회 일차의료진을 양성하여 라오스 국민의 80%가 살고 있는 농촌 및 외딴 지역의 의료인력을 공급하기 위한 목적을 가지고 있다. 

Lao People’s Democratic Republic (Lao PDR) is a small, tropical, landlocked country in southeast Asia. It is one of the least developed countries in the region, and its socioeconomic indicators are among the lowest 25% in the world. The World Health Organization has long called for increased equity in primary health care access around the world. To meet this need in Lao PDR, the Family Medicine Specialist Program was developed, a Lao-generated postgraduate training program designed to produce community-oriented primary care practitioners to serve the rural, remote areas of Lao PDR, where 80% of the population lives. 


요구사정을 위하여 혁신적인 방법이 필요했기 때문에, modified Delphi technique, 지역의 의학교육 핵심지도자, 임상 전문가, 교사 등을 통해 병원기반교육과정의 목표를 개발하고자 했다. 교수-학습의 우선순위를 설정하고 라오스의 요구 환경을 파악함으로서 저소득국가에서 교육과정 개발시 사용할 수 있는 새로운 접근방법을 개발하였다. 이러한 단계는 부족한 자원을 잘 분배하여 획기적인 프로그램을 도입할 수 있기 위한 과정이며, 더 중요한 것은 이 요구사정의 모델은 다른 저소득국가에서도 활용될 수 있을 것이라는 점이다.

An innovative method of needs assessment was required to determine the health care priorities to be met by this new program. Through the use of a modified Delphi technique, local key leaders in medical education, clinical specialists, and teachers were consulted to develop prioritized objectives for the hospital-based curriculum of the program. By setting priorities for teaching and learning in the unique and needy circumstances of Lao PDR, a novel approach to curriculum planning in a low-income country was explored and ultimately formed the foundation of the new curriculum. This process served to direct the allocation of scarce resources during implementation of this groundbreaking program. More importantly, this model of needs assessment could potentially be used to customize medical curricula in other low-income countries facing challenges similar to those in Lao PDR.


Acad Med. 2007; 82:231–237.





라오스는 아시아의 최저개발국 중 하나이며, 인구는 약 600만명이고 80%의 인구가 농촌지역에 거주하고 있다. 라오스의 보건지표는 거의 가장 나쁜 수준이며 사회 지표들은 사하라 이남지방의 국가들과 비슷한 수준이다. 

Laos, or Lao People’s Democratic Republic (Lao PDR), is one of the least developed countries in east Asia. Its population is estimated at six million people, and approximately 80% of the population lives in rural areas. The health status of the Lao people is considered by the World Bank as being among the worst in the region, with social indicators comparable with those of countries in sub-Saharan Africa.1 

    • Life expectancy at birth for the total population is 55 years (compared with 78 years in the United States). 
    • The infant mortality rate is 87.1/ 1,000 live births (compared with 6.4/1,000 live births in the United States). 
    • More than 75% of the Lao people live on less than two U.S. dollars per day. 
    • An estimated 40% of the population lives below the national poverty line.2 
    • Malaria, pneumonia, and diarrhea—preventable and treatable conditions—remain leading causes of morbidity and mortality.3 
비록 사회경제적 지표가 개선중에 있기는 하나 라오스는 UNHDI 기준으로 177개국중 135위이며, 여전히 가장 저개발된 국가 중 하나이다.

Although socioeconomic and health indicators are improving, Lao PDR is ranked 135 out of 177 countries by the United Nations Health Development Index and remains among the world’s least developed nations.4



새로운 가정의학 교육과정 개발 Developing a New Family Medicine Curriculum


2004년 라오스 국립대학의 의과학과 교수(Faculty of Medical Sciences)와 라오스의 보건부/교육부는 캘거리대학의 의과대학 교수들과 함께 새로운 일차의료 프로그램을 개발하기로 하였다.

In 2004, the Faculty of Medical Sciences (FMS) at the National University of Laos (NUOL) and the Lao Ministries of Health and Education joined with the University of Calgary Faculty of Medicine to develop a new primary care program.


라오스 국립의대 대표들과 캘거리대학 대표들은 FMSP라는 2년짜리 프로그램을 만들고자 했다.

With this in mind, representatives from the FMSNUOL, the ministries, and the University of Calgary developed a two-year primary care training program called the Family Medicine Specialist Program (FMSP).


FMSP의 목표는 라오스 연수생들이 실질적으로 도움이 되는 경험을 쌓고 최소한의 지원만 받고서도 라오스의 농촌 지역에서 독립적으로 진료를 할 수 있는 역량을 갖추는 것이다.

The expressed goal of the FMSP was for Lao trainees to acquire practical, hands-on experience in the care of patients, so that they would gain the competence and confidence to practice in isolated rural settings independently with minimal assistance.


국제사회는 일차의료서비스를 전세계에 고르게 제공할 것을 요구하고 있다.

The international community has advocated a mandate to deliver primary health care services throughout the world.6


이러한 요구는 개발도상국에서 특히 절실하다. 라오스에서 의과대학 교육과정은 여러 도전을 극복해야 한다. 장애물은 다음과 같다.

This need is especially grave in developing nations. In Lao PDR, medical curriculum development faces many challenges that are specific to its low-income status. Obstacles include...

    • lack of health care professionals with adequate training and remuneration, 
    • the poverty and the predominantly rural location of the general population, 
    • a lack of basic resources in health services, 
    • lack of educational resources for professional development, 
    • a lack of a professional infrastructure for medical personnel, 
    • a lack of informational infrastructure in medical institutions, 
    • the poor health-seeking behaviors of the general public, 
    • difficult physical access to rural villages and health care centers, and many others.
라오스의 유일한 의과대학은 NUOL에 있으며, 졸업 후에 일부 학생은 외국으로 수련을 떠나거나 소수의 졸업후 전공과목 수련 프로그램에 들어간다. 다른 학생들은 nonclinical employment에 의존한다. 그리고 매우 극소수의 졸업생만이 지방의 의료시설에 근무하나, 이 지역은 가장 도움이 절실한 지역이다. 2002년 라오스 정부는 의학교육의 실태를 평가하고 보건의료인력개발이 절실히 필요함을 보고했다. 의과대학 졸업생들은 최일선에서 진료할 능력과 자신감 부족, 적절한 훈련 시스템 부족 등을 이유로 농촌에서 진료를 하기를 꺼려했다. FMSP가 2005년 도입되기 이전까지는 국가의 일차의료를 제공하기 위한 수련 프로그램은 전무한 상황이었다.

The only medical school in the country is located at the NUOL. At graduation, a small number of students pursue further training in a foreign country or they enter one of a few small postgraduate specialty-training programs in Lao PDR.8 Other students resort to nonclinical employment within the urban center of Vientiane. Very few medical graduates go on to work independently in district health centers or provincial hospitals, where care is most needed. In 2002, the Lao government assessed its status of medical education in the country and reported severe needs in the area of health human resources development. Medical graduates were found to be unwilling and unable to practice in the remote and rural areas of the country because of a lack of adequate training and, hence, a lack of ability and confidence to provide frontline primary care.9 Before the launch of the FMSP in January 2005, there was no educational training program dedicated to providing primary health care in the country.



요구사정의 필요성 A Need for Needs Assessment


새로운 FMSP 교육과정을 정의하는 중요한 업무를 위해서는 지역의 상황에 맞고 라오스의 맥락에 맞는 혁신적 방법을 필요로 했다. 그 첫 단계는 프로그램이 도달해야 하는 보건의료 요구를 파악하는 것이었다.

The sizable task of defining a new FMSP curriculum that reflected the health care needs of the country’s tropical Asian environment and that was feasible to achieve Lao PDR’s social, cultural, and economic context required innovative methodology. The first step of planning a new medical curriculum is to identify the health care needs that the program intends to meet.10


A modified Delphi

We implemented a modified Delphi technique modeled after a study described by Lawrence et al11 to serve as the needs assessment for the first-year curriculum. The technique consisted of the following features:


The expert panel

The Lao Ministry of Health and FMS leadership at NUOL established an expert panel called “the Key Leaders” to tackle multiple curricular innovations in medical education in Lao PDR, including defining the curricular objectives of the FMSP.


Consultation with clinicians and teachers

We identified three groups of clinicians to form the second iteration of the Delphi process:

We constructed a questionnaire based on the list of objectives created by the Key Leaders.


Developing priority lists

As the final component of our Delphi technique, we created prioritized objective lists for teaching and learning by combining the responses of the above three clinician groups, collectively called “the expert clinician group.”



요구사정 결과에 대한 평가 Assessing Our Needs Assessment


교육 프로그램에서 이끌어낸 해결책은 '메이드 인 라오스'이다. 프로그램은 라오스사람들에 의해서 라오스사람들을 위해 만들어졌고, 캘거리대학 자문단의 역할은 과정에 대한 것이었지 내용에 대한 것이 아니었다.

The educational program that evolved was a “made in Laos” solution to a lack of available primary care; the program was created by Laotians for Laotians. The role of the University of Calgary consultants was mainly to help with process, not to formulate content.


한 가지 딜레마는 가르쳐야 하는 것과 라오스 농촌에서 수행할 수 있는 것 사이의 간극이었다.

One consistent dilemma the respondents faced was the polarity between wishing to teach what ought to be learned versus what can be practiced within the restricted resources of rural Laos.


한 가지 예시는 CPR의 우선순위가 낮다는 것이었다.

One prime example was the lower ranking of cardiopulmonary resuscitation (CPR) in both the surgery and pediatrics objectives.


라오스 사람들이 lifesaving external device에 대해서 가지고 있는 종교적 믿음이, 그 장치 사용을 가로막았다. 라오스 불교적 관점에서 신체를 'holy temple'로 바라보았고 환자와 가족들은 종종 침습적 방법을 사용하는게 그 믿음에 위배되는 것이라고 보았다.

Senior surgeons identified that the religious beliefs of the Lao people can prevent the use of lifesaving external devices; in the Lao Buddhist religion, the body is viewed as a “holy temple,” and patients and family members would often consider invasive maneuvers a violation of their beliefs.


첫 단계에서 핵심 리더 그룹이 인지한 교육과정에 대한 문제 중 하나는 attitudinal objectives가 없다는 점이었다.

A criticism of the curriculum that was acknowledged by the Key Leaders group in the first stage of our assessment was the lack of attitudinal objectives present in the curriculum.


영문에서 라오어로 번역하는 것 역시 이 평가의 한계로 작용했는데, 라오스 의사들과 선생님들이 여러 언어를 잘 하긴 했지만 영어는 아니었고, 라오어는 라오스의 유일한 공식 언어였다.

Language equivalency and translation of the study materials from English into Lao represented a weakness in this assessment. Lao physicians and teachers can be fluent in multiple languages, but not necessarily in English. The only official language of the country is Lao.


또 다른 약점은 농어촌 의료진을 포함시키지 못한 것이다.

A further weakness of this assessment was the inability to include existing rural practitioners.


연구의 강점은 이 과정이 두 가지 목적을 동시에 추구했다는 것이다. 하나는 보건의료의 우선순위를 밝히고자 했고, 다른 하나는 교수개발의 도구로서 라오스의 의학교육 리더들을 교육과정 개발과 요구사정에 참여시켰을 뿐만 아니라 새 프로그램에서 교사로 참여할 의사들도 포함시켰다.

The strength of this study is that the process served a dual purpose. First, it identified the health care priorities to be addressed by the FMSP. Second, it functioned as a faculty-development tool and introduced not only the Lao medical education leadership to novel methods of curriculum development and needs assessment, but it also involved the clinicians who would be the new teachers of the program.


교수개발을 제공하는 것과 더불어, 중요한 또 하나는 델파이방법의 특징인 익명성이다. 라오스 의학교육 시스템은 교사와 의사사이에 위계가 중요하다. 이는 요구사정 과정의 정확성을 해칠 수 있다. 모든 의사들을 델파이 과정에 참여시킴으로서 각각의 참여자들이 위협받지 않는 상황에서 동등하게 기여할 수 있었다.

In addition to providing faculty development, the process used a key characteristic of the Delphi method—anonymity. Within the Lao medical education system, hierarchy between teachers and clinicians can play a dominant role, which may hinder the accuracy of a needs-assessment process. By involving all available clinicians (junior and senior physicians) in the Delphi process, each participant was able to contribute equally in a nonthreatening environment and, thus, have a voice in the new curriculum.


우리가 수행한 요구사정 방법은 이해관계자들과의 관계를 증진시키고 정보를 모음으로서 다른 방법으로는 측정하기 어렵거나 모으기 힘든 자료를 수집했다는 점이다. 라오스의 통계자료는 심지어 국가적 수준에서도 분절되어있고 신뢰하기 어렵다. 라오스 의사들과의 소통을 통한 질적 자료 수집은 드러나지 않았던 독특한 이슈들을 드러나게 했다. 

The needs assessment we performed was rooted in developing relationships with the relevant stakeholders to gather information that would otherwise be immeasurable and unattainable by standard quantitative means. Statistical data in Laos is fragmentary and unreliable at best, even at the national level. The qualitative data obtained through interacting with the Lao clinicians and educators uncovered unique issues, such as creating public awareness for the program, so that rural Laotians will attend local medical centers, which are currently underused.


또한 우선순위 리스트를 작성함으로써 study guide나 logbook이 개발될 수 있었으며, 이들 리스트를 활용하여 교사들은 임상적으로 더 중요한 내용들에 집중할 수 있게 되었다.

There have been many advantages to producing the prioritized lists for teaching and learning at the outset of the FMSP. Study guides and logbooks based on the priority objective lists were developed to support both trainers and trainees. Using these lists, teachers have been directed to teach more on topics of greater clinical relevance and less on topics that are rare within the Lao context.











 2007 Mar;82(3):231-7.

Setting priorities for teaching and learning: an innovative needs assessment for a new family medicine program inLao PDR.

Abstract

Lao People's Democratic Republic (Lao PDR) is a small, tropical, landlocked country in southeast Asia. It is one of the least developed countries in the region, and its socioeconomic indicators are among the lowest 25% in the world. The World Health Organization has long called for increased equity in primary health care access around the world. To meet this need in Lao PDR, the Family Medicine Specialist Program was developed, a Lao-generated postgraduate training program designed to produce community-oriented primary care practitioners to serve the rural, remote areas of LaoPDR, where 80% of the population lives. An innovative method of needs assessment was required to determine the health care priorities to be met by this new program. Through the use of a modified Delphi technique, local key leaders in medical education, clinical specialists, and teachers were consulted to develop prioritized objectives for the hospital-based curriculum of the program. By setting priorities for teaching and learning in the unique and needy circumstances of Lao PDR, a novel approach to curriculum planning in a low-income country was explored and ultimately formed the foundation of the new curriculum. This process served to direct the allocation of scarce resources during implementation of this groundbreakingprogram. More importantly, this model of needs assessment could potentially be used to customize medical curricula in other low-income countries facing challenges similar to those in Lao PDR.








Kirkpatrick의 4단계 평가 모델을 활용한 이종욱-서울 프로젝트 1차년도 성과 평가

서울대학교 의과대학 의학교육학교실

이승희, 신좌섭, 김도환, 김은정, 황진영, 윤현배





2011년 시작된 '이종욱-서울 프로젝트'는 라오스 국립의대 교수진에게 의학 및 의료기술 교육을 제공하는 사업이다.  이 프로젝트는 한국의 보건의료 발전 모델을 개발도상국에 적용하는 중요한 시도로 받아들여지고 있을 뿐만 아니라 유사한 원조 프로젝트가 여러 국가들로 확대되고 있다는 점에서 그 중요성을 더한다. 따라서 우리는 프로젝트 효과성을 평가하여 개선 방향을 제시하고 나아가 이종욱-서울 프로젝트의 미래 방향에 대한 기초자료로 삼고자 한다.

Purpose: The Lee Jong-Wook Seoul Project, which began in 2011, is a training program that aims to educate faculty members of Lao University of Health Sciences in medical knowledge and skills. The project has tremendous significance, attempting to apply the Korean health care developmental model to developing countries. Precise evaluation of the project outcome must be performed to enhance the effectiveness, improve the shortcomings, and adjust the future direction of the program.


교육프로그램의 성과 평가는 Kirkpatrick의 4단계 모형을 기반으로 수행되었다. 프로그램 진행 중간과 종료 시점에 지도교수와 교환교수에게 2회의 설문조사를 하였으며, 이를 바탕으로 Kirkpatrick 모형의 1단계와 2단계를 평가하였다. 3단계는 1차년도 교환교수들이 연수를 마치고 귀국 8개월 후에 라오스 현지를 방문하여 교환교수와 그들의 동료를 대상으로 다면평가를 실시하였다.

Methods: Trainers and exchange professors were asked to fill out questionnaires in the middle and at the end of the program. Eight months after its completion, an evaluation team visited Lao and interviewed each exchange professor individually. Also, 360-degree feedback was obtained from their colleagues. We analyzed the answers to the questionnaires, based on Kirkpatrick’s 4-level model.


1단계(반응) 수준의 평가에 대해서는 지도교수와 교환교수 모두 비슷한 수준의 긍정적 응답을 보였다. 2단계(학습) 수준의 평가에서는 지도교수, 교환교수 모두 지식 및 술기의 향상이 있었다는 것에는 공통적인 의견을 나타냈으나, 그 수준에 있어서는 교환교수가 스스로의 성취도를 조금 더 과대평가하는 경향이 있었다. 3단계(전이) 수준의 평가에 있어서 교환교수가 연수 프로그램에서 얻은 지식, 경험, 자료를 많이 공유하고 있다는 것을 알 수 있었다. 

Results: The trainers and exchange professors had positive reactions to the program. All participants felt that their knowledge and skills improved (in their respective fields), although the actual improvement was not extensive, according to their trainers' assessments. The 360-degree feedback demonstrated that the participants actively passed on their experience, knowledge, and skills to their colleagues on returning to work.


4단계의 평가가 이루어지지 않았고, 평가 측면에서 학업성취평가, UHS내 양적 데이터 수집, 다면평가 데이터 수집 등의 측면에서 아직 극복해야 할 난관(challenge)이 많지만 1차년도 이종욱-서울 프로젝트를 통해 교환교수들은 많은 것을 학습하고 현지에서 활용하고자 노력한다는 것을 확인할 수 있었다.

Conclusion: Although a 4-level evaluation was not conducted and despite the limitations in examining academic achievement, interviewing Lao professors, and acquiring quantitative data at Lao University of Health Sciences, this project has demonstrated its value in the development of individual professors and their colleagues.



Fig. 1 
Brief Description of the Four Levels of Kirkpatrick's Evaluation Model



Table 1 
Profile of Exchange Professors

M: Male, F: Female, UHS: University of Health Sciences.

a)Completed 6 month-training.



Table 2 
Reaction to Training Program

Data are presented as mean±SD.

a)t-test between trainers' and exchange professors' responses at final evaluation, b)Based on the assumption that the major class of the same school year average is 50 in Seoul National University College of Medicine



Table 3 
Evaluation of Knowledge at Pre-training and Post-training

Data are presented as mean±SD.

a)t-test between trainers' and exchange professors' responses at final evaluation, b)Based on the assumption that the major class of the same school year average is 50 in Seoul National University College of Medicine.



Table 4 
Changes in Behavior Related to Teaching



Table 5 
Changes in Behavior Related to Medical Practice



Table 6 
Evaluation of Training Program Management






Korean J Med Educ. 2014 Mar;26(1):41-51. Korean.
Published online 2014 March 05.  http://dx.doi.org/10.3946/kjme.2014.26.1.41 
© The Korean Society of Medical Education. All rights reserved.
Evaluation of first year outcomes of Lee Jong-Wook Seoul Project using Kirkpatrick's four-level evaluation approach

Seunghee Lee, Jwa-Seop Shin*, Do-Hwan Kim, Eun Jeong Kim, Jinyoung Hwang and Hyun Bae Yoon

Department of Medical Education, Seoul National University College of Medicine, Korea.

*Corresponding Author: Jwa-Seop Shin. Department of Medical Education, Seoul National University College of Medicine, 103 Daehak-ro, Jongno-gu, Seoul 110-799, Korea. Tel: +82.2.740.8175, Fax: +82.2.745.6373,Email: hismed1@snu.ac.kr 
Received October 17, 2013; Revised November 19, 2013; Accepted November 21, 2013.



Summary of Educating Physicians: A Call for Reform of Medical School and Residency

Abstract:

This summary is based on the Jossey-Bass publication of the same title, Educating Physicians: A Call for Reform of Medical School and Residency (June 2010).



THE STUDY


본 연구는 '전문직이 되기 위한 준비'에 대하여 The Carnegie Foundation for the Advancement of Teaching에서 수행한 더 큰 프로그램의 한 부분이다. 본 연구는 Atlantic Philanthropies 의 지원을 받아 이루어졌으며, 결과물인 Educating Physicians: A Call for Reform of Medical School and Residency는 성직자, 법관, 엔지니어, 간호사 교육에 대한 보고서의 자매편이라 할 수 있다.

This study was part of a larger program of research by The Carnegie Foundation for the Advancement of Teaching on preparation for the professions. The work was funded by a grant from the Atlantic Philanthropies and the resulting book, Educating Physicians: A Call for Reform of Medical School and Residency, is a companion to reports on educating the clergy, lawyers, engineers, and nurses.


1909년 아브라함 플렉스너는 미국과 캐나다의 모든 155개의 의과대학을 방문하였고, 1910년 Medical Education in the United States and Canada라는 보고서를 저술하였다. 플렉스너는 현장 방문을 연구 프로토콜의 하나로서 도입한 선구자이며, 카네기 재단의 연구자들은 플렉스너로부터 많은 힌트를 얻었다.

Beginning in 1909, Abraham Flexner went to all 155 of the medical schools in the United States and Canada. In 1910 he released Medical Education in the United States and Canada. Flexner pioneered the idea of site visits as a research protocol, and Carnegie’s researchers took many of their cues from Flexner.


연구 프로토콜을 디자인하고 연구에 대한 허가를 받은 후 본 연구의 연구진은 AAMC의 LCME로부터 인증을 받은 미국 내 130개 의과대학을 방문하였다. 연구진은 열한 개 의과대학과 연계된 Academic medical center의 내과와 외과 레지던트 프로그램도 방문하였으며, 세 개의 non-university teaching hostpital도 방문하였다.

After designing the study protocol and receiving approval from human subject review boards of the Carnegie Foundation and the University of California, San Francisco, the research team visited eleven of the 130 medical schools in the United States currently accredited by the Liaison Committee for Medical Education of the Association of American Medical Colleges. The team also visited residency programs in internal medicine and surgery at the academic medical centers affiliated with those eleven medical schools as well as at three non-university teaching hospitals.


이 기관들은 미국 내에 위치한 연구중심 의과대학, 지역사회중심 의과대학, academic medical center, non-university teaching hospital을 모두 포괄하고 있다.

The institutions thus represent the array of research intensive and community-based medical schools, academic medical centers, and non-university teaching hospitals where U.S. medical education is located.


방문한 기관은 다음과 같다.

The sites were:

• • Atlantic Health, Morristown, New Jersey

• • The Cambridge Hospital, Cambridge, Massachusetts

• • Henry Ford Hospital and Medical Center, Detroit, Michigan

• • Mayo Medical School, Rochester, Minnesota

• • Northwestern University, Chicago, Illinois

• • Southern Illinois University, Springfield, Illinois

• • University of California, San Francisco, San Francisco, California

• • University of Florida, Gainesville, Florida

• • University of Minnesota–Duluth, Duluth, Minnesota

• • University of North Dakota, Grand Forks, North Dakota

• • University of Pennsylvania, Philadelphia, Pennsylvania

• • University of South Florida, Tampa, Florida

• • University of Texas Medical Branch, Galveston, Texas

• • University of Washington, Seattle, Washington



SUMMARY

현재 북미 의학교육의 청사진은 1910년 아브라함 플렉스너의 보고서(Medical Education in the United States and Canada)에 기술된 것을 따르고 있다. 

The current blueprint for medical education in North America was articulated in 1910 by Abraham Flexner in his report, Medical Education in the United States and Canada, a comprehensive survey of medical education prepared on behalf of The Carnegie Foundation for the Advancement of Teaching and at the request of the American Medical Association’s Council on Medical Education.


이제 의학교육은 다시 한 번 갈림길에 섰다.

Now medical education in the United States is at a crossroads:


플렉스너는 의학과 의학교육에 있어서 과거의 전통이나 관습이 아닌 과학적 탐구와 발견이 미래를 가리키는 것이어야 하며, 오늘날에 들어서 이러한 경고는 더욱 의미가 있다.

Flexner asserted that scientific inquiry and discovery, not past traditions and practices, should point the way to the future in both medicine and medical education. Today, this admonition seems even more compelling,


의학 내적인 환경의 힘과 그 변화에 대응하기 위해서 사실상 의료전문직 내 모든 기관은 의학교육에 대해서 다시 살펴볼 필요가 있다.

Responding to these environmental forces and changes within medicine, virtually every organization within the medical profession is re-examining medical education.


그리고 이들은 모두 근본적인 질문을 던지고 있다. "어떻게 의학교육을 향상시킬 수 있을 것인가?", "더 유능하고 더 공감할 수 있는 의사를 더 효과적, 효율적으로 키워낼 수 있는가?

all asking fundamental questions, such as: How can we improve medical education? Can we produce competent and compassionate physicians more efficiently and effectively?


연구진은 현재 의학교육의 상태를 점검하고 미래를 위한 방향을 제시하고자 하였다. 플렉스너의 발자취를 따라가며 전국의 의과대학과 대학병원을 방문하였다. 

The research team set out to examine the status of medical education and to chart the course for the future. Following in Flexner’s large footsteps, they visited medical schools and academic health centers around the country.


그러나 플렉스너 시대처럼 교육의 질에 있어서 의과대학 사이의 큰 격차가 있지는 않았다.

Unlike Flexner, however, they did not find great disparities in the quality of education among the medical schools visited.


1910년 이후로 발달하기 시작한 두 개의 중요한 외부 기관 - 인증시스템과 면허시스템 - 이 의학교육의 기본을 확고히 하고 있었다.

they recognized that two important external agents, the accrediting and licensing systems—which have become well-developed since 1910—ensure a baseline of quality in medical education


1909년 플렉스너가 비판한 이후 의학교육이 발전하고 있는 것은 맞으나, 플랙스너는 아마 의학교육의 낡은 구조와 형태가 지속적으로 의학교육을 둘러썬 내부/외부의 변화를 극복할 수 있을 것인지 의문을 가질 것이다.

Medical education has certainly evolved since Flexner’s critique in 1909. However, he might wonder if the old structures and forms of medical education can continue to meet the rising challenges, both internal and external, to medical education.


의학교육의 근본적 변화를 위해서는 새로운 교육과정, 새로운 교육법, 새로운 평가법이 필요하다.

Fundamental change in medical education will require new curricula, new pedagogies and new forms of assessment.


다행스럽게도, 이러한 비전은 이미 그 형태를 보여주고 있다.

Fortunately, this vision is beginning to take shape.


Time to Heal을 통해 Kenneth Ludmerer 가 지적한바와 같이 플렉스너가 옹호했던 방식의 개혁은 이미 그가 보고서를 내기 이전부터 시작중이었다. 마찬가지로 연구진은 많은 창의성과 혁신이 진행중임을 확인할 수 있었다.

As Kenneth Ludmerer points out in Time to Heal, the reforms that Flexner advocated were underway well before he issued his critique. Similarly, the researchers observed much creativity and innovation in the course of their field work and study of the literature on medical education and the learning sciences.


그러나 플렉스너가 그 당시에 그랬던 것처럼, 연구진은 의학교육이 많은 부분에서 부족하다는 것도 확인하였다.

However, as did Flexner in his time, the Carnegie researchers found medical education lacking in many important regards. 

수련과정은 경직되어있었고, 길고, 학습자 중심이 아니었으며

Medical training is inflexible, excessively long and not learner centered. 

임상교육은 입원환자 중심으로, 임상교수들은 점점 교육에 쓸 시간을 잃어가고 있었고 관련한 대부분의 업무를 레지던트에게 미룬 상태였다. 병원도 이들의 교육 업무를 지원하기에는 한계에 다다랐다.

They found that clinical education is overly focused on inpatient clinical experience, supervised by clinical faculty who have less and less time to teach and who have ceded much of their teaching responsibilities to residents, and situated in hospitals with marginal capacity to support their teaching mission. 

형식적 지식과 실제적 학습간 연결이 약했고, 환자집단, 의료전달체계, 효율성에 대한 관심은 점차 줄어들고 있었다.

They observed poor connections between formal knowledge and experiential learning and inadequate attention to patient populations, systems of health care delivery, and effectiveness. 

학습자들은 환자와 '함께'일할 기회가 부족했고, 시간에 따라 질환이 진행되고 회복되는 동안 환자가 어떻게 변하는지 볼 시간이 없었다. 학생과 전공의는 '의사노릇'이외의 의사의 역할에 대한 이해가 부족했다.

Learners have inadequate opportunities to work with patients over time and to observe the course of illness and recovery; students and residents often poorly understand non-clinical physician roles. 

의학교육은 학습과학(learning science)를 활용하지 못하고 있었고, 마지막으로 보건의료의 속도와 상업적 속성이 전문직의 기본적 가치를 손상시키고 있었다.

The team observed that medical education does not adequately make use of the learning sciences. Finally, time and again the researchers saw that the pace and commercial nature of health care impede the inculcation of fundamental values of the profession.



현장 방문에 앞서서 연구진은 교수진, 학장, 교육부학장, CEO등을 면담하였다. 대부분의 현장방문은 3일간 진행되었다.

Prior to each site visit, the team interviewed approximately ten faculty members, the dean, the education-related associate deans, and the CEO of the teaching hospital. Most site visits lasted three days, included the authors plus other Carnegie staff, and involved further interviews.


전체 현장방문동안 연구진은 총 184회의 면담, 104회의 포커스그룹 인터뷰, 100회의 참관을 하였다.

Over the course of the site visits, the team conducted approximately 184 interviews, 104 focus groups and 100 observations.


의학교육 및 학습과학과 관련된 문헌을 살펴보았으며 현장방문 전, 현장방문 중, 현장방문 후에 걸쳐서 AAMC, AMA, SDRME등의 여러 집행부와 직원들과 상담했다.

The team also reviewed the literature on medical education and the learning sciences as a means of guiding the interpretations of results and recommendations. Before, during and after the site visits, they consulted widely with the leadership and staff of the Association of American Medical Colleges, the American Medical Association, the Society of Directors of Research in Medical Education, and other medical professional organizations;




TOWARD A VISION FOR THE FUTURE OF MEDICAL EDUCATION


연구의 핵심 결과에 근거하여, 연구진은 의학교육에 대해서 네 개의 목표를 제언하였다.

Based on the study’s key findings, the team recommends four goals for medical education: 

학습성과의 표준화외 학습과정의 개별화

standardization of learning outcomes and individualization of the learning process; 

1. In the Flexner model two years of basic science instruction is followed by two years of clinical experience. This model has been perpetuated through the system of accreditation. However, medical education should now instead standardize learning outcomes and general competencies and then provide options for individualizing the learning process for students and residents


지식과 임상경험의 통합

integration of formal knowledge and clinical experience; 

2. In practice physicians must constantly integrate all aspects of their knowledge, skills and values. Moreover, physicians educate, advocate, innovate, investigate and manage teams. Students and residents need to understand and prepare for the integration of these diverse roles, responsibilities, knowledge and skills; and their learning in the basic, clinical and social sciences should be integrated with their clinical experiences. To experience integration of skills and knowledge in a way that prepares them for practice, medical students should be provided with early clinical immersion, and residents should have more intense exposure to the sciences and best evidence underlying their practice.


탐구 및 혁신하는 태도 함양

development of habits of inquiry and innovation; 

3. A commitment to excellence involves developing the habits of mind and heart that continually advance medicine and health care; this applies to institutions as well as individuals. To help students and residents develop the habits of inquiry and improvement that promote excellence throughout a lifetime of practice, medical schools and teaching hospitals should support the engagement of all physicians-in-training in inquiry, discovery and systems innovation.


전문직의 정체성 형성에 집중

focus on professional identity formation:

4. Professional identity formation—the development of professional values, actions, and aspirations—should be the backbone of medical education, building on an essential foundation of clinical competence, communication and interpersonal skills, and ethical and legal understanding, and extending to aspirational goals in performance excellence, accountability, humanism and altruism.





ESSENTIAL EDUCATIONAL GOALS


현재 교육과정 내용과 관련해서, 필수과정과 그 외의 것들이 좀 더 확실히 구분되어야 한다. 의학지식과 기술이 지속적으로 진화한다는 것을 감안하면, 5년 혹은 10년 지난 것들은 최소화되어야 한다.

• • With respect to curricular content, educators must distinguish more clearly between core material and everything else. Given that the medical knowledge base and the skills required to practice effectively are constantly evolving, it is crucial that curricular material with a five- or tenyear date-stamp is minimized.


어떤 단계에서든, 학습자들이 해당 단계에 요구되는 적절한 수준의 역량을 갖췄다면 불필요하게 반복하느라 시간을 낭비할 필요가 없다. 의학교육은 교육과정을 더 유연하게 디자인함으로서 개별 학습자들이 다양한 난이도의 학습을 할 수 있게 해야한다.

• • Learners at all levels should not be obliged to spend time unproductively repeating clinical activities once they have mastered the competencies appropriate to their level. Medical education must make much more use of readiness assessments and design curricula that are sufficiently flexible to allow individual learners to engage at various levels of difficulty. Eliminating non-core activities will free up time for students and residents to develop additional depth in areas of individual interest and to explore the non-clinical roles of physicians.


모든 단계에 있어서, '역량은 최소기준'임을 강조해야 한다. 이는 필수내용(core)와 관련해서 의사가 되려고 하는 사람이면 누구든 갖춰야 하는 것이다. 학습자는 수월성을 갖추기 위해서 노력해야하며, 이를 위해서 의과대학과 전공의 프로그램은 학습자가 평생에 걸쳐 수월성을 추구할 수 있도록 격려해야 한다. 

• • At every level, the approaches to teaching must emphasize that "competence means minimal standard"; it is the level of performance that all aspiring physicians must attain with respect to the core. It is essential that the aspirational nature of the quest for excellence be communicated to and inculcated in learners. For this reason, medical schools and residency programs must encourage learners to form lifelong commitments to pursuing excellence, instilling in students and residents the understanding that learning continues beyond the formal four- to ten-year training period, and preparing them to continuously incorporate the advancing knowledge base and procedural innovations of contemporary medicine.


의학교육은 근본적으로 학습자들이 스스로 동기를 부여하고, 스스로 학습하며, 임상경험으로부터 자극을 받고, 스스로의 진료 효율성에 대한 정보에서 자극을 받아 다른 사람들과 상호작용하는 것이어야 한다. 이같은 '학습 나선'은 이미 가지고 있던 지식, 임상경험, 새로운 질문을 서로 연결시켜준다. 

• • The fundamental pedagogy of medical education aims to have learners develop the motivation and skill to teach themselves, stimulated by their clinical experiences, information about the effectiveness of their care, and interactions with others in the clinical environment. This “learning spiral” connecting prior knowledge, clinical experience, identification of next questions, and formal study should be presented to medical students and residents as the basis for the metacognitive monitoring of their own approaches to learning. To the greatest extent possible, learners should approach curricular material, including the sciences foundational to medicine, through questions arising out of clinical work; this is as important for residents as it is for early medical students.


의학교육의 전 과정에 걸쳐서 학생과 전공의는 교수들과의 관계를 통해 도전정신을 갖고, 롤모델을 찾고, 개별지도의 기회를 갖도록 해야 한다.

• • Throughout their medical education, students and residents require strong, engaged relationships with faculty members that provide challenge, support and strong role modeling, as well as the opportunity for individual guidance.


의과대학과 전공의 교육 둘 다에 있어서, 평가를 통해서 학습자들이 '필수 영역'의 정해진 역량수준에 도달할 수 있어야 한다. 의과대학부터 수련후까지 이어진 학습의 연속체(continuum)에 걸쳐서 평가는 공통된 역량 영역(competency domain)을 사용하고, 어떤 단계에서 어느 수준에 도달해야하는지 기준을 제시해야 한다.

• • At both the medical school and residency levels, medical education must ensure, through assessment, that learners achieve predetermined standards of competence with respect to knowledge and performance in core domains. Assessment should use a common set of competency domains over the entire learning continuum with actual benchmarks specified by learner level. There are successful examples of this kind of assessment over a developmental spectrum from which medical education should learn. Such benchmarking, shared nationally, would allow medical schools, residencies and learners to understand how programs compare in terms of the capabilities of their entering learners, and what the education that they provide adds as measured by the performance of their graduates.


평가는 단순히 학생과 레지던트가 현재 무엇을 알고 있고 무엇을 할 수 있느냐를 알려주는 것을 넘어서 무엇을 더 해야하고, 다음 단계는 무엇인지를 알려줄 수 있어야 한다. 그러한 'gap'에 대해서 아는 것이 평생학습을 이끌기 때문이다. 역량에 대한 평가는 통합적이어야 하고 누적되어야 한다.

• • Assessment must go beyond what students and residents know and can do to address learners’ ability to identify gaps and next steps for learning, as it is the appreciation of those gaps that should drive lifelong learning. To discourage learners’ segmentation of knowledge and skills, and to reinforce the development of well-networked understandings of medical phenomena, assessment across the competencies should be integrated and cumulative.


수월성을 추구하는 것은 의학의 전문직으로서 갖춰야 할 특징이다. 전문성(expertise)는 헌신에서 나오는 것이 저절로 얻어지는 것이 아니다. 

• • Commitment to excellence is a hallmark—some would maintain the hallmark—of professionalism in medicine; expertise is likewise a commitment, not an attribute. This concept is fundamental to the team’s view of medical education and knits together the goals of standardization and individualization, integration, innovation and improvement, and identity formation.



위 목표들은 각각 의사의 전문직으로서의 정체성 영역에 해당된다.

Each of the goals refers to a dimension of professional identity of physicians:


표준화를 통한 질의 확보

• • the assurance of quality accomplished through standardization;

학습자를 인간적으로 대하고, 각각의 차이, 능력, 경험을 존중하며 높은 성취를 유도하는 교육적 과정

• • an educational process of individualization that treats learners humanely, respects their different interests, abilities and experiences, and encourages high achievement;

수련을 마친 후 뿐만 아니라 수련기간에도 사회에서 다양한 역할을 할 수 있다는 기대

• • the expectation that physicians play a broad role in society, even during training; and

모든 의사들이 현장(field building)에 참여한다는 주장

• • the insistence that all physicians participate in field building.


프로그램은 학습자의 경험을 고려해야 하며, 교육과정/교육법/평가법에 의해서 노골적으로 또는 은유적으로 전해지는 메시지를 경계해야 한다. 그렇지 않으면 그 프로그램에 의한 전문직 양성의 결과는 왜곡될 것이다.

Programs must be deliberate about learners’ experiences and vigilant about the implicit and explicit messages conveyed by the curriculum, pedagogy and assessment; otherwise, the professional development outcomes desired by the program may be distorted or subverted.



SUPPORTING EXCELLENCE THROUGH EFFECTIVE POLICY


미국에서 의학이 전문직으로 살아남을 수 있었던 것은 의학교육의 다양한 이해관계자들이 지속적으로 교육과 진료에 높은 기준을 요구해왔기 때문이다.

Medicine as a profession has thrived in the United States in part because medical education’s considerable array of stakeholders has continued to insist on high standards for education and practice. 


따라서 교육과정 학장, 전공의 프로그램 관리자, 교과목/실습 관리자가 교육 프로그램을 설계하는데 직접적으로 관계되어 있지만 이들도 역시 외부 요인에 의해 제약을 받게 된다. 의과대학과 전공의프로그램을 효과적으로 개혁하기 위해서는 여기에 영향을 미칠 수 있는 자금을 제공하는 사람, 규제, 전문직 단체 등도 이 노력에 활발히 관려해야 한다.

Thus, although curriculum deans, residency program directors and course and clerkship directors have immediate responsibility for the design and delivery of educational programs, they work within constraints imposed by external entities. In order for medical schools and residency programs to successfully innovate, the funders, regulators and professional organizations that control and influence medical education must be actively engaged in this reform effort.


1. 1. The Association of American Medical Colleges (AAMC) and medical schools work together to revise pre-medical course requirements and admission processes, ensuring appropriate socio-economic and racial-ethnic diversity of those in medical training.


1. 2. Accrediting, certifying and licensing bodies together develop a coherent framework for the continuum of medical education and establish effective mechanisms to coordinate standards and resolve jurisdictional conflicts.


1. 3. CEOs of teaching hospitals and directors of residency programs align patient care and clinical education to improve both and develop educational programs that are consistent with practice requirements.


1. 4. Deans of medical schools and CEOs of teaching hospitals support the teaching mission of the faculty by providing financial support, mentoring, faculty development, recognition and academic advancement. 


1. 5. Deans of medical schools and CEOs of teaching hospitals collaboratively make funding for medical education transparent, fair and aligned with the missions of both medical schools and teaching hospitals. 


1. 6. AAMC, American Medical Association (AMA), Accreditation Council for Graduate Medical Education (ACGME), medical specialty societies and medical schools advocate for sustained private, federal, and state funding commitments to support infrastructure, innovation, and research in medical education. Medical education is a public good that should be supported by society.


1. 7. AAMC, AMA, ACGME, medical specialty societies and medical schools collaborate on the development of a medical workforce policy for the United States. A variety of interventions addressing the cost of medical education, length of training, and practice viability ensure that the country has the mix of specialty and subspecialty physicians to meet the needs of the population.





Summary of Educating Physicians: A Call for Reform of Medical School and Residency

Printer-friendly versionPrinter-friendly version
Molly Cooke, David M. Irby, Bridget C. O'Brien
Abstract: 

This summary is based on the Jossey-Bass publication of the same title, Educating Physicians: A Call for Reform of Medical School and Residency (June 2010).


(http://www.carnegiefoundation.org/elibrary/summary-educating-physicians)





Cooke, M., Irby, D. M., & O'Brien, B. C. (2010). Educating physicians: a call for reform of medical school and residency (Vol. 16). John Wiley & Sons.

























+ Recent posts