모든 보건의료직을 위한 역량 영역(Competency domain)에 대한 공통된 분류법, 그리고 의사의 역량

Toward a Common Taxonomy of Competency Domains for the Health Professions and Competencies for Physicians

Robert Englander, MD, MPH, Terri Cameron, MA, Adrian J. Ballard, Jessica Dodge, Janet Bull, MA, and Carol A. Aschenbrener, MD

'역량바탕 의학교육'으로 패러다임이 변화한 것은 의학교육시스템이 만들어내는 의사에 대한 대중에 요구에 의해 적응력있는 변화(adaptive change)을 보여준다. 여기에 한 가지 장애물은 의료인력의 '역량의 영역(domains of competence)'를 정의하는 공동의 언어와 의사가 만들어지고 지속적으로 성정하는데 중요한 구체적인 역량에 대한 정의가 없었다는 점이다.

The paradigm shift to competency-based medical education represents an adaptive change driven by public demands for increased accountability for the physicians the medical education system produces.1 One of the barriers to implementation has been the lack of a common language describing domains of competence in the health professions and the specific competencies that are critical to the formation and continuing development of physicians.

Definitions of Key Concepts

• Competency framework: 

“An organized and structured representation of a set of interrelated and purposeful competencies.”14

• Domains of competence: Broad distinguishable areas of competence that in the aggregate constitute a general descriptive framework for a profession. (Authors’ definition)

• Competency list: The delineation of the specific competencies within a competency framework. (Authors’ definition)

• Competence: 

“The array of abilities [knowledge, skills, and attitudes, or KSA] across multiple domains or aspects of performance in a certain context. 

Statements about competence require descriptive qualifiers to define the relevant abilities, context, and stage of training. 

Competence is multi-dimensional and dynamic. It changes with time, experience, and setting.”15

• Competency: 

“An observable ability of a health professional, integrating multiple components such as knowledge, skills, values, and attitudes. 

Since competencies are observable, they can be measured and assessed to ensure their acquisition.”15

1. Patient Care

Provide patient-centered care that is compassionate, appropriate, and effective for the treatment of health problems and the promotion of health

2. Knowledge for Practice§

Demonstrate knowledge of established and evolving biomedical, clinical, epidemiological and social-behavioral sciences, as well as the application of this knowledge to patient care

3. Practice-Based Learning and Improvement

Demonstrate the ability to investigate and evaluate one’s care of patients, to appraise and assimilate scientific evidence, and to continuously improve patient care based on constant self-evaluation and life-long learning

4. Interpersonal and Communication Skills

Demonstrate interpersonal and communication skills that result in the effective exchange of information and collaboration with patients, their families, and health professionals

5. Professionalism

Demonstrate a commitment to carrying out professional responsibilities and an adherence to ethical principles

6. Systems-Based Practice

Demonstrate an awareness of and responsiveness to the larger context and system of health care, as well as the ability to call effectively on other resources in the system to provide optimal health care

7. Interprofessional Collaboration

Demonstrate the ability to engage in an interprofessional team in a manner that optimizes safe, effective patient- and population-centered care

8. Personal and Professional Development

Demonstrate the qualities required to sustain lifelong personal and professional growth

Toward a Common Taxonomy of Competency Domains for the Health Professions and Competencies forPhysicians.

모든 성장의 물결을 담아내는 것

On showing all the ripples in the growth analysis pond

Martin V Pusic1 & Colleen Gillespie1

성장변화곡선은 시간의 변화에 따라서 한 개인의 변화과정을 여러 차례 측정한 것을 보여준다.

A growth line is a representation of multiple measurements in the same individual that change in response to an ongoing process over time

평균적으로 '집단'이 얼마만큼 성장했는가도 중요하지만, 연구자들은 개개인의 성장을 살표보는 것 역시 중요하다.

Although there is no doubt that the fact that the group improved on average is important, we would suggest that investigators reporting growth data would do well to also report individual-level growth patterns

(1) 

(A)(B)

(1)번과같은 상황에서도 (A)처럼 전체 집단이 균일하게 향상될 수도 있는 반면, (B)처럼 한 집단은 나빠지고 다른 집단은 향상되었을 수도 있다.

이렇게 개개인 수준에서는 완전히 다른 상황이더라도 두 점(Baseline, Post)에서 봤을 때는 평균과 표준편차가 완전히 동일할 수 있다.

Importantly, these vastly different individual growth patterns can result in the same mean and standard deviation for the two observation points

[van Es JM, Wieringa-de Waar M, Visser MRM. Differential growth in doctor–patient communication skills. Med Educ 2013;47:691–700] 논문에서 저자들은 Standard와 Standard 이상의 점수를 받은 피훈련자의 비율을 보여주었다.

데이터의 복잡성을 보여주는데 있어서 잘 그려진 그래프만큼 좋은 것은 없다.

Nothing really substitutes for a good graph showing all the complexity of the data

위의 그림처럼 개개인의 성적 변화를 다 보여줄 수도 있다.

그러나 이렇게 직접적으로 보여주는 것은 오히려 개개 학생의 변화과정의 패턴을 가린다.

This straightforward picture masks complex underlying patterns in the trajectories of individual students

결국 그룹 수준의 변화는 개인 수준의 변화를 추상화(abstraction)한 것이라고 할 수 있다.

In the end, group-level results are abstractions of what is happening at the level of the individual learner

On showing all the ripples in the growth analysis pond.

복잡성, 불확실성, 성찰의 시대의 의학교육 : 플렉스너 보고서 이후 100년에 마침표를 찍으며.

Medical education in an age of complexity, uncertainty and reflection. A coda to the Flexner centenary

Tim Dornan,1 Jean McKendree2 & Iain J Robbe´3

Specific Questions 

1 How did we get to where we are now?

2 What will be the role of medicine in the next century’s society?

3 What should be the goals of medical education for the next century?

4 How can we achieve those goals and know we have achieved them?

It is worth speculating where antibiotic resistance, global warming and uprisings against inequities in health might take medical education

• Anderson WD. Outside looking in: observations on medical education since the Flexner Report. Med Educ 2011;45:29–35.
• Gawande A. On washing hands. N Engl J Med 2004;350:1283–6.

Change in medical education may be driven as much by self-interest amongst educators as by progress

• Weatherall D. Science and medical education: is it time to revisit Flexner? Med Educ 2011;45:44–50.
• Mann KV. Theoretical perspectives in medical education: past experience and future possibilities. Med Educ 2011;45:60–68.
• Barr DA. Revolution or evolution? Putting the Flexner report in context. Med Educ 2011;45:17–22. 

The time is now ripe for social sciences to show their relevance to medical education

• Kuper A, D’Eon M. Rethinking the basis of medical knowledge. Med Educ 2011;45:36–43.

Medical education needs to maximise participation by building on natural and community processes to ensure both individual and collective learning

• Dornan T, Peile E, Spencer J. On ‘evidence’. Med Educ 2008;42:232– 3.
• Dexter H, Dornan T. Technology enhanced learning: appraising the evidence. Med Educ 2010;44:746–8.
• Ringsted C. Developmental aspects 
• of medical competency and training: 
• issues of curriculum design. 
• Med Educ 2011;45:12–16.
• Teunissen PW, Westerman M. 
• Opportunity or threat: the ambiguity 
• of the consequences of transitions 
• in medical education. Med 
• Educ 2011;45:51–59.
• Holmboe E, Ginsburg S, Bernabeo 
• E. The rotational approach to 
• medical education: time to confront 
• our assumptions? Med Educ 
• 2011;45:69–80.

If the Flexner reforms addressed a national problem, the reforms we now require are global

• Norcini JJ, Banda SS. Increasing the quality and capacity of education: the challenge for the 21st century. Med Educ 2011;45:81–86.
• 21 Burch VC. Medical education in the 21st century: what would Flexner say? Med Educ 2011;45:22–24.

Flexner stated unequivocally that doctors have both curative responsibilities to individuals and preventive responsibilities to society

• Szczeklik A. Catharsis: On the Art of Medicine. Chicago, IL: University of Chicago Press 2005.
• Sweeney K. Uniqueness in clinical practice: reflections on suffering. In: Dixon M, Sweeney K, eds. The Human Effect in Medicine. Theory, Research, and Practice. Abingdon: Radcliffe Medical Press 2000;27–37.

Medical education in an age of complexity, uncertainty and reflection. A coda to the Flexner centenary.

미래의 글로벌 의료를 위해 우리가 교육하고 있는 의사

The doctor we are educating for a future global role in health care

STEFAN LINDGREN1 & DAVID GORDON2

세계의 많은 지역에서 금전, 시설, 인력 측면에서 의료는 많이 부족하다. 부유한 국가에서는 의료의 비용과 복잡성의 상승이 끊일 줄을 모른다. 그럼에도 불구하고 부유한 국가는 더 많은 의사가 필요하다고 외치고 있으며, 가난한 나라에서 의사가 이민올수록 전세계적인 보건의료인력의 위기(global health workforce crisis)는 더 심해진다.

이러한 정치적, 사회적, 국제적 사건을 볼 때, 오늘날 전세계적인 관점에서 의사의 역할과 가치에 대한 토론이 필요하다. 이제 의사와 환자가 모두 세계 어디로든 이동할 수 있게 되었다. 따라서 의사의 역할과 가치가 전세계적 관점에서 합의가 이루어져야만 그 역할을 할 수 있는 의사를 키워내는 교육도 가능할 것이다. 

의사는 특정 지역의 자원과 필요에 따라 유동적으로 구성될 수 있는 보건의료팀의 구성원이자 지도자로서 필요하며, 동시에 어떤 보건의료 시스템 하에서도 의사로서의 역할을 할 수 있어야 한다. WFME의 국제 task-force는 이러한 국제적 의사의 역할이라는 주제로 전세계적으로, 의학교육 정책 개발에 활용될 수 있는 성명서(statement)를 작업중에 있다.

• Professionalism; its meaning and significance today, and its relevance for personal development

• The doctor as communicator, educator and researcher

• Demographic changes, migration and the future of medicine

• The doctor as a manager of health care within society, and as a community health leader

• The social accountability of medicine and the doctor

• Leadership and membership within the health care team

  
  

  
  

• Mismatch of competencies with patient and population needs

• Teamwork

• Hospital specialist orientation at the expense of primary care

• Leadership

• Leadership to improve health-system performance

• Partnership approach with patients, for long-term health gain

• Social accountability

• Difficult decisions in situations of complexity and uncertainty

• Communication

• Professionalism

• Physician–scientist

• Generalist

• Capacity to change

• Profound ethical understanding

• Life-long learner

• Habits of inquiry and improvement

• Striving for excellence

Conclusions

Preliminary conclusions on the future roles of the doctor stress the importance of professionalism, combined leadership and membership of health care teams of varying composition, a scientific perspective on continuous improvement of medical practice and its management and the social accountability to society and the needs of the patients. 

At the same time, the doctor should be a highly educated professional with responsibility for ultimate decisions in uncertain and complex situations. The solution to the global health workforce crisis is not only to produce more doctors. Instead, we must consider the needs of the population, society and the individual doctor as a professional in a flexible approach, within the economic and social circumstances of the country or region, to the composition of health care teams and systems. Clear definitions of the global roles and values of doctor is an important step in that direction.

The doctor we are educating for a future global role in health care.

미래 의사를 위한 교과과정 : 임상의사의 관점에서

The curriculum for the doctor of the future: Messages from the clinician’s perspective

NADINE VAN DER LEE1, MICHIEL WESTERMAN1, JOANNE P. I. FOKKEMA1,

CEES P. M. VAN DER VLEUTEN2, ALBERT J. J. A. SCHERPBIER2 & FEDDE SCHEELE3

배경

의과대학 교육과정은 의료의 미래에 초점을 맞춰야 한다. CanMEDS나 ACGME나 Tomorrow's doctor와 같은 현재의 역량에 대한 개념(competency framework)은 포괄적인 역량(generic competencies)을 강조해서 이러한 비전을 공유해야 한다.

목적

이 연구의 목적은 현재의 역량에 대한 개념(contemporary competency framework)이 미래의 의료에 대한 임상의사들의 관점과 얼마나 잘 맞는가를 조사하였다.

방법

전략적 계획 접근법(strategic planning approach)을 활용하여, 의사의 미래에 대한 반구조화된 개방형 설문지를 102명의 네덜란드 부인과 의사들에게 보냈다. 유도성 분석(inductive analysis)을 통해서 CanMEDS와 비교하여 미래에 대한 관점과 필요한 역량을 밝히고자 했다.

결과

62명의 응답자들이 CanMEDS roles의 내용적 타당성에 수긍하였다. 추가로 두 가지 역할이 더 드러났는데, advanced technology user and entrepreneur이다. Communicator의 역할은 환자들의 더욱 적극적인 참여를 통해서 변화할 것이다. Collaborator와 Manager의 역할 또한 복잡한 학문간 팀워크와 리더쉽 역할에 따라서 변화할 것이다.

결론

Strategic planning approach을 이용하여 미래에 대한 네덜란드 부인과 의사들의 관점을 확인함으로서 두 가지 추가적인 역할과 기존의 competency framework 내에서 더 집중해야 할 분야가 드러났다. 미래의 의료에 대한 임상의사들의 관점은 어떻게 미래를 보증해줄 수 있는 교과과정을 설계할 것인가에 대한 값진 메시지를 던져준다.

Research into a future perspective and adapting current strategies to that perspective is known in business management as strategic planning. In strategic planning, strategies and goals are set for future businesses by considering internal (within the company) and external (outside the company) factors that will impact the future. 

In medical education, strategic planning seems to be focused on ‘‘providing for future workforce’’ (Bennett & Phillips 2010) and future ‘‘overall organization and structure’’ of medical education (Association of Faculties of Medicine of Canada 2009). To our knowledge, a strategic planning approach for future competencies has not previously been described in medical education literature. 

One of the methods for strategic planning in business management includes a three-step approach, the draw-see-think method (Saxena 2009).

First, a vision of what the desired or intended future state will be is identified (draw step). This involves an internal analysis of the firm to get a clear perspective on the desired or intended future state and includes all staff and board members. In medical education, this step could include several stakeholders of which health care providers and patients are the most obvious. This study involved practising medical specialists. They are confronted with changes in the workplace on a daily basis and might be able to provide us with a useful perspective on the future of their workplace and the competencies needed. 

In the second step (see step), the current situation is viewed and compared to the future perspective. In this study, the comparison of the competencies needed for the future workplace to a current competency framework might provide insight on how future proof the framework is.

The final step (think step) identifies what specific actions should be taken to close the gap between today’s situation and the future perspective.

This study takes the draw and see steps in strategic planning for future medical education and considers both the internal and external factors of the medical field that are likely to impact the future. The more detailed think step was considered to be beyond the focus of this study and will be addressed in a future study.

The research objectives are:

Draw step: – What is the vision of clinicians on the future workplace?

See step: – Are contemporary competency frameworks future-proof when compared to the future perspective of clinicians?

In this qualitative study, the opinions of Dutch gynecologists were used to reveal a perspective on the future which was then compared to a contemporary competency framework using a strategic planning approach.

Analysis

Draw step. The returned questionnaires were categorized into groups, depending on the type of hospital in which the respondent was located (university teaching hospital, general teaching hospital, general hospital, and resident) to be able to compare the perspectives between the respondents. Then, the data were anonymized and imported into a qualitative data analysis software program (MaxQDA 2007). 

In the analysis, the method described by Miles and Huberman (1994) was used, involving three streams of activity (data reduction, data display, and conclusion drawing and verification). 

Data reduction is meant to reduce data into manageable and interpretable pieces. In this study, an open coding strategy was used for data reduction in which a text fragment is represented by a code. A second researcher (MW) also coded two randomly chosen questionnaires from each of the groups. Differences in codes were discussed until consensus was reached.

In the stream of activity of data display, reduced data are organized to be able to draw conclusions from the data. Codes on related subjects were organized into categories. By organizing these categories, ‘‘change themes’’ were defined which were discussed by the research team until consensus was reached. A change theme represents a field in which changes for the future are predicted. 

See step. The future perspective was then compared to a contemporary competency framework. The ObGyn postgraduate training program in the Netherlands uses the Canadian Medical Education Directions for Specialists (CanMEDS) framework from the Royal College of Physicians and Surgeons of Canada (RCPSC), implemented in 2005 (Scheele et al. 2008). Therefore, the research team decided to use this framework in the see step.

For each code within a change theme, relevant competencies were identified (list available on request). Subsequently, these predicted relevant competencies were, when possible, categorized into the seven CanMEDS roles (Medical Expert, Communicator, Collaborator, Health Advocate, Manager, Scholar, and Professional). 

Hereafter, the research team compared the current description of the CanMEDS framework (as published on the website of the RCPSC) to the list of predicted relevant competencies looking for focus areas and potential differences.

Med Teach. 2011;33(7):555-61. doi: 10.3109/0142159X.2011.578176.

The curriculum for the doctor of the future: messages from the clinician's perspective.

대규모 학회에서 학술 프로그램의 평가 : 제22회 세계 피부과학술대회

Evaluation of Scientific Programs at a Large-Scale Academic Congress: Lessons from the 22nd World Congress of Dermatology

Hyun-Sun Yoon a–c Oh Sang Kwon a–c Jiwon Lee d Jwa-Seop Shin e Seunghee Lee e Soo-Chan Kim f Jean-Hilaire Saurat g Wolfram Sterry h Hee Chul Eun a–c

배경 : 학회 프로그램을 구성하고 연좌를 정하는 것은 상당한 시간과 노력이 들어간다. 하지만 동시진행 세션이 있는 대규모 학회에서 참가자들의 만족을 어떻게 높일 수 있는가에 대한 연구는 부족하다.

목적 : 이 연구는 세 가지 주된 목적이 있다. (1)향후 학회에 대한 기준을 만든다 (2)각 세션의 인기와 참여도를 측정한다 (3)청중의 인식에 영향을 주는 세션의 특징을 찾는다.

방법 :제 22회 세계피부과학술대회(World Congress of Dermatology)의 총 216개의 학술세션(scientific session)을 설문지로 평가하였다.

결과 : 각 세션과 연자에 대한 평균 점수는 대체로 높았다. 일부 요소간 유의미한 차이가 있었다. 각 세션당 연자의 수는 세션의 결과와 상관관계가 없었으며, 세 개의 평가 단계(좋음-보통-나쁨)중에서 각 단계에 속하는 연자의 비율이 얼마나 되느냐가 그 세션의 평가에 영향을 주었다.

결론 : 이 조사는 학술 세션을 구성하고 학회의 질을 향상시키는데 도움이 될 것이다.

Statistical Analysis

Descriptive data were examined for all variables. For continuous variables, results were presented as the mean +/- SD. Analysis of variance (ANOVA) with a post hoc Tukey’s B test was used to compare the differences between session categories or session grades. Pearson’s correlation coefficient was used to evaluate the correlation between two continuous variables. A value of p < 0.05 was considered statistically significant throughout, and all probability values are 2 sided. All data were analyzed by PASW (SPSS; version 18.0; IBM, Somers, N.Y., USA).

Evaluation of scientific programs at a large-scale academic congress: lessons from the 22nd World Congress ofDermatology.

(출처 : http://www.royalcollege.ca/portal/page/portal/rc/resources/aboutcanmeds)

INTRODUCTION

지난 100년간 서양의 의학교육은 의학을 의생명과학으로 만들었다. 진료(=의학의 수행)는 가장 최신의 의학지식을 객관적으로 적용하는 것이 되었다.

For the last 100 years, Western medical education has constructed medicine as biomedical science. Over that time, scientific discoveries and medical breakthroughs have changed the face of medical practice. Biomedical research has flourished within medical schools, and non-clinical bench science in particular has become a major part of many of their missions.1–3 The practice of medicine has come to be understood as the objective application of the most advanced medical sciences to patient care; such medical sciences, in turn, have been limited to those which produced bioscientific knowledge. 

이에 따라 의학교육도 진료에 필요한 생명과학을 학습하는 것 위주로 구성되었다. 많은 사람들이 의학에는 'art'적 측면도 있다고 말했지만, 그럼에도 불구하고 의사가 된다는 것은 거의 전적으로 방대한 양의 생명과학 지식을 학습하는 과정이 되어갔다.

Medical education thus has become a predominantly bioscientifically oriented preparation for practice, with medical schools assuming the tasks of both producing biomedical knowledge and creating a curriculum to teach future doctors to practise within this bioscientific framework. Although many recognise that there is also an ‘art’ to the practice of clinical medicine, becoming a doctor continues to entail, almost exclusively, the acquisition of large amounts of bioscientific knowledge. 

생명과학지식이 의료에 많은 이득을 가져다 준 것은 분명하지만, 이것만이 의학교육의 유일무이한 기초는 아니다. 플렉스너는 물론이고, 최근에도 과학 지식을 강조하는 것과 미래에 의사를 키워내는 것의 연관성에 의문을 제기하는 보고서가 나오고 있다. 

Certainly scientific knowledge has brought large benefits to patients in clinical practice, but it is not the only foundation necessary for medical education. Flexner himself, often cited in defence of scientism, did not think scientific knowledge on its own constituted adequate medical training.2,4–6 More recently, reports7,8 and academic publications2,6,9–11 have questioned the exclusivity of the link between the emphasis on scientific knowledge in medical schools and teaching future doctors what they will actually need to know in order to practise medicine. The history of medical education also reminds us that the current generic medical curriculum is not the inevitable result of perfect understanding of how to train future doctors. 

역사적으로 사회적, 정치적, 경제적 힘이 의학교육에 작용해왔고 교육과정을 만들고 변화시켰다. 의학 커리큘럼은 "어떤 것이 되어야 하는 것"이 아니라 "현재 요구되는 것"이다.

Rather, it is the historically mediated result of the social, political and economic forces acting on medical education and its institutions over the time the curriculum was created and modified.12 This realisation that the medical curriculum is not ‘what must be’, but only ‘what is currently’, means that the structure and contents of the curriculum can change to concur with changing conceptions of its goals and objectives. 

현재 역량있는 의사에게 요구되는 다양한 영역은 무엇인가?

We are therefore obliged to ensure that the medical curriculum contains the appropriate kinds of knowledge doctors-in-training need to achieve what is currently believed to be competence. Implications of competency frameworks It is now widely accepted that there are multiple domains in which doctors are required to be competent. 

이러한 역량은 의사가 갖춰야 할 자질에 대한 의학교육자의 의견일 뿐만 아니라, 사회가, 대중이, 환자가, 가족이 요구하는 것이다.

It is not sufficient for doctors to have biomedical knowledge and technical skills. They must also, for example, be able to communicate well, to act in a professional manner and to work effectively with doctor and non-doctor colleagues. These competencies not only represent what medical educators and the medical profession as a whole believe to be important; they also reflect what the public, including patients and their families, want their doctors to be.

CanMEDS 역량은 이러한 것 중 하나이다. EFPO프로젝트로 만들어졌다. 

For example, the CanMEDS competencies (Fig. 1),13 one of the earliest and perhaps best known of the national competency frameworks, arose out of a series of public consultations in Ontario (the most populous Canadian province) in the 1980s.14 That public process and subsequent professional stakeholder consultations, all part of the Educating Future Physicians for Ontario (EFPO) project, identified the doctor roles which then became the CanMEDS competencies unveiled in 2000.15 

Other English language competency frameworks have similar claims to professional and public consultation or support.16–18 The societal expectations of doctors identified and drawn upon in such documents are, of course, as much the historically mediated outcomes of social, political and economic forces as the medical curricula with which they interact. Nonetheless, these frameworks can be seen to be (and are often presented as) surrogates for the current shared understanding between medical professionals, educators and patients about what doctors should be by the end of their training.

RESULTS 

Students educated in the foundational knowledge necessary for competence in all doctor roles would need to be exposed to ideas and ways of thinking from a wide array of disciplines outside the traditional biomedical sciences. These would need to be introduced in context and in ways that would support future medical practice. They would also broaden students’ understanding of the nature of legitimate medical knowledge.

CONCLUSIONS 

There are currently major gaps between the goals and objectives of competency frameworks such as CanMEDS and the actual contents of medical curricula. Addressing these will require curricular transformation to add knowledges, in context and in ways that positively affect practice, from disciplines not currently present within the medical school. In order to accomplish this, we will need to engage with colleagues throughout the university

Rethinking the basis of medical knowledge.

(출처 : http://www.doceo.co.uk/tools/p-c_s-s.htm)

첫 번째는 의학교육이 근본적으로 서로 양립할 수 없는 두 개의 패러다임(자연과학과 사회과학) 사이의 껄끄러우면서도 미약한 파트너쉽을 형성하게 되었다는 것이다.

두 번째로 지적할 것은, 의학교육의 '재민주화'이다. '재민주화'라는 단어는 사회-정치적 의미로 사용된 것이 아니라, 의학교육 외부의 비전문가에게 문호를 열거나 그들을 초대해서 더 나은 관점을 도입하고자 하는 것이다.

세 번째 측면은 의학계가 더 넓은 사회로 나가고자 하는 것이다. 많은 책과 글들이 전문직인 내부인의 관점을 외부로 알리고 있으며, 실패과 불확실성에 대해 생각해보는 장으로서의 역할을 하고 있다.

마지막 측면은 자기분석(self- analysis)의 노력이다

20세기 미국의 의학교육 혁명에 앞장선 그 누구도 의학을 전공하지 않았다. Abraham Flexner는 고등교육을 전공했고, Henry Pritchett는 수학자이자 천문학자였으며, Andrew Carnegie는 경영주면서 자선가였고, John D Rockefeller는 석유왕이면서 은행가였다.

None of the primary managers of early 20th century medical education reform in the USA were trained in medicine: Abraham Flexner came from higher education; Henry Pritchett was a mathematician and astronomer; Andrew Carnegie was an industrialist and philanthropist, and John D Rockefeller an oil magnate and banker.

외부인은 사회학자들이 소위 이미크적 관점(emic perspective)에는 약하다. 기능적인 면을 보는 능력이나, 문화적 신념과 현실이 가지는 의미와 중요성에 대한 지식, 그리고 사람들이 어떤 것에 관심을 가지고 어떤 것을 무시하는지에 대한 미묘한 이해가 부족하다.

Outsiders can possess little of what social scientists term the emic perspective, the knowledge of significances and meanings attached to cultural beliefs and practices and the nuanced understanding of what to pay attention to and what to ignore. 

반대로 불편한 사실들을 다 벗어던지고 마구 덤벼드는 외부인들은, 현재의 모습은 무엇이고, 과거의 모습은 어땠어야 했는지에 대한 관찰을 통해 질문을 던질 수 있다. 다른 관념과 가능성을 가지고 이해를 할 수 있으며, 사회과학자들은 이를 에티크적 관점(etic perspective)라고 부른다.

On the other hand, unencumbered by the inconvenience of facts, the outsider wades in, making observations and asking questions about what might be, or what could have been, drawing on perspectives from a different universe of possibilities. This, in part, is what social scientists refer to as an etic perspective.

Pritchett는 의학 외부인중에서 변화를 일으킬 수 있는 영향을 줄 만한 사람을 심사숙고해서 골랐고, 그 사람이 바로 Flexner였다. 이제 이런 사람이 필요할 때가 다시 온 듯 하다. 의학교육은 내부의 원동력, 내부의 훈련, 내부의 사고방식에서 벗어난, 진정한 외부의 관점이 부족다. 

Pritchett’s deliberate selection of a medical outsider made explicit his view that medical schools did not have within themselves the tools necessary to effect the changes he sought, a perspective with which Flexner,3 apparently after his very first medical college inspection, fully agreed. Such may be the case today; medical education may be struggling for the lack of truly outside perspectives from sources that are uninitiated, untrained and unsophisticated in the ways of the insider.

물론, 생산적인 대화가 이루어지기 위해서는 외부의 etic과 내부의 emic 관점이 모두 어우러져야 할 것이다.

Nevertheless, it is at the precise juncture of the outsider’s etic perspective and the insider’s emic understanding that fruitful conversations may begin.

OBSERVATIONS

첫 번째는 의학교육이 근본적으로 서로 양립할 수 없는 두 개의 패러다임(자연과학과 사회과학) 사이의 껄끄러우면서도 미약한 파트너쉽을 형성하게 되었다는 것이다.

The first observation is that medical education involves an inherently strained and tenuous ‘partnership’ between the natural sciences and the social sciences, two potentially incompatible paradigms.

위험을 무릅쓰고 두 패러다임의 공통점을 설명하기보다는, 여기서는 논의를 위해서 Kuhn의 주장을 따르고자 한다. Kuhn은 자연과학은 하나의 지배적인 관념이 있고, 그 관념이 무너지기 전까지는 그 아래서 작동한다. 이는 사회과학과는 다른데, 어느 이론이 보편적으로 공유되고 적용되지 않으며, 조금씩 변형되고 재활용되며, 논쟁과 조정을 거치지만, 통째로 폐기되는 경우는 거의 드물다.

At the risk of overstating the homogeneity of the two paradigms, we may, for the sake of discussion, follow Kuhn’s assertion that the natural sciences operate under a single dominant vision of what can be investigated and how (what he calls ‘normal science’), and work that paradigm until it collapses of its own inconsistencies and a new one takes over sole dominance.4 This is not so in the social sciences, where theory, not universally shared to begin with, is modified and recycled, debated and adjusted, but rarely discarded altogether.

노벨상 수상자인 Rotblat은 자연과학의 지식의 성장은 사회과학의 지식의 성장에 비해서 과급(supercharged)되었다고 했다.

Nobel Prize laureate Rotblat6 refers to knowledge growth in the natural sciences as ‘supercharged’ relative to the growth in the social sciences.

이러한 현상은 좋게 말하면 문제적 불균형이고, 나쁘게 보면 학문적 마비 또는 자기파괴를 앞둔 비옥한 토양이다.

A problematic imbalance at best, and fertile soil for disciplinary paralysis or self-destruction at worst 

의학교육은 생의학적 진료를 치료의 인간적인 면으로부터 분리시키고자 하는 초기의 충동으로 인해 고생하고 있다. '의학과 질병의 비사회화'라고 불리는 이것은, 의학을 지원해준 사회구성원이 받아들이기 힘든 방향으로 의생명과학이 발전하면서 많은 사람에게 실망을 안겨줬다.

Medical education suffered the initial impulses of a decoupling of biomedical practice from the humanity of healing, which has been termed the ‘desocialisation of sickness and medicine’.8 To the consternation of many, the advances of biomedicine continue to outstrip our abilities to administer them in ways acceptable to the societies that are their beneficiaries.

두 번째로 지적할 것은, 의학교육의 '재민주화'이다. '재민주화'라는 단어는 사회-정치적 의미로 사용된 것이 아니라, 의학교육 외부의 비전문가에게 문호를 열거나 그들을 초대해서 더 나은 관점을 도입하고자 하는 것이다.

The second observation notes what appears to be a ‘re-democratisation’ of medical education. The term ‘re-democratisation’ is employed here without regard to its technical socio-political connotations, but rather to denote an ‘opening up’ to or ‘inviting’ of non-specialists to obtain a better view inside the world of medical education.

플렉스너 이전의 의학교육은 포퓰리즘(민주주의)적이었다. 사회적 지위나 지적인 수준이나 학위나 성별, 인종 등 모든 것과 상관없이 하고자 하는 사람을 막지 않았다.

The pre-Flexner world of medical education in the USA was a populist (democratic?) one, for it invited all comers, irrespective of social standing, intellectual acumen, scholarship, resources, race or gender, to participate.

플렉스너는 그 당시 상황을 모든 가능한 면에서 공격했다.

Flexner attacked that status quo at every conceivable level

그 결과로 의과대학의 수가 크게 감소하여, 대중의 접근성을 떨어뜨렸으며 - 예상하지는 못했겠지만 - 엘리트 계급만이 '힘들고 비싼 의학교육'을 감당할 수 있었다.

The resulting reduction in the number of medical schools severely limited the hitherto broad public access to the system and resulted in the creation, probably unanticipated, of an elite class of people who had the requisite preparation and resources to undertake the ‘uniformly arduous and expensive medical education’.9,10

현재의 의학교육의 재민주화는 다양한 측면이 있는데, 한 가지는 위에서 설명한 플렉스너의 개혁 직후 나타난 결과를 수정하려는 것이다.

The current re-democratisation of medical education has multiple dimensions, one of which is a corrective to an immediate outcome of Flexner’s reforms: 

의학교육자들과 학생들은 대학의 두 가지 역할 - 연구기간과 사회에 대한 봉사기관 - 을 해야 한다.

Medical educators and their students are left to negotiate the interstices between the university’s twin roles as research cloister and utilitarian service organ to society.5

'재민주화'의 두 번째 측면은 외부에서 동력과 에너지를 얻으려는 것이다. 1980년 Katz의 논문에서 환자의 자율권을 인정하고 의료와 관련한 더 많은 결정권을 주고자 하는 것과 관련이 있다.

A second dimension to re-democratisation appears to find its impulses and energy outside, and occasionally in opposition to, the institution. Its way was probably paved by the move in the 1980s (following Katz’s work11) to acknowledge and grant greater patient autonomy with regard to health care decisions.

무수한 정보가 집약된 많은 사이트들이 등장했다. WebMed, Google Health, My Health Info 등등. 그러나 사람들은 점차 이것이 너무 좁은 범위만을 다루고 있다고 생각했고, 글로벌 네트워크인 'e-patient'를 만들기에 이르렀다. 여기서는 자신의 의료정보를 올리고 지식과 경험을 공유한다. 의료기관의 관리나 제한, 내용제한에서 벗어난 것이다.

Increasingly sophisticated and information-dense sites such as WebMed, Google Health, My Health Info and others have fed a voracious public appetite for raw and unfiltered medical information, options, warnings, trends and recommendations. However, society has found even this access too narrow, as evidenced by the explosive emergence of a global network of ‘e-patients’,13 who blog and share their own medical information, knowledge and experiences with one another online, quite outside the medical establishment’s ability to monitor, restrict or filter the contents

세 번째 측면은 의학계가 더 넓은 사회로 나가고자 하는 것이다. 많은 책과 글들이 전문직인 내부인의 관점을 외부로 알리고 있으며, 실패과 불확실성에 대해 생각해보는 장으로서의 역할을 하고 있다.

A third dimension to re-democratisation can be seen quite simply in medicine’s ‘reaching out’ to wider society. A plethora of books and popular articles such as the award-winning works by Gawade14 offer readers an insider’s view into the medical profession and a platform from which to ponder its failings and uncertainties.

이 세 번째 측면은 의학과 의료를 인간답게 만들기 위한 노력의 일부이다.

The third observation concerns this re-democratisation as part of a broader call for the humanising of medicine and medical training.

다루기 힘들고, 비효율적이고, 개인화된 멘토-도제식 모델과 지역사회 중심의, 전인적인, 인간적 요소들은 새로운 생의학적 교육이 요구하는 것(효율적이고, 표준화되어있고, 최점단의, 근거중심의) 과 공존하기가 쉽지 않다.

The cumbersome, gently inefficient, individualised mentor–apprentice model and the community-oriented, holistic, hightouch and human-paced elements became increasingly difficult to maintain on an equal footing with the efficient, standardised, evidence-based, state-of-the-art, student-production demands of the new biomedical education.

이 애매함이 의사에 대해서만 요구되는 것은 아니다. 사회의 거의 모든 측면에 걸쳐서 인간미를 갈망하면서도, 이에 필수적으로 동반될 수 밖에 없는 편견은 매도한다.

This ambiguity is not unique to society’s demands on its doctors; in all areas of society we crave the personal touch while decrying the accompanying problems that form an integral part of the human equation.

하지만 인간이 가진 특징은, 좋든 나쁘든, 적당히 적응하는 것으로 만족하지 못한다는 것이다. 우리가 프로토콜에 얼마나 집착하는지를 보면 알 수 있다.

An indelible attribute of human nature, however, whether it be for good or ill, is our refusal simply to cope, evidenced in our society by an addiction to the protocol

프로토콜을 어설프게 손봐가면서 우리는 그럭저럭 해 나간다. Edgerton이 말했던 것처럼, 우리는 가끔 뒤죽박죽(muddle)으로 하다가 처음 상태로 돌아가버리기도 한다.

This constant tinkering with cultural and social circumstances often finds us ‘muddling through’, as Edgerton1 puts it, although sometimes we ‘muddle’ back to an earlier starting point, spiralling back to what we may once have rejected

이런식으로 순환하면서 PBL을 도입하거나 호스피탈리스트(hospitalist)를 양성하고자 하는 움직임이 플렉스너 이전 시대의 모습을 재현하고 있다.

Such cyclicity, evident in educational and health care initiatives like problem-based learning and the hospitalist movement,17–19 reintroduces several features of pre-Flexner medical practice

사례를 하나하나 해가면서 문제해결을 배우는 것, 도제식 관계, 제너럴리스트, 멘토에 의한 추가 학습 등등이 예전의 시대가 가지고 있던 모습이며, 그 시절에는 치유의 예술이 과학과 쉽게 조화를 이뤘다.

Case-by-case problem solving, the apprentice–preceptor relationship, the generalist, the extra time involved on the part of mentors9 all hark back to an earlier era, during which – we imagine – the art of healing partnered easily with science

의학교육에 인간적인 측면을 더 담으려는 노력은 플렉스너가 말한 그 유명항 '골고루 더 힘들고 비싼'것이 될지도 모른다. 그리고 그 비용은 아마 금전적인 것 많은 아닐 것이다.

Injecting more humanity into medical education may force us to reconsider Flexner’s famous ‘more uniformly arduous and expensive’ claim; perhaps the expense is not exclusively financial. (Time and Vulnerability)

마지막 측면은 자기분석(self- analysis)의 노력이다

The final observation concerns medical education’s attempts at self-analysis, attempts which may flounder from the density of the discipline’s own complexities.

플렉스너는 그의 보고서에서 많은 의과대학의 집행부들이 스스로 외부에서 인정받는 것 만큼 잘 하고 있지 않다는 것을 인정했다고 서술하고 있다.

Flexner’s account of his reform work indicates that administrators of a number of medical schools agreed that their business was less than reputable

최근의 의학교육을 살짝만봐도, 비판이 그렇게 강하지도 않고 의학교육 내부의 요구나 사회적 요구를 담을만큼 넓거나 깊지도 않다.

Even a cursory review of today’s medical education literature and conference proceedings offers a sobering verdict: the critique is never intense, broad or deep enough to satisfy either the demands medical education places on itself or those placed on it by society at large

앞서 언급된 모습에 대한 지칠 줄 모르는 자기성찰이 의학교육 내부에서 이루어지고 있다. 최신의 지식을 갖추면서 환자를 편안하게 돌보고 작은 마을의 의사와 같은 인내심을 가질 것을 요구하는 외부의 요구도 동시에 존재한다. 이 시스템에 대한 분석은 철저하고, 복잡하고, 약해질 줄을 모른다.

Internal to medical education is its unflagging introspection as it contends with the tensions outlined in the observations above. External are the twin societal demands that doctors suffer no gaps in the currency of their knowledge yet treat their patients with the ease and patience of small-town physicians. The examination of this system is exhaustive, intricate and unabating.

CONCLUSIONS

의학교육과 같이 복잡한 분야에서 꼬여있는 상황을 변화시킬 수 있는 힘은 아마도 외부적 힘이나 상황이 가지고 있는 특별한 재능에 있을지도 모른다.

In a complex field like that of medical education, where does one begin to ‘disentangle the conditions of its history from the density of discourse’?16 For all its unnerving prospects, that disentanglement, that change, may find part of its genius residing in another ‘external event or circumstance’.

Outside looking in: Observations on medical education since the Flexner Report.

(출처 : http://www.kirkpatrickpartners.com/OurPhilosophy/TheKirkpatrickModel/tabid/302/Default.aspx)

손에 쥔게 망치밖에 없으면, 모든 문제가 못으로 보인다. - 에이브러햄 매슬로

I suppose it is tempting, if you only have a hammer, you tend to see every problem as a nail - Abraham Maslow (1966)

'도구의 법칙'이라 불리는 위 명제는, 망치의 문제를 말하려는 것이 아니라, 망치에 대한 우리의 과도한 의존성을 지적하는 것이다. 이 개념은 근래의 보건의료 교육에 대한 프로그램 평가에 적용될 수 있을 것이다. 결과중심의(outcomes-driven) 커크패트릭 4단계 모형은 보건의료 교육 프로그램을 평가하는데 주로 사용되는 모델이다.

Known as the law of the instrument, the metaphor does not cast a poor light on the hammer, but on our over-reliance on it. This concept is currently applicable to the field of programme evaluation in health care education. Currently, the four-level, outcomes-driven Kirkpatrick model is the dominant model used to evaluate health care education programming.

그러나 우리는 이 한계가 뚜렷한 모델에 과도하게 의존하고 있다. 여기에 대해서 우리는 "이 커크패트릭 모형을 발전시켜야 할까? 아니면 우리의 '도구상자', 즉 우리의 사고를 더 확장시켜서 어떻게 복잡한 프로그램이 의도한(또는 의도치 않은) 결과를 야기하는지를 이해하도록 노력해야 할까?" 라는 두 가지 질문을 모두 해볼 필요가 있다.

However, we have become over-reliant on this limited outcomes-driven model, which leads to the query; are we to continue to improve our use of Kirkpatrick (build better hammers) or do we expand our thinking, and thus our ‘toolbox’, to understand how complex programmes work to bring about both intended and unintended outcomes?

지금까지 보건의료 교육 프로그램을 평가하기 위한 모형은 수백가지가 있었지만, 네 단계를 모두 평가하는 것이 여전히 프로그램 평가의 기준처럼 생각되고 있다.

To date, the model has been used to evaluate hundreds of health care education programmes and the measurement at all four levels is still considered the reference standard in programme evaluation.2

커크패트릭이 원래 그러한 의도로 만든 것은 아니겠지만, 이 모델은 기본적으로 인과관계를 상정한다는 한계가 있다. 각 단계의 성과가 소위 '더 높고 가치로운' 단계를 예측할 수 있다는 인과관계를 가정하는 한, 이 모델은 문제가 있다. 최근의 조직개발과 관련한 연구 결과를 보면 3단계의 성과는 훈련 그 자체보다 외부적 요인에 의해서 더 잘 예측된다는 결과가 있다.

Although not Kirkpatrick’s original intent, the model’s shortcomings lie in its conceptualisation as causal; that outcomes at each level can predict outcomes at the so-called ‘higher and more valuable’ levels. With this conceptualisation, the model is flawed. Recent work in the field of organisational development found that changes in Level 3 outcomes were better predicted by factors external to the training itself.3

이 모델의 한계점은 이미 잘 알려져있기 때문에, 그것을 발전시키기 위한 노력이 끊임없이 있었다는 사실도 전혀 놀라울 것이 없다. 1단계에서는 반응(reaction)보다는 동기와 참여(motivation and engagement)를 측정해야한다는 점, 1단계를 측정하는 방법이 향상될 여지가 있으며, 3단계 측정은 행동(behavior)보다는 수행능력(performance)라는 점 등이다.

Challenges with this model have been known for some time, so it is perhaps not surprising that efforts continue to improve it; arguing that Level 1 should measure motivation and engagement rather than reaction,4 methods to measure Level 1 can be improved1 and Level 3 should measure performance rather than behaviour.5

또한 이 모델을 변형한 모델도 많다.

Furthermore, variations of the model are countless

하지만 모델을 개선시키거나 적용시키려는 노력에도 불구하고 최고 단계의 성과를 측정하기 위한 노력은 여전히 엇갈린다.

Despite efforts to improve or adapt this model, our attempts to measure outcomes at the highest levels are mixed at best.6

의학교육 분야에 대한 최근의 담론은 왜 이것이 이러한지를 보여준다. 의학교육 프로그램과 그 프로그램이 수행되는 시스템은 너무 복잡하고, 그래서 의학교육 연구에 대해서는 이러한 복잡성을 반영할 수 있는 새로운 패러다임이 필요하다는 것이다.

A recent conversation in the field of medical education can shed light on why this is. It has been argued that medical education programming and the system in which it lives is complex and that we need to consider alternative paradigms in medical education research that reflect that complexity.7

1950년대에 스푸트니크호의 발사에 따라, 미국 정부는 전(全) 시스템적 교과과정의 개혁을 시도했고, 이 새로운 교과과정의 평가를 의무적으로 수행하도록 했다. 그러나 이와 같은 결과중심적 평가에 대한 노력이 실패하면서, 1960년대에 수행 평가(practice evaluate)에 대해 새로운 생각을 하게 된 분수령이 되었다.

In response to the launch of the Sputnik satellite in the 1950s, the US Government engaged in system-wide curriculum reform and created legislation that mandated the evaluation of this new curricula. 9 The failure of these outcomes-driven evaluation efforts to generate information that was useful for curriculum developers contributed to a watershed decade in the 1960s around new ways to think about and practice evaluation. 

이 때 등장한 프레임이 프로그램의 과정(process)와 성과(outcome)을 같이 측정하는 것이다. 이 프레임에서는 어떻게 프로그램이 관찰된 성과를 유발시켰는지를 조사함으로써, 이해관계자들이 평가와 프로그램 개발을 포괄하여 프로그램에 대한 의사결정을 내릴 수 있게 도와주었다.

Frameworks emerged that measured both a programme’s processes and outcomes, examined how the programme worked to bring about observed outcomes and helped stakeholders make decisions about their programmes by seamlessly interweaving evaluation and programme development. 10 

프로그램 평가에서 '복잡성'에 대한 개념은 1990년대에 와서야 등장했다. Michael Patton은 "만약 인과관계 라는 것이 '모기와 모기에 물린 자국'의 관계라면, 프로그램 평가에 대한 우리의 사고는 귀인(행동의 변화가 프로그램에 의한 것인가?)에서 기여(우리가 지금 보고있는 결과에 대해서 이 프로그램은 무슨 역할을 했는가?)로 바뀌어야 한다.

The concept of complexity in programme evaluation emerged in the 1990s. Michael Patton, an advocate of complexity thinking in programme evaluation, argues, if ‘causality is the relationship between mosquitos and mosquito bites’, then our questions in the field of programme evaluation need to shift from questions of attribution (‘can we attribute behaviour change to our programme?’ or ‘did we meet our intended outcomes?’) to questions of contribution (‘what role did our programme play in the outcomes that we are noticing?’).

여기서 주장하는 것은 커크패트릭 모델을 더 이상 사용하지 말자고 하는 것도 아니고, 도구상자에서 망치는 빼버려야 한다고 말하는 것도 아니다. 오히려 반대로, 더 나은 망치를 만들고 어떤 도구를 사용해야하는지 이해하자는 말이다.

This is not a plea to do away with the Kirkpatrick model, or advocating that any toolbox should do away with a hammer. On the contrary, it is about building a better hammer and understanding when you need to use one in the first place.

커크패트릭 모델은 프로그램개발의 시작 단계에서는 효과적으로 사용될 수 있다. 하지만 여기에만 의존하는 것은 다양한 이해관계자가 얽혀 있는 프로그램에 못할 짓을 하는 것이다.

The Kirkpatrick model can be used effectively at the start of a programme’s development, but to rely on it solely to render judgement is doing a disservice to the value programmes have to their diverse stakeholders

'이것 또는 저것'이 아니라 '이것과 저것' 이라는 말의 정신을 되살리자면, 우리에게 중요한 것은 프로그램 평가를 발전시키는 것이지, 더 나은 망치만 만들거나, 더 나은 도구상자만 만드는 것이 아니다.

In the spirit of the quote ‘it’s not either/or but both/and’, what is important to the evolution of programme evaluation is not only building a better hammer, but building a better toolbox.

A better hammer in a better toolbox: considerations for the future of programme evaluation.

(출처 : http://beckerexhibits.wustl.edu/wusm-hist/modern/)

기술이 발전하면서 학생들은 직접 수업시간에 출석하지 않고도 교육과 교육 자료를 받을 수 있게 되었다. 강의녹화기술(lecture-recording technology)는 세 가지를 기록한다.

(1) 음성

(2) 파워포인트 슬라이드와 같은 시각자료

(3) 교수자

이렇게 기록된 내용은 의과대학 1학년과 2학년 학생들이 자기 컴퓨터나 스마트폰으로 볼 수 있도록 팟캐스트와 같은 자족적(self-contained) 학습모듈로 제공된다.

Advances in classroom technology enable students to obtain educational material without actually attending standard didactic teaching sessions (i.e., lectures). Lecture-recording technology captures up to three channels: (1) the audio content of the lecture, (2) a digital picture of the visual display, usually PowerPoint (Redmond, Washington) slides, and in some cases, (3) a video recording of the lecturer. The three channels of the lecture capture can be processed into a self-contained learning module (commonly called a podcast) that viewers—in this case first- and second-year medical students— can play back on a personal computer or other digital device.

학생들은 매 과목마다 얼마의 시간을 투자할 것인지 스스로 결정할 수 있고, 이 덕분에 학생들은 관심사에 따라 과목마다 서로 접근 방법과 장소를 다르게 결정할 수 있다. 미국의 많은 의과대학들은 이러한 강의녹화기술의 영향력을 인식하여 학생들이 강의를 선택적으로 출석할 수 있도록 하고 있다.

Students have control over the amount of time they spend on any one subject, and this approach also allows them to focus on different subjects in different ways and places. Many medical schools in the United States have recognized the impact of lecture-capture technology and have responded by making student attendance at lectures optional.1

강의녹화기술은 기존의 방식과 비교해서 학생의 학습에 대해 의미있는 차이를 보이지 않았으나, 일부 연구들은 학생들 사이에서 이러한 방법이 제법 인기가 있음을 보여준다.

Research on lecture-capture technology has generally shown no significant impact on student learning when compared with traditional methods; however, some studies suggest that lecture-capture technology is quite popular among students.2–4

가장 흔한 교수들의 우려는 청중을 잃는 것이다. 특히 교수들은 출석률이 낮아지면 교수자와 학습자간의 상호작용이 감소하여 결국 강의의 효과성이 떨어지고, 교수자의 자율권이 감소할 것을 우려한다.

The most common faculty concerns reported to date relate to the loss of an audience. Specifically, faculty fear that low attendance and reduced student–teacher interaction will have an impact on the efficacy of their teaching performance and give them less autonomy in their approach to teaching.5

학생들의 강의평가에 대한 연구는 1920년대부터 이뤄져왔다. 1970년대는 "학생 평가 연구의 황금기"라고 불릴 정도였다. 지난 90년간 연구자들은 교수자의 강의를 평가하는 데 있어서 학생들은 신뢰도와 타당성이 높은 자료원이라는 것을 지속적으로 보여줬다. 그러나 연구자들은 동시에 강의평가결과에 교란요인으로 작용할 수 있는 것들도 밝혀냈는데, 강의실의 크기, 강의의 수준, 학생의 기대 학점, 과목 등이 그것이다.

Research on student evaluations of college teaching is abundant, dating to the 1920s and the work of Remmers6 and colleagues from Purdue University.7,8 This rich history of evaluations includes the 1970s era, which education researchers termed “the golden age of research on student evaluations.”7 Over the past 90 years, researchers have consistently demonstrated that students serve as valid and reliable assessors of faculty teaching performance in college classrooms and lecture halls; however, investigators have also identified various factors that occasionally confound student evaluation results, including class size, level of course, the student’s anticipated grade in the course, and the subject matter or discipline.6–8

우리는 과연 학생의 출석률 또한 교란변수로 작용할 것인가가 궁금해졌으며, 특히 이 연구에서는 OSUCOM 의예과 수업을 들은 학생들을 대상으로 수업에 출석한 학생과 팟캐스트나 다른 보조학습자료로 수업을 들은 학생을 비교했다.

we wondered whether students’ attendance at the lecture might be a confounding factor in their evaluations of faculty. Specifically, the purpose of this study was to compare how students who attended class versus those who relied solely on podcasts and other supplemental learning materials evaluated lecturers in the preclinical medical school curriculum at the Ohio State University College of Medicine (OSUCOM).

팟캐스트와 같이 완전히 강의 그 자체를 제공하는 자료를 활용하더라도, 사람과 사람간의 상호작용은 강의에 출석함으로서 생겨나고, 따라서 개개인의 학습에 미치는 영향이 다를 수 있다.

The person-to-person interaction that develops through the attendance of a traditional didactic lecture may have a different effect on individual learners compared with the reliance on other materials, even if that material includes a complete podcast of the lecture itself.

기존 연구들은 비디오로 녹화된 강의가 학생들이 학습하는데 있어 일정 수준의 가치가 있음을 보여준 바 있다.  학생들의 흥미와 녹화된 강의를 활용하고자 하는 의지에 따라서 학습 습관에 차이가 있을 수 있으나, 강의평가가 이러한 사실을 증명한 적은 없다(not necessarily borne that out). 

다른 연구에서는 수업 외적인 학습자료가 있더라도, 그것을 얼마나 활용하느냐가 실제로 강의에 출석하는 것에는 별로 영향을 주지 않는다는 것도 보여진 바 있다. 또한 학생들의 수행능력에도 영향을 주지 않았다. 우리의 연구 결과도 비슷한 결과를 보여주고 있는데, 비록 의학과2학년 때 약간의 감소는 있었지만 대부분의 학생들은 여전히 강의에 잘 출석하고 있었다.

Previous studies have indicated that students find value in using video-recorded lecture material to learn.2–4 Although students’ interest and willingness to use video-recording technology may have potential ramifications on learning habits, student surveys have not necessarily borne that out.2 Other studies have suggested that despite the availability of external learning material, their use has not had a large impact on actual attendance in formal lecture hall venues9,10 or on student academic performance.3,11 Our data appear similar in that the majority of students still attend lectures, though there may be a small decline in attendance during the Med-2 year (data not shown).

우리 연구에서는 강의에 출석한 학생들이 팟캐스트로 강의를 들은 학생들보다 통계적으로 유의하게 더 높은 점수를 줬다.

We found that students who attended lectures in person rated lecturers significantly higher than those who viewed podcasts of them.

이 결과는 각 학과장들이 승진이나 테뉴어를 결정할 때 강의평가를 어떻게 활용해야 할 것인가에 시사하는 바가 있다. 예를 들어서 동일하게 4점을 받았더라도, 주로 강의실 강의를 한 교수와 팟캐스트 강의를 한 교수를 동등하게 보아서는 안된다는 것이다.

This finding has ramifications on how department leaders should assess lecturers and on the role evaluations should play in determining promotion and tenure. For example, two different faculty each rated a “4” on a 5-point scale by students would not be truly equivalent if one faculty was judged primarily by students who listened to a podcast lecture and the other by students attending a mandatory lecture in person. In turn, department leaders should not assess each of these faculty members in an equivalent manner.

우리 연구에서 한 교수가 통계적으로 아웃라이어(outlier)였는데, 여기에 대한 고찰이 더 필요하다.

The statistical outlier responsible for the significant interaction between faculty degree background (MD versus PhD) and year in medical school (Med-1 versus Med-2) deserves further elaboration.

이 교수는 다른 수업과는 달리 수업에 앞서서 완전히 다 작성된 수업 노트를 제공하지 않는다. 대신 중요한 제목만 적혀있고 많은 공란이 있는 노트를 나눠줘서 강의를 하는 동안 만들어진 강의록들을 넣을 수 있게 하였다. 이 교수는 파워포인트도 사용하지 않으며, 대신 강의시간에 보고, 듣고, 기록하는 내용이 학생의 학습에 중요하다는 철학을 가지고 있다.

He does not, in advance of the lecture, provide students with complete notes like those they receive in other sections of the course. Instead, they receive pages with the major headings (the topics that will be covered) and plenty of blank space on which they can copy the notes the lecturer produces (and provides via overhead projection) as he lectures. He uses no PowerPoint slides. Rather, his philosophy is that hearing, seeing, and writing the lecture material at the same time contributes to retention and aides student learning.

이 통계적 아웃라이어를 제거하고 나면 강의에 출석 여부에 상관없이 학생들의 강의평가 점수는 PhD와 MD사이에 차이가 없었다. Preclinical medical student의 강의평가는 기초과학 내용이 임상과학 내용과 잘 연결이 되어 있을 때 더 높아진다는 연구결과가 있다.

Once we removed the data related to the statistical outlier, we found that students tended to rate clinical faculty (those with MDs) higher than the basic scientists (those with PhDs), regardless of whether they had or had not attended lectures. This phenomenon may reflect the nature of the content delivered by these lecturers, or it could be a subconscious, or even conscious, display of content favoritism. Previous studies of preclinical medical students’ evaluations of their courses have suggested that basic science material, when well integrated with the clinical sciences, can have a significant, positive impact on student evaluations of lecturers.11

또한 우리의 연구에서는 학점이 출석과는 관련이 없지만, 학점을 무엇을 받았느냐가 강의평가 점수와 연관이 있음을 보여주고 있다.

Our results also showed that class grade has a significant impact on how students evaluate faculty, though grade does

not relate to attendance.

이전의 연구에서 더 높은 학점을 받은 학생이 강의평가를 더 제때제때 하고 교수자의 교수능력에 대해서 더 실질적인 코멘트를 해 주는 것으로 나타난 바 있다.

Previous studies have suggested that students who receive higher grades tend to complete their faculty evaluations in a more timely manner and offer more substantive comments about the lecturers’ performance.12

교수들이 학생에 의해서 평가를 받을 때, 학생들의 출석여부가 고려되어야 할 필요가 있다. 이는 교수에 대한 평가가 승진이나 테뉴어 심사에 적용될 때 특히 더 중요할 것이다. 특정한 교수자-학습자 관계에 촛점을 맞추기보다 강의가 강의실의 수업을 넘어서까지 효과를 미치는 것에 집중하는 것이 의과대학 교육의 질을 높이는데 더 도움이 될 것이다.

When faculty are being evaluated by students, the students’ attendance at in-person teaching events needs to be taken into account. This accounting may be of particular importance when faculty are being evaluated by promotion and tenure committees. Focusing instead on specific teacher–learner relationships and their effectiveness outside the classroom may prove to be a better gauge of medical educator quality.

The Impact of Lecture Attendance and Other Variables on How Medical Students Evaluate Faculty in a Preclinical Program.

Students' attendance at lectures, year, and class grade, as well as lecturer degree, affect students' evaluation of lecturers. This finding has ramifications on how student evaluations should be collected, interpreted, and used in promotion and tenure decisions in this evolvingmedical education environment.

(출처: http://history.library.ucsf.edu/theme_photo5.html)

Commentary: Understanding the Flexner Report

Flexner의 입장

• 의학적 실증주의(Medical positivism)
• 플렉스너는 의학을 일반적 생물학 법칙을 따르는 실험학문이라 했다.
• Flexner described medicine as an experimental discipline governed by the laws of general biology.
• “It [the human body] is put together of tissues and organs, in their structure, origin and development not essentially unlike what the biologist is otherwise familiar with; it grows,  reproduces itself, decays, according to general laws.”1(p53)
• 입학 요건 강화(Rigorous entrance requirements)
• 플렉스너는 "이렇게 대충대충 잘 교육받지도 못한 학생을 뽑아서는 실험실 교육과 임상실습 교육이 불가능하다"라고 했음.
• A medical school, Flexner wrote, “cannot provide laboratory and bedside instruction on the one hand, and admit crude, untrained boys on the other.”1(p22)
• 과학적 방법론(The scientific method)
• 플렉스너가 말한 '과학적 방법'이란 어떤 아이디어를 정교한 실험으로 검증하여 정확한 사실(fact)를 밝히는 것이다.
• Flexner pointed out that the scientific method of thinking applied to medical practice. By scientific method, he meant the testing of ideas by well-planned experiments in which accurate facts were carefully obtained.
• “The practicing physician and the ‘theoretical’ scientists are thus engaged in doing the same sort of thing, even while one is seeking to correct Mr. Smith’s digestive aberration and the other to localize the cerebral functions of the frog.”1(p92)
• 행동에 의한 학습(Learning by doing)
• "교육학적 측면에서, 근대 의학은 다른 모든 과학과목과 같이 '직접 해보는 것'이어야 한다. 학생은 단순히 보고, 듣고, 암기하기만 해서는 안 된다"
• “On the pedagogic side,” he wrote, “modern medicine, like all scientific teaching, is characterized by activity. The student no longer merely watches, listens, memorizes; he does.”1(p53) Flexner’s scorn for didactic instruction pervaded the report.
• 연구(Original research)
• Original research was a core activity at Flexner’s model medical school.
• “Research, untrammeled by near reference to practical ends, will go on in every properly organized medical school; its critical method will dominate all teaching whatsoever.”1(p59)
• To Flexner, the best teachers were usually “men of active, progressive temper” engaged in research; those uninterested in solving problems tended to be “perfunctory teachers.”1(p56)

Flexner report에 대한 오해와 진실

Flexner 전에는 미국 의학교육에 아무 일도 변화도 없었다? No!

• 이미 그 이전부터 변화는 시작되고 있었다.
• Myths concerning Abraham Flexner abound. The most common myth is that little or nothing had happened in American medical education until Flexner arrived on the scene.

Flexner는 scientific medicine만 강조했다? No!

• Flexner는 "과학만으로 전문가적 진료의 기반을 다질 수 없다. 임상을 하는 사람은 통찰력(insight)와 공감능력(sympathy)가 있어야 한다." 라 했다.
• The report itself has frequently been misunderstood. Because of its strong emphasis on scientific medicine, it has often been accused of ignoring the doctor–patient relationship and the humane aspects of medical care. Exactly the opposite was the case.
• Science, Flexner wrote, was “inadequate” to provide the basis of professional practice The practitioner needs “insight and sympathy,” and here specific preparation is “much more difficult.”1(p26)
• He wrote in 1925, “Scientific medicine in America—young, vigorous and positivistic—is today sadly deficient in cultural and philosophical background.”7(p18)

예방의학(Preventive medicine)의 중요성을 무시했다? No!

• "의사의 역할은 개인적/치료적 이라기보다는 사회적/예방적 이어야 한다."
• Another common misperception is that the report denigrates the importance of preventive medicine “the physician’s function is fast becoming social and preventive, rather than individual  and curative.”1(p26)

빡빡하고 뻣뻣한 커리큘럼의 시초다? No!

• "엄격한(iron-clad) 커리큘럼으로서 의학교육을 향상시키고자 하는 것은 전적으로 실수다."
• Many have faulted the Flexner Report for fostering a crowded, inflexible curriculum Medical schools, he argued, must be trusted “with a certain amount of discretion.”1(p76) He believed that “the endeavor to improve medical education through iron-clad prescription of curriculum or  hours is a wholly mistaken effort.”1(p76)

의학교육 개혁의 Final document일까? No!

• "이 보고서의 해결책은 현재와 그리고 길어야 30년 정도의 가까운 미래에 대한 것일 뿐이다"
• Contrary to widespread popular opinion, the Flexner Report was not envisioned by its author as a final document. “This solution,” he wrote, “deals only with the present and the near future,—a generation, at most.

배울 점

He was uncompromising in his view that medicine is a public trust and that the profession and its educational system exist to serve.

These values, he argued, are timeless, regardless of the professional and social circumstances of the moment.

By and large, medical educators since his time have taken this message to heart. We certainly have done our best work in pursuit of this goal. An unswerving commitment to excellence and service—this was and continues to be Flexner’s gift to medical education and the medical profession.

Commentary: Understanding the Flexner report.

Department of Medicine, Washington University School of Medicine in St. Louis, St. Louis, Missouri 63110, USA. kludmere@dom.wustl.edu