의학교육의 국제화와 미래: 글로벌 관점(Acad Med, 2006)

International Medical Education and Future Directions: A Global Perspective

Ronald M. Harden, MD

Friedman은 이렇게 말했다. "21세기 초반은 기억될 것이다. 군사적 갈등이나 정치적 사건 때문이 아니라 세계화의 완전히 새로운 시대가 열렸기 때문이다. 세계가 "flattening"하고 있다."

The beginning of the 21st century will be remembered, Friedman1 argues, not for military conflicts or political events, but for a whole new age of globalization—a “flattening” of the world.

오늘날, 거의 대부분의 국가가 고등교육에 대해서 세 가지 야망을 가지고 있다.

Today, almost every country has three ambitions regarding higher education.3 

• 첫째는 접근성을 높이는 것이다. 즉 더 많은 학생이 대학에 다니게 하는 것이다.
  The first is to provide greater access—that is, to admit more students to a university. 
• 둘째는 국제시장에서 경쟁력을 갖도록 고등교육을 향상시키는 것이다.
  The second is to improve higher education to compete in an international market. 
• 셋째는 대학 자체의 평등을 향상시키는 것으로, 소외계층의 학생이 그들의 사회, 문화, 인종적 배경으로 인해서 손해를 보지 않게 하는 것이다.
  The third is to increase equity—to offer university education to students disadvantaged because of their social, cultural, or ethnic background.

마틴루터킹 주니어는 1968년 이렇게 말했다. "It really boils down to this" "모든 생명은 서로 연결되어 있다. 우리는 빠져나갈 수 없는 상호성의 네트워크에 잡혀 잇으며, 하나의 운명이라는 옷으로 묶여 있다. 하나에 영향을 주는 것은 무엇이든 모든 것에 간접적으로 영향을 준다." 교육도 예외는 아니다.

“It really boils down to this:” argued Martin Luther King, Jr5 in 1968, “that all life is interrelated. We are all caught in an inescapable network of mutuality, tied into a single garment of destiny. Whatever affects one directly, affects all indirectly.” Education is not exempt.

국제화를 촉진하는 요인들

Factors Encouraging Internationalization

의료의 국제화

Globalization of health care delivery

국제 의료인력 시장의 어떤 특징들은 상당한 우려를 갖게 하며, 의료인력의 불균등한 분포는 거의 전세계적인 문제이다. 개발도상국에서 의료인력이 유출되는 것은 지구 많은 곳에서 의료인력의 부족을 가져왓으며, 거의 모든 사하라이남 국가에서 의사-인구 비율은 1960년 이후 정체되어있다.

Certain features of the international health care labor market have given rise to concern, and the maldistribution of health care workers is a near-universal problem.7 Migration of physicians from developing countries has created serious shortages of medical manpower in many parts of the world,8,9 and the physician to population ratio has stagnated or declined in nearly every Sub-Saharan country since 1960.

정부의 압박

Government pressures

유럽에서는 예를 들면 '볼로냐 프로세스'가 있으며, 그것의 목적은 가입국가간 유럽의 고등교육에 있어서 학습성과, 교육 프로세스, 인증 등을 공유하는 것이다.

In Europe, for example, the “Bologna process” has, as an objective, the creation of a European higher education area where learning outcomes, the educational process, and accreditation are shared by the member states.

이 탑-다운 접근법에서, 고등교육기관은 정부기관의 도구로서 여겨지며, 자율성을 가진 배역이 아니다. 2001년 프라하 컨퍼런스에서 "고등교육은 공공재이며, 정부는 공공제를 제공할 책임이 있는 사회의 대리인이다"라고 했다.

In this top-down approach, higher-education institutions are seen as instruments of government policy, not as autonomous actors. The communique´ froma conference held in Prague in May 2001 stated explicitly that “higher education is perceived as a public good and governments are the agents in society that are responsible for providing public goods.”11

• The eighth conference was hosted by the National Board of Medical Examiners in Philadelphia; and the 12th conference, in May 2006 in New York, attracted about 1,000 participants from 55 countries. 
• The annual international meeting on medical education organized by the Association for Medical Education in Europe (AMEE) now attracts about 2000 participants frommore than 80 countries. 
• The third Asia Pacific Medical Education Conference in Singapore in 2006 attracted more than 400 participants fromthe region.

공통의 언어 개발

The development of a common vocabulary

공통의 용어 사용의 중요성은 IIME가 인식하고 용어를 개발, 출판하였다.ㅋ

The importance of common usage of terms in medical education was recognized by the International Institute of Medical Education (IIME). This led to the development and publication of a glossary.14

상대적으로 새로운 온라인 자료원도 있다(MedEd Central)

A relatively new online medical education information source and glossary, “MedEd Central” (www.mededcentral.org), has been developed by AMEE in collaboration with MEDINE, the European Union (EU) medical education thematic network.

성과기반 교육과 스탠다드

Outcome-based education and standards

스코트랜드

In Scotland, the five medical schools published learning outcomes that have now been adopted in a number of other countries in Europe.16 

캐나다

The competencies and learning outcomesset out by the Royal College of Physicians and Surgeons of Canada17 and 

ACGME

the Accreditation Council for Graduate Medical Education in the United States18 have also had a significant international impact. 

IIME

IIME19 has identified the “Global Minimum Education Requirements” with the express purpose of defining the minimumcompetencies that all physicians must have regardless of where they receive their general medical education or practice. 

WFME

The World Federation for Medical Education20 has played an important role in internationalization of medical education through its development, publication, and dissemination of standards in basic medical education, postgraduate medical education, and continuing medical education.

실제로 IAU는 고등교육의 국제화에 있어서 경쟁력이 세계화의 가장 중요한 요인임을 밝혔다. 대학은 국제학생을 또 다른 수입원으로 발견해냈다. 많은 국가에서 국제 활동을 상업적 이익을 가져다주는데 도움이 된다는 인식으로 바뀌고 있으는데, 예를 들면 호주에서는 고육은 이제 국가의 9번째 큰 수출산업이 되었다.

Indeed, the IAU6 found competitiveness to be the most important factor driving internationalization in institutions of higher education—a major shift fromearlier findings. Universities have discovered international students as an alternative source of income.25 In many countries, a shift has occurred from seeing international activities as aid to perceiving themas providing commercial advantage. In Australia,26 for example, education is now recognized as the nation’s ninth largest export earner and an industry of 4.2 billion (Australian) dollars.

교육에서의 세계화를 바라보는 관점

Views of Internationalization in Education

학생

The student

유네스코의 1997년 자료는 빈곤국가 혹은 개발도상국 학생이 상대적으로 부유한 국가에서의 수학을 선택하는 경향을 확인해주었으며, 이는 더 양질의 고등교육을 찾아가는 것이거나, 현지에서의 노동시장에 접근하기 위한 것일 수 있다. 그러나 이러한 학생 수출(?)의 문제는 Broadhead와 Muula가 지적한 바 있다 "당신네들의 어린 학생을 중등교육 이후 곧바로 보내는 것은 그들이 교육을 마치고 돌아오지 않을 위험을 감수하는 것이다. 이를 보여주는 단적인 사례가 1980년대에는 - 사실에 가까운 - 이러한 농담이 있었다. '맨체스터에는 말라위 인구 전체보다 더 많은 수의 말라위 출신 의사가 있다'"

The UNESCO199721 data confirmed that students fromrelatively poor or developing countries tended to opt for study in a relatively rich country, hoping to gain access to a more advanced quality of higher education and possibly access to the labor market of the host country. The problemof sending students from developing to developed countries for their education, however, has been stated by Broadhead and Muula27: “Sending young students abroad immediately after their secondary education and in their formative years risks their not coming back when they qualify. This proved to be the case. By the 1980s, the joke—ironically true—was that there were more Malawian doctors practising in Manchester than in the whole of Malawi.”

학생 이동의 문제는 선진국 간에서도 발생한다. 그러나 많은 연구 결과는 그렇게 해외에서 교육을 받는다고 그 학생이 더 세계화적 마인드를 가지게 된다거나, 짧은 해외 수학기간만으로 고등교육을 받은 국가에 더 친숙하게(frendlier) 되는 것은 아님을 보여준다.

This movement of students also takes place between developed countries that are more or less on equal terms. Many research projects, however, have shown that students become neither more internationally minded nor friendlier to their host country during a short period of study abroad.21

많은 미국 시민들이 외국으로 의학을 배우러 나가고, 진료를 위해서 미국으로 다시 돌아온다. 현재, 약 25%의 레지던트과 25%의 미국 내 진료의사는 의학사 학위를 미국이나 캐나다 외부에서 취득했다.

Many U.S. citizens study medicine abroad and return to the United States to practice.28 Currently, approximately 25%of all residents and 25%of practicing physicians in the United States obtained their medical degrees outside the United States or Canada.

중국에서 16만명의 학생이 1978년과 1999년 사이에 해외로 나간 것으로 추산된다. 또한 2000년 중국 내 해외 학생의 수는 44711명 정도였다.

In China,29 it is estimated that 160,000 private students went abroad between 1978 and 1999 and that they studied in 103 countries. China has also tried hard to attract foreign students. In 2000, the number of foreign students in China was estimated as 44,711; the students came from164 countries, with 71%of the students fromAsia, 14%fromEurope, 11%fromAmerica, and 3%fromAfrica.

콸라룸푸르의 국제의과대학은 새로운 국제협력의 모델을 제시하는데, 첫 2년은 말레이시아에서 수학한 이후 22개 파트너 대학 중 하나로 이동하여 그 국가에서 학위를 받게 된다.

The International Medical University in Kuala Lumpur offers an interesting model of international collaboration. Students complete the first two and a half years of their study in Malaysia. They then transfer to one of 22 partner schools in Australasia, Europe, and North America and are awarded the medical degree of the university in the country where they satisfactory complete their training.

교사

The teacher

2000년 이후, 영어로 쓰인 무수한 교과서가 중국에 도입되었고, 2002년에는 중국 내 가장 유명한 10개 대학에서 하버드, 스탠포드, MIT에서 사용했던 거의 모든 교과서를 수입하는 것으로 결정했다.

From 2000 onward, large numbers of textbooks written in English were imported and introduced into China,29 and in 2002, 10 of the most famous universities in China decided to buy and use almost all of the textbooks, including medical ones, used at Harvard University, Stanford University, and MIT.

IVIMEDS는 16개국 30개 의과대학이 공유하는 학습자원이다.

For example, in the International Virtual Medical School (IVIMEDS),30 schools in 16 countries share learning resources.

학습목표는 작은 학습자료 부분부분이 모여서 만드는 교육 프로그램이다. 이-러닝의 혁신자인 Hodgins는 레고를 사용하는 것에 비교했다

Learning objects are small chunks of learning material—such as a diagram, a clinical photograph, or a short instructional sequence—that can be combined to make up a learning program. Hodgins,31 a leading innovator in e-learning, has compared this approach to the use of the toy Lego, in that 

• 작은 교육의 조각을 쌓아서 큰 교육의 구조를 만들 수 있으며, 그 교육의 조각은 또 다른 교육구조를 만드는데도 쓸 수 있다.
  small pieces of instruction (Lego blocks) can be assembled (stacked together) into a larger instructional structure (eg, a castle) and reused in other instructional structures (eg, a spaceship). 
• 어떤 학습목표도 다른 학습목표와 결합가능하며, 학습목표는 학습자의 요구에 따라서 어떤 식으로든 교육 프로그램을 만드는데 사용할 수 있다.
  Any learning object (Lego block) is combinable with any other learning object (Lego block), and the learning objects (Lego blocks) can be assembled however users choose to create educational programs (toys) to meet their needs.

교육과정

The curriculum

• in Malaysia with Monash University and with the Royal College of Surgeons in Ireland, 
• in Qatar with Cornell University, and 
• in Singapore with Duke University.

호주는 특히 해외캠퍼스와 쌍둥이-관계를 늘려가고 있는데, 1996년에는 50개 정도에서 2001년에는 1000개 이상으로 늘어났다. 브렌치-캠퍼스에서의 교육과정은 메인-캠퍼스에서의 교육과정과 동등(parallel)하게 설계되어 있으며, 종종 프로그램을 동등하게 하려는 노력이 두 교육과정을 거의 구분 불가능하게 만들기도 한다.

Australia, particularly, has seen a dramatic increase in the number of offshore campuses and twinning arrangements, from about 50 in 1996 to more than 1,000 in 2001.26 The curriculum at the branch campus usually is designed to parallel that at the “main” campus, and often for the purpose of equivalence the program is made as indistinguishable as possible from that at the main campus.

There is a third option for curriculum development. It is the development of a truly international— better described as transnational or global—curriculum that, while considering the local students’ needs relating to the topics covered, has a strong international basis. In such a curriculum, local issues are put into international context.

3차원적 모델 

A three-dimensional model

Transnational 의학교육

Transnational Medical Education

이 모든 것을 가능하게 하는 것은 인터넷과 새로운 교육 접근법이다. Horton은 "웹과 인터넷이 우리 세계를 바꾸고 있으며 몇 년 전에는 상상만 가능했던 기회를 가능하게 했다. 교육과 훈련보다 이 기회가 더 열려있는 곳은 없다"

What makes all of this possible is the rapid development of the Internet and new pedagogical approaches. “Web and Internet technologies,” Horton33 has said, “are transforming our world, presenting opportunities we could only imagine a few years ago. Nowhere are these opportunities greater than in training and education.”

Koehn과 Swick은 현재 미국이 강조하는 cultural competence에서 transnational competency로 옮겨가야 한다고 주장했다.

In the article “Medical education for a changing world: moving beyond cultural competence into transnational competence,” Koehn and Swick38 advocate moving fromthe current emphasis in the United States on cultural competence to a specified set of transnational competencies.

"transnational education"이라는 용어에 대한 혼란이 있다.

There has been terminological as well as conceptual confusion about the term“transnational education.” 

A report from Council of Europe/UNESCO40 included in transnational education “all types of higher education study programmes, or sets of study, or educational services (including those of distance education) in which the learners are located in a country different fromthe one where the awarding institution is based.”

의학교육이 transnational/global 모델로 나아가고자 할 때 논쟁이 되는 점은 공동학위에 대한 인정에 관한 부분이다. 공동(협동)학위(Joint degree)는 서로 다른 국가에 위치한 다수의 고등교육기관이 협력함으로써 나타나는 결과인데, 비록 일부 기관에 이것은 위협이 되는 것으로 보일 수 있으나, 엄청난 잠재력을 가지고 있다. EU는 이 방향으로 움직이고 있다. Erasmus Word 프로그램은 90개의 대학간 네트워크를 통해서 250개의 공동석사과정을 만들었다. 

A controversial aspect of moving toward a transnational/global model of medical education is that it could lead to calls for the award and recognition of joint degrees. Joint degrees resulting from cooperation among several higher education institutions located in different countries, although appearing threatening to some institutions, have considerable potential.41 The EU has already moved in this direction. The Erasmus World program42 included the development of about 90 inter-university networks to provide 250 joint master’s courses to students around the world.

미국은 National Geographic Society survey 등에 따르면 교육적 고립의 상태를 지적받고 있다. 설문의 대상이 된 8개 국가의 학생 중, 미국 학교에 다니는 학생이 국제적 문제나 지리에 관한 정보를 두 번째로 적게 제공받고 있었다. 다행히 우리는 의학교육에서는 다른 양상을 발견할 수 있으며, ECFMG는 국제적인 차원의 리더십을 제공하고 있다.

The United States, for example, has been criticized for its educational isolation as evidenced by the findings of a National Geographic Society survey.35 Among students fromeight countries surveyed, those attending American schools were the second most poorly informed about world affairs and geography. Fortunately, in medical education we see a different picture, with the ECFMGproviding leadership in what can be achieved internationally.

이-러닝의 국제적 관점에 대해서 Carr-Chellman은 이렇게 말했다.

Writing on global perspectives on e-learning, Carr- Chellman43 challenged us that

지난 10년간의 변화는 느릴 것이다. 아마 '터벅터벅 걷는다' 라는 정도로 표현할 수 있을 것이다. 테크놀로지를 비판적으로 보는 사람들은, 지금까지 이-러닝의 실패가 성공보다 더 두드러졌다는 점으로부터 우리가 새로운 것을 만들고 혁신하는데 어려움을 겪을 것이라고 생각한다. 궁극적으로, 그러나, 언제, 어디서나 학습을 하고자 하는 열망은 저항할 수 없을 것이며, 교육적으로는 물론 경제적으로도 그럴 것이다.

progress over the next decade is likely to be slow, probably best described as plodding. The technology’s sceptics, emboldened by the fact that, to date, e- learning’s failures have been much more prominent than its limited successes, will challenge each new product and innovation. Ultimately, however, the lure of anywhere-anytime learning will prove irresistible—educationally as well as financially.

14 Wojtczak A. Medical education terminology. Med Teach. 2002;24:357.

38 Koehn PH, Swick M. Medical education for a changing world: moving beyond cultural competence into transnational competence. Acad Med. 2006;81:548–56.

Acad Med. 2006 Dec;81(12 Suppl):S22-9.

International medical education and future directions: a global perspective.

FDP의 교육-스킬에 있어서 장기 효과성에 대한 질적 평가(Med Educ, 2007)

Qualitative assessment of the long-term impact of a faculty development programme in teaching skills

Amy M Knight, Joseph A Carrese & Scott M Wright

FDP의 평가는 보통 프로그램이 끝난 직후에 시행되나 많은 경우 이러한 평가는 양적평가가 된다. 질적연구 설계는 특정 주제에 대해서 대상자의 관점을 더 폭넓고 깊게 확인할 수 있게 해준다. 비록 많은 FDP 성과 연구들이 질적연구방법을 사용했지만, 대부분은 20명 이하의 참가자만을 대상으로 하거나, 6개월 이내에 시행된 바 있다.

Evaluations of FDPs are usually performed immedi- ately or soon after their conclusion and the majority of these assessments have been quantitative in nature.6 Qualitative study designs may better identify the breadth and depth of subjects’ perspectives on a particular topic.7 Although several studies of FDP outcomes have used qualitative methodologies,8–14 most have included fewer than 20 participants8–11 or have occurred within 6 months of the conclusion of the programme.8,9,13

9개월짜리, 매주 반일동안 교육스킬에 대해 진행되는 FDP가 1987년부터 진행되어왔다. 프로그램 종료 직후의 평가와 장기 follow-up 설문의 양적연구 결과는 출판된 적 있다.

A 9-month, 1 half-day per week FDP in teaching skills (FDP⁄ TS) has been offered annually at our institu- tion since 1987. An immediate post-programme evaluation15 and results froma quantitative long-term follow-up survey16 have previously been published.

프로그램

Programme description

5~8명씩. 1~2명의 퍼실리테이터와 만남. 9월 초부터 5월 말까지. 매주 반일. 모듈별 운영. 모듈당 길이는 1~6주. 프로그램 목표. 

Participants in the FDP⁄ TS meet in groups of 5–8 participants with 1–2 facilitators between early September and late May for 1 half-day each week to work on modules that vary in length from 1 to 6 weeks. Programme goals are for participants to experience and gain expertise in concepts believed to be critical to educating medical learners, such as learner-centredness, self-directed learning, and the building of a supportive learning environment.

모듈 토픽

Module topics include 

• giving and eliciting feedback, 
• precepting (1-to-1 teaching), 
• time management, 
• communication and interviewing, 
• negotiation and conflict management, 
• giving lectures and presenta- tions, and 
• small-group leadership skills.

The programme has been described in detail elsewhere.15

연구 설계

Survey design

자료 수집

Data collection

분석

Analysis

• Handwritten responses to the open-ended question about programme impact were transcribed verbatim and analysis was independently performed by 2 investigators (AMK and SMW) using an editing analysis style .18 
• Categories and subcategories of themes were generated and conceptually organised by each investigator. 
• A third investigator (JAC) independently compared these generated themes with the transcribed subject comments, looking for completeness, congruence and coherence. 
• The 3 investigators then had a series of meetings to discuss the analyses. 
• Final domains and subcategories were agreed on by all 3 investigators, and the number of responses related to each subcategory was tabulated. 
• Several representative quotes were selected for inclusion by consensus. The year in which programme participation began is provided with each quote.

RESULTS

프로그램 효과의 질적 평가

Qualitative assessment of programme impact

Table 2에 나와있음.

Table 2 also notes how many responses to the open-ended question were related to each of the subcategories. Each domain was represented in comments from 1 or more respondents from each of the 14 cohorts studied. Descriptions of each domain and its subcategories follow, with supporting quotes.

내적 성장

Intrapersonal development

성찰과 자기인식

Commitment to reflection and self-awareness

우선순위와 목표 설정

Prioritising and setting goals

조직관리, 시간관리 기술

Organisation and time-management skills

Listening to and communicating with others

피드백 주고 받는 능력

Ability to give and elicit feedback

갈등관리와 협상 기술

Conflict management and negotiation skills

리더십과 그룹 참여 스킬

Leadership and group participation skills

교사로서의 발전

Development as a teacher

전반적인 교육기술, 능력

Overall teaching skills and abilities

학습자 중심 교육, 지지적 학습환경 조성

Being learner-centred and creating a supportive learning environment

프로그램은 일부 참가자들이 (1)보다 학습자중심이 되고 (2)학습자를 존중하게 되고 (3)학습자의 요구에 신경쓰며 (4)긍정적 학습 환경을 조성하게 도와주었다.

The FDP⁄ TS has helped some past participants to: 

1 become more learner-centred; 

2 have more respect for learners; 

3 be more aware of learners’ needs, and 

4 establish a positive learning climate.

배운 교육법을 지속적으로 사용하고, 다른 교수들이 발전하게 도와줌

Continuing to use teaching methods learned and helping other teachers improve

커리어 발전

Career development

FDP담당 교수들과 동료를 만남으로써 얻은 것

Benefits from exposure to FDP faculty and peers

일부 응답자들은 FDP/TS 담당 교수들을 만나고 이들이 지속적으로 롤모델과 멘토 역할을 해주었다고 했음. 다른 참가자들과 네트워킹의 가치와 friendship을 형성하는 가치를 알게 되었다고 했음.

Some respondents noted benefits deriving from being exposed to FDP⁄ TS faculty who had continued to serve as role models and mentors. They also appreciated the value of networking and forming friendships with other participants:

진로와 진로 계획에 대한 영향

Influence on career path and planning

일부 참가자들은 프로그램에서 (1)교육자로서 그들의 커리어에서 무엇을 기대할 수 있는가 (2)성공을 염두에 둔 커리어 설계는 어떻게 해야 하는게 등을 배웠다고 함

Some participants credited the programme with giving them perspectives on: 

1 what to expect from their careers (particularly as educators), and 

2 how to structure their careers with success and advancement in mind.

전문성 향상으로 인한 기회

Opportunities due to expertise gained

DISCUSSION

지난 참가자에서는 (1)학습자-중심, (2)지지적 학습환경 구축, (3)효과적인 피드백 제공을 할 수 있게 되었다고 응답함.

Past participants were also more likely to describe themselves as: 

1 learner-centred; 

2 building supportive learning environments, and 

3 giving effective feedback.15 

이러한 폭넓은 효과는 프로그램의 장기적 성격으로 인한 것이며, FDP담당 교수 및 다른 참가자들과 관계를 맺을 기회를 주었기 때문으로 생각된다.

This broad impact probably results from the longitudinal nature of the programme4 and the opportunities it provides for building relationships with programme faculty and other participants.

FDP에 대한 많은 장기 follow-up 연구는 학문적 성공의 객관적 지표(프리젠테이션, 출판, 리더십 위치) 등에 초점을 두었다. 이렇게 협소하게 정의된 ㅍ로그램의 성과는 참가자들에게 더 깊고 지속적으로 일어나는 변화, 그리고 개인적 성장이나 타인과의 관계적 측면을 잘 보여주지 못할 수 있다.

Many long-term follow-up studies of longitudinal FDPs have focused on objective markers of academic success, such as presentations, publications and leadership positions.10,12,19–22 These narrowly defined quantitative programme outcomes may preclude the detection of deeper and more sustained changes in participants’ professional or personal growth and relationships with others.

FDP/TS 참가자들은 프로그램에서 프로그램 담당 교수들과 다른 참가자들과 관계를 발전시킬 수 있는 기회에 대해 높은 가치를 두었다. 이는 다른 연구에서도 나타난 바 있다. 학문적 동료들과 네트워크를 형성하는 것은 커리어 성공과 연관되어 있으며, FDP의 중요한 부산물이다.

Past participants in the FDP⁄ TS highly valued opportunities provided by the programme to develop relationships with programme faculty and other participants. This finding has been borne out in other studies of FDPs.8–10,12–14 The development of a network of academic colleagues has been shown to be associated with career success23–25 and is an import- ant by-product of FDPs such as that described in this manuscript.

이 다양한 응답들이 개방형 문항에서 자발적으로, 아무런 요구가 없는 상태에서 얻은 응답이라는 것이 중요하다. 또한 더 적게 언급된 카테고리가 더 많이 언급된 것들보다 덜 중요하다고 생각해서는 안된다.

It is important to note that the variety of responses to the open-ended question about programme impact were spontaneous and unsolicited, and we should not assume that those subcategories mentioned fewer times are less valid than those mentioned more frequently.

15 Cole KA, Barker LR, Kolodner K, Williamson PR, Wright SM, Kern DE. Faculty development in teaching skills: an intensive longitudinal model. Acad Med 2004;79:469–80.

18 Crabtree BF, Miller WL. Doing Qualitative Research, 2nd edn. Thousand Oaks, CA: Sage 1999;145–61.

Med Educ. 2007 Jun;41(6):592-600.

Qualitative assessment of the long-term impact of a faculty development programme in teaching skills.

커크패트릭 레벨과 교육의 '근거'(Med Educ, 2012)

Kirkpatrick’s levels and education ‘evidence’

Sarah Yardley1 & Tim Dornan2

도입

INTRODUCTION 

최근의 책에서 Donald Kirkpatrick 은 어떻게 평가모델에서 네 개의 descriptor에 이르게 되었는지를 설명했다. 그는 기술 훈련은 반응-학습-행동-효과로 평가해야함을 관찰했다. 커크패트릭의 목적은 관리자에게 학습자와 학습자가 근무하는 조직에 대해서 즉각적으로 확인가능하고 측정하기 쉬운 결과를 제공하는 것이었다. 기업의 리더들은 훈련이 효과과 있었다는 구체적 증거(판매량이라던가, 제품의 질, 수익성)를 필요로 한다. 산업계에서 성공적으로 사용한 보고는 다른 영역으로의 확산을 가져왔다. 커크패트릭 그 자신도 여러 곳에서 찬사가 쏟아진 만큼 이 네 단계의 validation은 필요없다는 입장을 밝혔다. 그러나 커크패트릭 모델이 의학교육에서 널리 사용되고 있지만 비판이나 분석은 없다.

In a recent book, Donald Kirkpatrick explains how he arrived at the set of four descriptors that are now widely used to evaluate the impact of interventions in education.2 He had observed that technical training could be evaluated by measuring learners’ reactions, learning and behaviour, and their impact on the organisations for which the learners worked.3 Kirkpatrick’s purpose was to provide managers with promptly identifiable and easy-to-measure outcomes in learners and the organisations for which they worked. Business leaders needing tangible evidence that training would enhance their sales volume, product quality and profitability quickly implemented his ideas. Reports of their successful use in business attracted interest from other fields and his ideas spread. Kirkpatrick himself said there was no need to validate the descriptors because accolades poured in.2 Despite the wide use of Kirkpatrick’s levels in medical education, there has been no review or critique of their use in this context.

방법

METHODS

결과

RESULTS

교육 인터벤션 평가를 위한 커크패트릭 레벨의 적합성

The suitability of Kirkpatrick’s levels for appraising education interventions

대다수의 연구에서 커크패트릭 레벨을 heuristics로 사용하였다. 단지 네 개의 연구만이 미 모델의 사용을 비판했으며, 이 중 하나는 커크패트릭의 레벨이 인적자원개발 분야에서 무비판적으로 적용되고 있음을 지적했다. Abernathy는 이 '레벨'이 교육훈련의 평가에 대해서 어떤 질문을 던지고 어떤 결과를 내야하는가에 영향을 준다면서, 이 레벨은 '연성(soft)' 성과 혹은 지속학습의 평가에는 부적절하다고 지적했다. Alliger와 Janak은 커크패트릭 모델이 가정하고 있는, 그리고 훈련 결과의 모양을 빚어내는 세 가지 요소를 지적했다. 

Most articles found by our search used Kirkpatrick’s levels as heuristics in education evaluation; just four critiqued their use11–14 and one of these found that Kirkpatrick’s levels were applied uncritically in the field of human resource development.14 Abernathy,12noting that the levels could influence the questions asked and results produced, rejected them as unsuitable for evaluating either ‘soft’ outcomes or continuous learning (as opposed to time-limited interventions). Alliger and Janak identified three types of assumption by which Kirkpatrick’s model could tacitly shape research findings, comprising: 

• 레벨에 숫자를 붙임으로서 위계를 가정함
  assumptions of hierarchy associated with the numeric labelling of levels; 
• 레벨 간 인과관계를 가정함
  assumptions of causal links between levels, and 
• 레벨 간 정적 상관관계를 가정함
  assumptions that the levels are positively inter-correlated.11 

Blanchard 등은 어떤 연구든 평가를 하기에 앞서서 커크패트릭 레벨과 상관 없이 목적이 정의되어야 한다고 주장했다.

Blanchard et al.13 argued that the purpose of any research had to be determined before any evaluation of it at any particular Kirkpatrick level could be considered. 

비록 이들 중 어떤 연구도 의학교육에 대한 것은 아니지만, 의학교육에 적응가능한 것으로 보이며, 커크패트릭도 그 자신이 각 '레벨'을 훈련 휴리스틱으로 사용했기 때문에 (어떻게 숙고한 연습과 사회적 학습을 통해서 전문가를 키우는가가 아니라) 이들 저자의 의견에 동의했을 것이다. 그는 단기적인, 실재하는 목적(판매량, 질, 수익성) 등을 측정하기로 선택했다. 무형의 훈련성과에 대한 커크패트릭의 해결책은 - 그가 스스로 책에서도 언급한 바와 같이 - 유형의 이익과 연결시키는 것이며, 왜냐하면 훈련은 구체적인 측정가능한 행동을 목적으로 하고 있는 훈련이 시장가치를 인정받을 수 있기 때문이다.

Although none of those studies concerned medical education, they seem applicable to it and Kirkpatrick himself might have agreed with these authors because he actually advocated using the levels as a training heuristic,2 not to evaluate how professionals become expert practitioners through deliberate practice and social learning. He chose the levels to measure very short-term and tangible endpoints like sales volume, quality and profitability. Kirkpatrick’s solution to intangible benefits of training, which he acknowl- edged in his original work, was to link them to tangible benefits because training orientated towards specific measurable behaviours could be assigned a market value.2

커크패트릭이 커크패트릭 레벨을 성공적으로 적용했다고 인용한 여러 개의 참고문헌 중 어떤 것도 의학교육에 관련된 것은 없으며, 비지니스 분야와는 특성이 다르다(다양한 집단의 니즈를 충족시켜야 함). 커크패트릭 레벨의 문제점은 각 레벨에서 고려하는 수혜자가 모두 다르다는 것이다. 레벨1~3은 학습자이며 레벨4a는 조직, 레벨4b는 환자이다.

Of his numerous references to successful applications of the levels,2 none came from a field as complex as medical education, which differs from business in that it is required to meet the needs, equitably, of a whole array of beneficiaries, including patients, students, practitioners, communities and health care organisations. A problem with Kirkpatrick’s levels is that different levels concern different beneficiaries: levels 1–3 concern learners; level 4a concerns organisations, and level 4b concerns patients.

이 구조에서 교사 역시 완전히 사라져 있다. 이 모델은 질적/양적 방법론으로 평가가능한 무수한 성과에 대한 평가를 포괄하는데 한계가 있으며, 뿐만 아니라 어떻게 그리고 왜 복잡한 인터벤션의 특정 요소와 어떠한 결과의 관계 있어서 그러한 결과가 나타났는지도 설명해주지 못한다. 이 모델은 그저 기대 성과를 측정하는데 사용될 뿐이며, 기대하지 않았던 결과는 무시한다. 즉, '의도한 대로 A라는 결과가 나타났는가?'를 물어보는 것이지 '이 인터벤션의 결과는 무엇인가?'라고 묻지 않는다. 임상적으로 이에 적합한 비유는 신약의 의도한 효과만 측정하고, 부작용은 측정하지 않는 것이다.

Teachers are missing from the scheme altogether. The model does not allow for the rich variety of outcomes that can be evaluated using qualitative as well as quantitative methodologies, nor explain how or why such out- comes are consequential to particular elements of complex interventions. It tends only to be used to measure anticipated outcomes and ignores unanticipated consequences. That is, it asks ‘Was outcome X achieved as intended, or not?’ rather than ‘What were the outcomes of this intervention?’ A clinical parallel would be a clinical trial that measured only the intended effects of a new drug and not its side-effects.

커크패트릭 레벨의 의학교육에 대한 적용

Application of Kirkpatrick’s levels to medical education research

커크패트릭 모델이 나온 40년이 자나서, BEME는 문헌리뷰의 기준 위한 커크패트릭 레벨의 modified version을 도입하였다. 

Forty years after Kirkpatrick’s original work, the BEME collaboration adopted a modified version of Kirkpatrick’s levels (which it named a ‘hierarchy’) as a grading standard for bibliographic reviews (Table 2). A prototype coding sheet, accompanied by explanatory notes, offered two complementary ways of appraising evi- dence, using either Kirkpatrick’s ‘hierarchy’ to grade the impact of interventions (Table 2) or a simple anchored rating scale of 1–5 of the ‘strength’ (Table 3) or trustworthiness of findings.

우리의 첫 번째 BEME 리뷰는 그 레벨을 사용하고, 위계로서 받아들여서 높은 수준의 커크패트릭 레벨을 더 중요한 성과로 지칭했다. 이 연구에서 24%의 성과는 레벨 에 있었으며 - 우리는 그 당시 이것을 중요하지 않은 것으로 평가했고 - 76%에서는 더 중요한, 높은 수준의 성과 평가로 나아갔다. 총 64%의 성과가 레벨 2에 있었으며, 레벨 3과 레벨 4를 합해도 12%밖에 남지 않았다. 우리가 연구성과의 '강도'에 대해 평가했을 때는 출판도니 결과의 42%만이 강력한연구성과(3점 이상) 이면서 중요한 연구성과(레벨 2 이상)에 해당되었고, 그 대부분은 레벨 2에 있었다.

Our own first BEME review9 (of early workplace experience in undergraduate medical education) used the levels and, accepting them as a hierarchy, treated a higher Kirkpatrick level as indicative of a more important outcome. This review found that 24% of outcomes were at level 1, which we then regarded as unimportant, and the other 76% were progressively more important according to their higher levels. A total of 64% of outcomes were found to be at level 2, leaving only 12% at levels 3 and 4 combined. When we added in an appraisal of the ‘strength’ of outcomes (Table 3), only 42% of published outcomes were both strong (rated at ‡ 3) and important (Kirkpatrick level ‡ 2) and then mostly at level 2 in the hierarchy.

그러나 레벨 3, 4 성과가 매우 미미하다는 것을 보여준 것은 우리만은 아니었으며 14개의 분석된 자료 중 레벨 3, 4를 평가한 것이 50%를 넘는 것은 3개 뿐이었다.

It shows we were not alone in finding relatively fewKirkpatrick level 3 or 4 outcomes. In only three of 14 data analyses (21%) were half or more of the outcomes rated at a level > 2. 

Table 1에서 기술한 대부분의 연구는 레벨 1 혹은 레벨 2a, 2b를 측정하고 있으며, 이들은 각각 description (레벨 1) and justification (레벨 2a, 2b) 연구라고 명명되었으며 나름의 가치가 있다. 문제는 'clarification study'의 성과인데, 이것이야말로 의학교육연구를 더욱 강화시키는 토대가 되는 연구이며, 모든 커크패트릭 레벨에 맞을 수 있는 연구이다. 그러나 우리가 어떻게, 왜 특정 효과가 인터벤션의 특정 요소의 결과로 나타나는지를 이해하지 못한다면, 교육의 이익을 최대화하기 위해 개선하는데 어려움을 겪을 것이다. 구체적인 예를 들어보자면, 한 연구를 통해서 학습자의 정서에 영향을 주는 교육 인터벤션에 대한 clarify를 한다고 했을 때, 이것은 레벨 1 혹은 레벨 2 에 대한 것이며 상대적으로 중요하지 않은 결과로 여겨질 수 있다. 그러나 이것은 학습자의 professional development에 중요하다는 것이 자명하다. 늘 '결과'가 '과정'보다 중요한 것일까?

Most papers in Table 1 described what learners experienced (level 1) or measured what they learned (levels 2a and 2b); these have been more simply termed ‘description’ and ‘justification’ studies, respectively, and each has its own value.23 The snag is that outcomes in ‘clarification studies’, which are a rich basis on which to strengthen medical education,23 could fit under any or all of Kirkpatrick’s levels. Yet, unless we understand how, and why, effects are consequential to particular elements or interactions, it will be difficult to refine education to maximise benefit. To give a specific example, it is possible that a study clarifying how an educational intervention affected learners’ emotions could be classified as demonstrating outcomes at level 1 (reactions) or 2 (attitudes), which are regarded as relatively unimportant, despite being self-evidently important to the professional development of the learners. Are outcomes necessarily more important than processes (which are not included in Kirkpatrick’s levels)?

Holton criticised their use as a hierarchy on the grounds that they lack important attributes of a theory and lack supportive evidence to indicate that lower-level outcomes are prerequisite to higher-level ones.14

의학교육 연구 평가를 위한 대안

Alternatives for appraising research in medical education

상대적으로 단순하나 교육훈련 인터벤션의 평가를 위해서는, 신속하게 드러나고 쉽게 관찰가능한, 전통적인 실험 설계에서의 성과를 평가하여 '레벨'이 (학습자 외의) 중요한 수혜자(대개 환자)에게 직접적 관심을 갖게 해줄 수 있다. 그러나 앞선 리뷰를 보면, 복잡하고, 장기 성과가 중요하고, 결과에 대한 평가만큼이나 과정에 대한 평가가 중요한 여러 교육 인터벤션에서는 부적합함을 보여준 바 있다. 실제로, 우리의 리뷰는 커크패트릭 레벨을 잘 못된 유형의 근거로 활용하는 것은 오히려 해로울 수 있음을 지적했다.

When evaluating relatively simple training interventions, the outcomes of which emerge rapidly and are easily observed within classical experiment designs, the levels can direct attention to important beneficiaries other than learners (notably patients). The preceding review, however, leads us to conclude they are unsuitable for the higher proportion of education interventions, which are complex, in which the most important outcomes are longer-term, and in which process evaluation is as important as (perhaps even more important than) outcome evaluation. Indeed, our review found a body of opinion that considered that Kirkpatrick’s levels, applied to the wrong type of evidence, might be harmful.11–14

그렇다면 '근거의 종류가 평가를 편향시키지 않는' 대안으로 무엇이 있을까? 다른 식으로 표현하자면, 어떻게 우리가 추구하는 가치를 손상시키지 않으면서 적합한 '레벨'을 포함하는 균형을 잡을 수 있을까? 현재의 지식으로는 negative finding을 포함시키고, 추가 연구나 실천에 유용한 새로운 혹은 더 철저한 작업에 대한 구체적 요구를 포함시키는 방법이 있다.

What alternative ways are there, then, to critique the quality of various types of evidence in a scholarly way without allowing the type of evidence to bias its evaluation? Put another way, how do we balance the right level of inclusiveness with rigour in our approach to value? It is important that the current state of knowledge, including ‘negative’ findings and specific needs for new or more rigorous work to usefully inform further research or practice innovation, is represented.

다양한 systematic review  

The scholarship of systematic review in clinical science takes its origins from a paper published 40 years ago by the epidemiologist Archie Cochrane, in which he berated medical practice for being ineffective or frankly harmful.27 

• The Cochrane Collaboration (http://www.cochrane.org) came into existence to promote clinical trials, using systematic review and statistical meta-analysis to synthesise findings from their aggregated results. ‘Evidence’ was rated as ‘weak’ or ‘strong’ according to standard criteria, which appraised its ability to support the statistical estimation of effect sizes. The Cochrane approach is not the only one in the health domain. 
• The Joanna Briggs Institute (http://www.joan- nabriggs.edu.au/about/home.php) and the W K Kellogg Foundation (http://www.wkkf.org), both of which seek to improve health care practice through multidisciplinary working, have taken a pluralistic approach and do not place randomised controlled trials at the top of a hierarchy, regardless of the question posed. 
• Recognising that the hypoth- etico-deductive, experimental approach of natural sciences is ‘ill-equipped to help us understand com- plex, comprehensive, and collaborative community initiatives’ (http://www.wkkf.org/knowledge-center/ resources/2010/w-k-kellogg-Foundation-Evaluation- Handbook.aspx), they allow questions to be asked and answered without forcing complex systems to fit the evaluative tools of one dominant research para- digm. 
• By contrast, the Campbell Collaboration (http://www.campbell collaboration.org), which reviews evidence related to education, crime and justice, and social welfare, has aligned itself with the Cochrane Collaboration in holding data that are suitable for statistical meta-analysis as of intrinsically higher quality.

따라서, 이들 리뷰의 서로 다른 방법론은 서로 다른 '인식론적' 정의로부터 시작한다. '인식론적' 이라는 단어는 인식자(knower)와 지식(known)의 관계를 의미하는 것이다. 코크란 접근법은 전통적인 과학적 방법론에 따른 것이며, 실증주의적 인식론에 바탕을 두고, 복잡한 상황을 상대적으로 단순한 실험적 설계 내에서의 변수 간 비교로 환원한다. 비판적 평가에 있어서 코크란 접근법의 기준은 그것의 인식론적 입장과 일관된다. 그러나 Pope 등은 systematic review는 비록 그것이 임상영역에 강한 선호를 보이지만 (여러 대안 사이에 선택을 도와주기 때문에) 이것이 근거를 종합하는 유일한 방법은 아님을 주장한다.

Thus, different review methodologies start from different ‘epistemological’ assumptions, where the term ‘epistemological’ refers to the relationship between the knower and the known. The Cochrane approach, drawn from classical scientific methodology, has a positivist epistemology which allows it to reduce complex situations to a comparison of variables within relatively simple experiment designs. Its standards of critical appraisal are consistent with its epistemological stance. Pope et al. noted that systematic review, although it is strongly favoured in the clinical domain because it helps in making choices between alternative treatments, is not the only way of syn- thesising evidence.28

The Cochrane Collaboration이 '의사결정을 지지'하기 위하여 근거를 사용하는 방식은 '지식을 지지'하기 위하여 근거를 사용하는 (비-이분법적) 방법과 구분된다. 근거를 종합하는 집합적, 해석적 방법은 질적 근거와 양적 근거를 혼합하거나, 질적 근거만을 가지고 종합하기도 한다. 이러한 방법은 '지식을 지지'하는 더 나은 방법이 될 수 있으며, 실증주의적 인식론보다는 구성주의적 인식론에 기초한다. 의학교육연구는, 우리의 리뷰에서 보여준 바와 같이, 다원주의적이다. 따라서 bibliographic research가 커크패트릭의 평가에 따르지 않는 다섯 중 네 명의 리뷰어는 어디에 있는가?

The Cochrane Collaboration’s use of evidence for ‘decision support’ can be distinguished from the (non-dichotomous) use of evidence for ‘knowledge support’. Aggregative or interpretive methods of evidence synthesis that mix qualitative with quantitative evidence, or synthesise qualitative evidence alone, give better knowledge support and start from constructionist rather than positivist epistemological assumptions.28 Medical education research, our reviews have shown, is pluralistic. So where does that leave the four out of five reviewers whose bibliographic research does not lend itself to Kirkpatrick rating?

DISCUSSION

근거를 종합하는 것의 예술은, 우리의 결론으로는, 하나의 방법론이나 평가기준을 다양한 것들에 고정시키는 것이 아니라 여러 측면이 고려된 선택을 내리는 것에 있다. 이것은 Eva가 말한 '질(quality)의 단일한 결정권자는 없다'것과 같은 것이며, 왜냐하면 어떤 근거가 놓이는 위치가 그것의 유용성을 결정하기 때문이다.

The art of evidence synthesis, we conclude, lies in making well-considered choices rather than valorising one methodology or appraisal standard over another, echoing Eva’s view that there can be no single arbiter of quality because it is the use to which evidence is put that determines its utility.29

근거의 다양한 활용방법이 - 그것이 무엇이 되었든 - 어떤 방법을 사용할 것인지를 좌우한다.

The use of evidence to support policy, define outcomes, identify new research questions, answer practical teaching questions, inform teachers’ personal development, serve as a debating tool or establish the ‘state of knowledge’ on a subject can all dictate different methodologies

중립적인 것으로 보여지는 지식의 현 상태('state of knowledge')를 알아내는 것조차 존재론적, 인신론적 지위가 있다. 만약 질문이 '단순한 인터벤션의 효과'를 플라시보와 비교하는 것이라면 'naive realist'적 존재론과 인식론에 따라 코크란의 비판적 평가 기준을 사용하게 하고 효과크기를 측정하게끔 할 것이다. 더 환원주의적 관점에서는 결과는 더 명확할지언정, 활용가능도는 더 떨어질 것이다.

Even the last of these, which is often presented as a neutral assessment, involves ontological and epistemological positioning. If the topic in question is the efficacy of a simple interven- tion compared with a placebo administered under controlled conditions, a ‘naive realist’ ontology and epistemology30 would direct the use of Cochrane critical appraisal standards and estimation of effect sizes. The more reductionist a review, the clearer its results, but perhaps also the less applicable they are.

의학교육자들인 근거중심의학에서 벗어나는 지점은 단순한 실험의 결과와 실제 상황에서의 적용 사이에 있는 큰 격차이다. 프로세스는 물론 맥락이 교육 성과에 영향을 미친다. 더 나아가 경험의 스토리가 사라진다면 풍부한 뉘앙스는 물론 심지어 정보의 모든 핵심이 사라질 수도 있다.

Where medical education really deviates from evidence-based medicine is in its recognition of a wide gap between the results of simple experiments and their applicability in ‘real practice’. Context as well as process impacts on educational outcomes. Moreover, rich nuances or even the whole essence of information may be lost when stories of experience are omitted.

이 모든 이유로 인해, 리뷰어는 양적 자료는 물론 질적 자료를 고려하여 연구자가 교육행위의 상대주의적, 사회적 실천의 한 부분으로서 존재하기 위한 대화에 맞는 주장을 구성(construct)해야한다. 만약 연구자가 정책에 영향을 미치고 있다면 현실주의자적 입장과 수반적(attendant) 방법이 적합할 수 있으며, 리뷰어가 다음의 문제를 위해서는 실용주의적 판단을 내려야 한다.

• 내가 의사로서 원저를 읽을 때 거기서 무엇을 얻어야 하는가? 
• 그 맥락 속에서 받아들여야 할 것은 무엇이며, 더 정제되거나 뉘앙스를 파악해야 할 것은 무엇인가? 
• 나는 어떻게 이 주제의 연구를 계층화하여 부분적으로 도움이 되는 정보를 버리지 않고서도 강력한 근거와 제한적 근거를 알아볼 수 있을 것인가?
  

For all of these reasons, it is likely a reviewer will need to consider qualitative as well as quantitative sources of evidence and ‘construct’ an argument fitted to the conversation he or she wants to be part of in the relativist, social world of education practice. If the reviewer wants to influence policy, a realist stance and attendant methods may be appropriate, 31 whereby the reviewer uses pragmatic judgement to answer questions like: If I were reading the original papers as a practitioner, what would I take away from them? What would I accept within context or pass judgement on in a more refined or nuanced manner than the current systematic review process allows? How can I stratify the studies on this topic to see where evidence is strongest or limited without unnecessarily discounting partially helpful informa-tion?

우리의 포괄적 결론은 근거가 사용되는 목적이 근거를 종합하는 방법의 신뢰성과 최선의 방법이 무엇인지에 영향을 준다는 것이다. 과학적 실험의 방법론적 가정이나 환자에게 돌아올 이득에 대한 임상적 가정을 근거의 기준으로서 채택하지 않는다면, 우리는 연구자들이 다음과 같이 근거를 종합할 것을 권고한다.

Our broad conclusion is that the purpose to which evidence is put influences its trustworthiness and the best way of synthesising it. Having rejected the methodological assumptions of scientific experimentation and the clinical assumption of patient benefit as reference standards of evidence, we suggest that researchers synthesising evidence should: 

• state very clearly the aims of their work; 
• make their epistemological and ontological assumptions explicit; 
• admit any evidence that is appropriate to the aim, including complex and qualitative evidence; 
• consider features of empirical research such as the strength of its theoretical orientation and its relevance to the review question when considering its weight in the final synthesis, and 
• make absolutely transparent, when reporting a review, the decisions they took and their reasons for taking them.

Med Educ. 2012 Jan;46(1):97-106. doi: 10.1111/j.1365-2923.2011.04076.x.

Kirkpatrick's levels and education 'evidence'.

MMI로 평가하는 학업/경험/역량 측정의 가중치 변화가 합격자 민족/인종 코호트에 미치는 영향(Acad Med, 2015)

The Effect of Differential Weighting of Academics, Experiences, and Competencies Measured by Multiple Mini Interview (MMI) on Race and Ethnicity of Cohorts Accepted to One Medical School

Carol A. Terregino, MD, Meghan McConnell, PhD, and Harold I. Reiter, MD

의학교육에 있어서 피훈련자의 다양성 혹은 그들의 비율을 인구구조를 반영하게 하자는 폭넓은 요구가 있다. 보건의료인력의 다양성을 증가시키는 것은 그 그룹 간 격차를 줄이는 하나의 접근법이 된다. Cohen 등은 공정과 평등 이슈에 더하여 접근성의 향상, 보건의료시스템의 관리의 최적화 등을 인력 다양화를 달성해야 할 실용적 이유로 보았다.

Within the context of medical education, there has been a call for broad strategies extending beyond measures of the compositional diversity of trainees or representational ratios.2 Enhancing diversity in the health care workforce has been proposed as one approach to address those group disparities.3 Cohen et al3 cite increasing access and ensuring optimal management of the health care system, in addition to issues of equity and fairness, as pragmatic reasons for attaining workforce diversity.

피훈련자의 다양성을 높이는 것은 모든 학생에 대하여 교육의 질을 높이는 것에 중요하고, 농촌지역, 도심 매부, 소수자들의 의료접근성을 높이고, 공공보건 연구의 진보를 가속화하는 데 중요하다. GPA와 MCAT점수에 의존하는 방식은 의료계의 다양성을 증대시키는데 큰 제약이 되며, 연구자들은 MMI에 기반한 선발이 다양성을 더 높인다고 주장한 바 있다.

Increasing trainee diversity is important for shaping educational quality for all students, increasing access to health care in rural, inner-city, and minority populations, and accelerating advances in medical and public health research.22 Reliance on GPAs and MCAT scores may severely constrain diversity within medicine,23,24 and researchers have argued that basing admission selections on MMI scores may promote applicant diversity.17,25

의과대학 인증기준의 변화 역시 의과대학들이 다양성에 관심을 가지게 된 계기이다. Holistic Review Project는 학생선발 과정에서 학문적 역량과 인성 역량을 모두 고려할 것을 장려하는 모델이며, 이를 위해서 RWJMS는 더 전인적인 평가과정을 도입했다.

Changes in accreditation requirements reflect the enhanced attention to diversity expected of all medical schools.26 The Holistic Review Project has articulated a model that promotes the consideration of both academic and personal competencies in the application process.27 In response, Rutgers Robert Wood Johnson Medical School (RWJMS) began to implement a more holistic screening process;

중요한 것은, 지원자들을 오직 MMI점수로만 선발한다는 점이다. MCAT 자료는 학업역량의 최저 수준을 결정하는 것을 도와준다. 11개 의과대학의 자료를 바탕으로 Julian은 MCAT점수 중 생물과학 점수 8점, 물리점수 7점, 언어추롡점수 6점 이하가 되지 않는 한 학업적 어려움을 겪을 가능성은 매우 낮다는 것을 보여주었다. 이러한 연구결과는 합당한 학업적 최저한계점만 넘어선다면, 입학절차는 학업적 수행능력에 덜 신경쓰고, 핵심 인성역량에 더 신경써야 한다는 것을 보여준다.

Importantly, applicants are admitted exclusively on the basis of their MMI scores. MCAT data support this reliance on academic thresholds. Using data from 11 schools, a study by Julian28 demonstrated that the risk of academic difficulties remained very low until entering students’ MCAT scores fell below 8 for biological sciences, 7 for physical sciences, and 6 for verbal reasoning. These findings suggest that for students exceeding acceptable academic thresholds, selection procedures should be less concerned with academic performance and more concerned with core personal competencies performance.

이 가설을 지지하듯 최종 합격자 선발을 MMI로만 했던 RWJMS의 첫 번째 코호트는 1학년과 2학년 과정, 그리고 USMLE Step 1에서 그 앞의 코호트와 동등한 성과를 보여주었다. 또한 이 집단의 MMI점수가 의과대학 재학 중 평가한 핵심인성역량(reliability, integrity, service/sensitivity to diversity)을 잘 예측했다.

In support of this hypothesis, the first cohort at RWJMS whose final admissions decision was based solely on MMI scores performed equivalently in first- and second-year courses and on United States Medical Licensing Examination (USMLE) Step 1 relative to previous cohorts admitted on the basis of traditional interviews, academic scores, and experiences. Additionally, the MMI scores from this first cohort predicted scores for students’ core personal competencies assessed in medical school (reliability, integrity, service/sensitivity to diversity).29

Specifically, we examined whether academic measures (GPA, MCAT), experience scores (service, clinical, and research [SCR]), and personal competencies scores (MMI) varied as a function of applicants’ self-reported race/ethnicity, and whether change in weighting of scores would impact diversity by altering the demographic composition of the entering classes.

방법

Method

세팅, 연구집단, 지원자 선발 과정

Setting, study population, application screening process

학업 기준

We determined that applicants screened for MMI were academically and experientially prepared, based on threshold criteria previously set by the RWJMS Admissions Committee (

• total GPA > 3.0, 
• total MCAT > 22, 
• MCAT biological science score > 8, and 
• no other MCAT score < 6).

봉사/임상노출/연구/자기소개서/추천서를 5점 척도로 평가함. (3점: 지원자로서 acceptable함.)

• 연구에서의 5점은 피어-리뷰 발표나 출판 경험
• 봉사에서의 5점은 봉사단체를 조직한 것, 3점은 정기적으로 봉사조직에 참여한 것

We scored service, clinical exposure, research, the personal essay, and letters of recommendation on a 1–5 Likert scale. The scale was developed so that a score of 3 is an acceptable score for an applicant. An example of a research rating of 5 would indicate culmination of the research experience with peer- reviewed presentation or publication. With respect to service, regular involvement in a service organization would be rated 3, whereas the founder of a service organization would be rated a 5.

스크리닝 점수의 총합은 지원자의 순위를 매기는데 사용되지 않고, threshold로만 사용함(어느 점수 이하는 면접 안 봄). 그러나 SCR점수는 스크리닝 결정에 도움을 주기 위한 자료이지 스크리닝을 하는 절대적 기준은 아니며, 예컨대 일부학생은 연구 경험이 없었기 때문이다. 학업기준을 충족시키고 SCR, 자기소개서, 추천서 점수가 3점을 넘는 학생에게 면접기회를 줌. 이후 GPA, MCAT, 경험치 스크리닝 점수, 자기소개서 ,추천서 등은 더 이상 고려하지 않음

MMI 절차, 위원회 고려사항, 합격 결정

The MMI process, committee deliberations, admissions decisions

MMI. 6개 스테이션. 한 면접날의 문항은 그 날에만 사용됨. 

The MMI process at RWJMS consists of a six-station MMI. Each station consists of a behavioral descriptor or situational judgment-type interview stem addressing a specific AAMC COA core personal competency4 or combination of competencies. All interview stems are unique on a given interview day and written by one of the authors (C.A.T.). The MMI process at RWJMS employs only the 30 members of the standing committee, who participate in modified frame-of-reference training prior to the sessions. Extensive interviewer training allows for the assumption of adequate reliability with a six-station MMI.

In each station, interviewers evaluate applicants on the 

• basis of communication, 
• content/argument, and 
• overall global impression 

using a behaviorally anchored 1–5 Likert scale.

Statistical analysis

결과

Results

전통적 수행능력 측정

Traditional performance measures

지원자와 MMI 스테이션의 상호작용은 33% 변인 설명. 이러한 상호작용 효과는 지원자가 MMI 스테이션에 따라 다양한 수행능력을 보이며, context-specificity를 의미함.

The interaction between applicant and MMI station accounted for the second largest amount of variance (33%). This interaction effect indicates that applicant performance varied across MMI stations, an effect commonly referred to as “contextspecificity.” 15

지원자 다양성과 전통적 수행능력 척도와의 관계

Relation of traditional performance measures to applicant diversity

"먄약" 분석: 가중치가 달랐을 경우의 결과

“What-if ” analyses: The effects of alternative weighting of performance measures on race/ethnicity composition of accepted applicants

URIM 지원자의 비율은 가중치에 따라 57%~22%로 다양함.

the proportion of URIM applicants accepted into the undergraduate medical program would have declined from 57% to 22% depending on weighting.

고찰

Discussion

전통적인 학업이나 경험 점수보다 MMI의 비율을 높이면 인종/민족 다양성이 높아질 것임을 보여준다. 우리가 아는 바에 따르면 이는 미국 의과대학에서 MCAT이나 GPA가 아닌 MMI의 URIM 지원자에 대한 중립성을 보여준 첫 번째 연구

Our findings suggest that increasing use of MMI scores in admission decisions may enhance racial/ethnic diversity among entering medical students, relative to reliance on traditional academic measures and experience scores. To our knowledge this is the only report from a U.S. medical school showing the neutrality of the MMI for underrepresented applicants, contrary to the MCAT or GPA.31

MMI 수행능력에 있어서 URIM지원자와 non-URIM 지원자간 차이는 없었으며, 소규모 캐나다 연구와 같은 결과이다. 이러한 결과로부터 extrapolate하는 것은 연구 대상자의 규모나 미국/캐나다의 극도의 사회문화적 다양성 때문에 한계가 있다.

Our results revealed that there was no statistical significance in MMI performance between URIM and non- URIM groups, a finding consistent with a small Canadian study on five aboriginal applicants.25 Extrapolation from that study, however, is limited because of the size of that study, and the very different social and cultural backgrounds of the United States and Canada. 

상위 45% 학생의 민족/인종 구성만 놓고 보면 변화는 더 극적이다. Reiter 등은 여섯 개 캐나다 의과대학에서 MMI 결과를 분석하여 MMI가 다양성을 증가시키고, 의과대학 접근가능성을 높이며, 학업적 변인의 효과를 중화시킨다는 것을 보여줬다. McMaster의 접근법(면접 대상자 선발시에는 60% GPA 와 40% 자기소개서, 최종선발자 선발시에는 70% MMI와 30% GPA)도 있다. 캐나다 연구는 이렇게 가중치를 달리 했을 때 가구수입이나 지역사회 규모를 기준으로 비교하였을 때 합격자 코호트에는 영향을 주지 않았다.

The change in racial/ethnic makeup of the top 45% ranked students who would be offered acceptance is even more surprising. Reiter et al17 combined MMI results of six Canadian medical schools over two years, focusing on MMI effect on enhancing diversity, increasing access to medical school, and neutralizing the effect of academic variables. McMaster’s formulaic approach to invitation for interview was 60% GPA and 40% autobiographical questionnaire, and postinterview selection was 70% MMI score and 30% GPA. The Canadian study found that these differential weighting schemes did not impact the diversity of accepted cohorts, as measured by income and community size.17

Acad Med. 2015 Dec;90(12):1651-7. doi: 10.1097/ACM.0000000000000960.

The Effect of Differential Weighting of Academics, Experiences, and Competencies Measured by Multiple MiniInterview (MMI) on Race and Ethnicity of Cohorts Accepted to One Medical School.

의학교육 개혁: 아시아의 경험(Acad Med, 2009)

Medical Education Reform: The Asian Experience

Tai Pong Lam, MBBS, MFM, PhD, MD, and Yu Ying Bess Lam, MA

로컬 커뮤니티의 의료에 대한 니즈가 변하고, 학생들의 학습 니즈가 변하면서 아시아 역시 다른 국가와 마찬가지로 의과대학에서 가르치는 내용과 의사가 실제로 필요로 하는 스킬 사이의 미스매치가 심해지고 있다.

As a result of changing health care needs of local communities and the learning needs of the students, Asia, like other parts of the world, is haunted by a mismatch between what is taught at medical school and the actual skills that are needed by doctors to provide health care service.1

Asia, the world’s largest and most populous continent, contains nearly three fifths of the world’s total population.2 According to the United Nations, Asia is divided into five subregions. 

• China, Hong Kong, Macau, Japan, North Korea, South Korea, Mongolia, and Taiwan are known as Eastern Asia. 
• Southern Asia includes Afghanistan, Bangladesh, Bhutan, India, Iran, Maldives, Nepal, Pakistan, and Sri Lanka. 
• Brunei, Cambodia, East Timor, Indonesia, Laos, Malaysia, Myanmar, Philippines, Singapore, Thailand, and Vietnambelong to Southeastern Asia. 
• Central Asia is composed of Kazakhstan, Kyrgyzstan, Tajikistan, Turkmenistan, and Uzbekistan. 
• Armenia, Azerbaijan, Bahrain, Cyprus, Gaza, Georgia, Iraq, Israel, Jordan, Kuwait, Lebanon, Oman, Qatar, Saudi Arabia, Syria, Turkey, United Arab Emirates, Palestine, and Yemen are located in Western Asia.

이렇게 인구가 많기 때문에 인종과 문화적 배경도 다양하며, 사회 개발 수준도 다양하다. 따라서 서구에서 영감을 받은 의학교육은 그 자체의 근원은 동일하나, 이것이 실제로 아시아 의학교육 개혁에 적용되었을 때는 지역이나 국가 간 균질성보다는 엄청난 차이를 보인다. 

With such a huge population, varied racial and cultural backgrounds, and diverse social developments, it is not surprising that variation instead of uniformity is found in the Western-inspired medical education reforms that span over Asia in spite of their common origination from the West. As Hays and Baravilala3 pointed out, any reformeffort in Asia’s medical education must take into consideration the need for adjustment and adaptation in the local context. In other words, the direct and outright application of a Western medical education model or reformmay not be viable in the Asian context.

동아시아

Eastern Asia

동아시아의 전통적 교육시스템은 유교에 근원을 두고 있으며, 이는 단순 암기, 시험-지향적 태도, 교사의 우월적 지위 등을 특징으로 한다. 이것이 교육 개혁의 장애로 지적된다. PBL을 아시아에 적용하는 데 있어서 PBL 자체가 도전을 받고 있고, PBL의 효과성이 아직 확고하지 않다는 것을 제외하고서라도, 어떻게 문화적 차이와 장벽에 의한 서구-기반의 개혁 적용시의 장애가 극복될 수 있는지에 대한 통찰을 제공한다.

However, the fact that the traditional education system in Eastern Asia is deeply rooted in Confucianism—an educational tradition characterized by rote learning, an examination-oriented mindset, and the superior status of the teacher—may present as a barrier to the implementation of education reforms. The experiences in applying problem-based learning (PBL) in the Asian setting, regardless of the facts that PBL is itself facing challenges6 and that evidence of its effectiveness is still limited, provide insights on howcultural differences and barriers which limit the application of Western-based reformmay be overcome by indigenous solutions.

대만의 Fu-Jen 의과대학. 교사가 우월적 지위에 있는 전통적 아시아 교육 모델로 인해, 아시아 학생들은 - 특히 동아시아 학생들은 - 높은 수준의 교사를 기대한다. 또한 교육 능력 외에 동아시아 사회는 교사들이 좋은 인격을 갖추기를 기대한다. Fu-Jen의 경험은, 아시아 학생의 관점에 있어서 PBL tutor의 질이 중요함을 제시한다.

Established in 2000, the Fu-Jen Medical School in Taiwan has adopted PBL across its entire curriculum. The emphasis PBL puts on student-centered learning signifies a significant deviation, if not violation from the traditional Asian model,7 which places the teacher in a superior position. Because of these traditions, students in Asia, especially Eastern Asia, expect high-quality teachers. Besides teaching abilities, the Eastern Asian society also expect their teachers to possess a positive personality.7 Fu-Jen’s experience suggests that studies on the quality of PBL tutors fromthe perspective of Asian medical students are important.

한국에서, 전통적인 의학교육 시스템 역시 새로운 사회적 요구에 따라 도전을 받고 있는데, 한국 의과대학생들은 직무-기반 훈련을 받기 전까지는 독립적으로 진료할 만큼 충분한 역량을 갖추지 못했다고 느낀다. 이들에게 있어서 학습스타일의 변화는 교수 스타일의 변화만큼이나 중요하다. 그들은 어떤 전통적 관점에서의 심리적, 행동적 특징이 - 예컨대 극도의 예절, 수동성, 교수에 대한 맹목적 존중 - 고등교육에서 학생 학습의 장애가 되며, 특히 서구식 의학교육에서 더욱 그러하다.

In Korea, the traditional education systemin medical schools also faces challenges in meeting new societal needs. Korean medical students feel that they are not competent enough to performsolo practice unless they have undergone task-based training. For them, changing the style of learning is as important as changing the style of teaching. They believe that certain traditional psychological and behavioral traits, such as extreme politeness, passiveness, and blind respect for teachers are hindrances to student learning in higher education, especially in modern Western medical education.8

일본에서도 학생-중심이 아닌 교수-중심의 교육이 흔하다. TWMU에서의 연구에서 - PBL 10년 이상 운영 - 교수-중심의 전통에서는 PBL 학습자들이 문제를 추출해내는데 어려움을 겪음을 발견했다. 이 상황을 극복하기 위해서 1학년 학생들에게 문제와 학습목표를 추출해낼 수 있게 동기부여를 하고 촉진하게끔 하는 전략적 인터벤션이 전통적 PBL을 개선하기 위해 사용되었다. 결과는 긍정적

The tradition of a teacher-directed rather than a learner-directed education is also prevalent in Japan. In a study conducted by the Tokyo Women’s Medical University, where PBL has been integrated as a component of the preclinical curriculumfor more than 10 years, it was found that PBL learners early in their training encountered difficulties in extracting problems under the influence of a teacher-directed tradition.9 To combat the situation, strategic interventions aimed to motivate and facilitate freshman students to extract problems and derive learning objectives were employed to modify the conventional PBL program. The results were positive,

Introduced by the University of Hong Kong in 1997, the new medical curriculumfocuses on integrating the basic and clinical sciences; courses in the traditional disciplines have been removedfromthe curriculum.10 The curriculum’s system-based approach with small-group,PBL is probably the most revolutionary of its kind in Asia today. The new curriculumencourages first-year medical students to transformtheir passive learning style into a self-directed, problem-based mode. To facilitate this change, a transitional course fromhigh school to medical school was developed and has been found to be helpful.11 

중국에서 의학교육 변화는 중국의 경제 혁신에 비해서 그 폭이나 깊이가 늦다. 사회의 증가하는 니즈에 대응하기 위해서 중국 의학교육의 혁신은 중요하고 긴급한 문제가 되었다. 서구시 의학교육을 도입하고자 하면서, 사회, 문화적 배경의 차이가 상당한 장애를 가져왔다. 단순 암기와 시험중심 태도로 학습하는 것은 수백년간 중국에서 받아들여지고 실행되어 왔다. 유교적 가르침이 자기-통제를 중시하기 때문에 개성과 창의성의 발달은 무시당하거나 심지어 억압되어왔다. 그 결과로 중국인의 일반적 태도는 지나치게 조심하고, 위험을 두려워하고 상상력을 제한시키기 되었다.

In China, medical education reformlags behind its economic reformin depth and in scope. To cope with increasing societal needs, the innovation of medical education in China has become an urgent and important issue.13,14 In its attempt to adopt Western methodology in medical education, differences in social and cultural background have created considerable obstacles to the reform effort. Learning by rote has been widely accepted and practiced for hundreds of years in China, nourished by the exam-oriented mindset that has historically flourished in China.15 Because Confucian teaching emphasizes self-control, the development of personality and creativity is neglected and even suppressed. The result is a general mindset in China of being overcautious and fearful of risk, which limits imaginative thinking.

남아시아

Southern Asia

남아시아의 의과대학은 전통적으로 식민지의, 유럽에 근원을 두고 있다. 그 결과 교육과정은 서구의 단순 모방이며, 지역의 문화와 의료행위를 무시하여 종종 지역사회의 기대와 전혀 다르게 된다. 이에 따라 남아시아에서 의사의 양성은 그 지역의 커뮤니티 니즈를 정확히 이해하거나 대응하지 못한다.

Medical schools in Southern Asia have traditionally modeled their education systems on their colonial, European roots. The curriculum, as a result, is a direct imitation fromthe West, which neglects local cultures and practices and often falls short of community expectations. The medical training is inadequate so physicians in Southern Asia are unable to understand and respond to community needs in the region.1,21

자원의 부족으로 인해 남아시아 국가들은 의학교육 개혁을 통해 커뮤니티의 의료 요구를 충족시키고자 했다.

Faced with a lack of resources, developing countries in Southern Asia have focused on reforming medical education to fulfill the health care needs of their communities.

이런 개혁 중 일부는 국제기구의 도움을 받아서 진행되었다. 전통적으로 일방적 강의식, 교수-중심, 과목-중심의 교육과정을 지역의 구체적 요구에 대응할 수 있는 교육과정으로 변화시켰다. 지역사회-기반 교육 프로그램의 개발은 - 지역사회 세팅에서의 학습에 초점을 두고, 지역 인구의 건강 요구를 이해하는 것 - 좋은 방향으로 여겨진다.

Some of these reforms are carried out with help and support of international organizations. They have reoriented the traditional curricula which emphasize didactic, teacher-centered teaching and a discipline-based approach to a curriculumwhich is responsive to the specific needs of the community.20,22 The development of community-based educational programs,1,20,21,23 which focus on learning in community settings and understanding the health needs of local population groups as well as individuals in the community, is seen as a viable direction.24

Although variations in manpower and resources exist, tentative steps have been taken by medical schools in the region to introduce problem-based, community- oriented, integrated teaching for basic and clinical sciences in their curricula.

의학교육과 별개로, 일반인 건강교육 역시 커뮤니티에서 중요하게 여겨진다. 환자도 더 충분히 정보를 가지고 있고, 의사의 질도 더 향상될 때 커뮤니티의 건강이 향상될 것이다.

Apart from medical education, health education is also deemed important in the community. The interaction of better-informed patients and well-qualified doctors may significantly improve community health.25

Despite political and social challenges, Pakistan has a long history of practicing community-based medical education. Aga Khan University introduced a medical education curriculum20 years ago that addresses the health care needs of the community at large. Medical training is carried out in the communities at the grassroots level—community-based organizations and groups identify their own needs. On the basis of Aga Khan University’s successful experience, the Pakistani authority has formally extended its community-oriented teaching model to all medical colleges in the country.22

다른 지역에서도 지역사회 기반 의학교육이 좋은 결과를 남겼다. 스리랑카의 의학교육 개혁. 인도의 Kerala 주(India’s Kerala state) 경험 등. 

Elsewhere, the practice of community- based medical education has also reaped impressive results. In 2005, the demand for medical education curricular reform emerged in Sri Lanka, and emphasis was put on community-based training. India’s Kerala state experienced similar medical education reform. Both Sri Lanka and the Indian state of Kerala have maintained policies to achieve gender and social equity. As a result, Sri Lanka and Kerala have the best health indicators,

The need for medical education reform in India, the second most populous country in the world, has sparked the urge for a more comprehensive approach to health care delivery.27 Although the Indian economy has grown steadily over the last two decades, its wealth distribution is uneven.1 Furthermore, the Indian communities are culturally, linguistically, and ethnically diverse. Special attention and cultural sensitivity are essential when addressing the unique problems of different communities. The research, training, and service missions of academic medicine in India need to be better linked up to provide appropriate health care services.26

In Nepal, though community-based learning has been carried out for many years, the majority of teaching is still conducted in acute hospital settings because of ongoing political conflicts within the country.28 Apart fromthe community diagnosis programs organized by the Institute of Medicine in Kathmandu, Kathmandu University School of Medical Sciences has revised its medical curriculumto include an emphasis on community-based learning by having students visit remote areas and neighboring districts to interact closely with local communities. Dismayingly, the community field trips have been gradually curtailed because of the waves of insurgency.28

동남아시아

Southeastern Asia

Amin이 지적한 바와 같이, 비록 지역의 대부분 국가들이 재정적 한계와 저항에 직면하고 있지만, 동남아시아의 의과대학은 교육과정 통합을 향해 움직이고 있다. PBL은 동남아 지역의 절반 이상의 의과대학에서 하이브리드 교육과정의 한 부분이다. 조기임상노출과 지역사회기반 교육 역시 지지를 얻고 있다.

As Amin et al22 remark, medical schools in Southeastern Asia are moving towards curriculumintegration, though most of the countries in the region are facing financial constraints and resistance to change. PBL is part of the hybrid curriculumin at least half of the medical schools in the region.21 Early clinical exposure and community-based education are also gaining ground, and assessment reformis under way.30

말레이시아(새롭게 산업화된 동남아 국가)는 다인종, 다문화, 다언어 사회로 인해 지역사회기반 헬스케어 서비스 제공을 강조한다.

Malaysia, a newly industrialized country in Southeastern Asia, puts emphasis on the provision of community-based health care service because of its multiethnic, multicultural, and multilingual society. 

2003년 새롭게 지어진 Universiti Malaysia Sabah School of Medicine의 기초와 임상의 통합 교육과정은 Sabah 지역의 커뮤니티 맞춤형이다. Universiti Malaysia Sarawak 의 의과대학은 PBL, 통합교육, 지역사회 교육을 도입하여 구체적인 Sarawak 지역의 건강요구를 반영했다.

The integrated curriculumof basic medical sciences and clinical skills at the Universiti Malaysia Sabah School of Medicine, newly established in 2003, was tailored for the local community of Sabah.31 The medical school of Universiti Malaysia Sarawak adopted a PBL, integrated, community-based curriculum that reflects the specific health care needs of the people of Sarawak. For example, doctors have to be familiar with and sensitive to the beliefs and cultural practices of the 26 ethnic groups in Sarawak.32

싱가포르에서는 1999년 시작한 NUS의과대학(Yong Loo Lin School of Medicine)은 교수-중심, 강의-중심, 과목-지향 교육과정을 학생-중심, 통합, 상호작용적, 교육과정으로 변화시켰다. 전통적 영국식 교육과정과 비교하면, 새로운 교육과정은 학생들을 싱가포르 국민의 건강요구에 부합할 수 있는 의사를 키우도록 하고 있다. PBL은 새로운 교육과정의 핵심으로서 20%까지 활용된다. 전통적 방식의 교육에 익숙한 환경으로 인해서 PBL을 완전히 도입하지는 못하였다.

Starting in 1999, the National University of Singapore’s Faculty of Medicine (today known as the Yong Loo Lin School of Medicine) implemented a new hybrid curriculumwhich shifted froma teacher-centered, lecture-based, discipline-oriented curriculumto a more student-centered, integrated, interactive, faculty-directed curriculum. Compared with its traditional British-style curriculum, the school hopes the new curriculumcan better prepare students to meet the challenges of health care needs for the people of Singapore. PBL is the key feature of the new hybrid curriculumand takes up 20%of the curriculum. But because of an environment deeply entrenched in traditional education, the Singapore medical school has decided not to fully adopt the PBL curriculum.33

주목할 만한 점은 남아시아와 동남아시아에 새롭게 등장하는 사립 의과대학이다. 필리핀, 인도네시아, 말레이시아, 파키스탄, 방글라데스 등에 사립의과대학들은 정부의 제약에서 벗어나 PBL, 지역사회 기반 교육등 새로운 교육의 장점을 빠르게 도입하고 있으나, 교육의 질은 심각한 우려 대상이다.

Worthy of note is the emerging phenomenon of private medical schools among the Southern and Southeastern Asian countries such as the Philippines, Indonesia, Malaysia, Pakistan, and Bangladesh. While private medical schools enjoy the advantage of quick adaptation to education innovations such as problem-based, community-oriented teaching without hindrance from government bureaucracy, quality of training is a serious concern.25,35

중앙아시아와 서아시아

Central and Western Asia

중앙아시아에서 소련의 해체 이후 의학교육의 국제 기준을 만들고자 하는 시도가 있다.

In Central Asia, attempts have been made to reach international standards of medical education after the collapse of the former Soviet Union’s centralized medical education system.36

서아시아에서 학부 교육과정이 아직 강의-기반이긴 하나 서구의 의학교육과의 비교연구가 이뤄졌고 적절한 교육과정 변화가 있다.

In Western Asia, even though the undergraduate curricula in most of the medical schools remain lecture-based and teacher-centered, comparative studies with Western innovative medical schools have been done, and the appropriateness of curriculumreformis substantiated.37

Conclusion

Despite the challenges, a number of important insights are revealed in there form effort undertaken by different regions in Asia. 

개발도상국에서 가장 중요한 우선순위는 지역사회의 건강요구를 충족시키는 것이다. 이러한 관점에서 의료인력은 지역사회-기반 환경에서 수련받아야 하며, 지역 인구의 요구를 이해해야 하고, 지역 커뮤니티와 더 가까이 일해야 한다. 이것이 서구에서는 이미 다 발전한 경향이지만, 아시아 사회에서는 인종과 문화적 구성의 복잡성, 자원의 부족 등을 고려하면 의학교육 개혁을 지역사회의 맥락에 더 마주는 것이 중요하다.

In the developing countries, top priority is placed on fulfilling the health care needs of the community. In response, health care personnel should be trained in community-based environments so that they will be able to understand the needs of the local population and be able to work more closely with the local community. While this is already a growing trend in the West, the need to place medical education reformin the context of local community seems more pressing in Asian societies in view of the scarcity of resources and the greater complexity in ethnic and cultural composition. 

더 나아가, 의학교육 연구를 촉진하고 연구와 교육의 격차를 줄이는 것이 중요하다. 이 지역의 의학교육에 대한 자료가 부족하나, 연구 결과가 점차 아시아 의과대학의 교육에 도입되어 간다는 것은 고무적이다.동남아시아 30개 의과대학 대상 연구에서 72%의 응답자가 의학교육실(medical education unit)을 가지고 있다고 했고, 대부분은 1990년 이후 설립되었다.

Moreover, promoting research in medical education and bridging the gap between research and education are crucial areas that Asian medical schools should seriously consider.34 While data pertaining to medical education in this region are limited,24 it is encouraging to see that research findings in education are gradually being incorporated into the practices of Asian medical schools.34 A survey of 30 medical schools in Southeastern Asia showed that 72%of the respondents have existing medical education units, most of which were established after 1990.21

1 Improving health by investing in medical education. PLoS Med. 2005;2:e424.

Medical education reform: the Asian experience.

교수개발: 꿈의 영역? (Med Educ, 2009)

Faculty development: a ‘Field of Dreams’?

Yvonne Steinert,1,2,3 Peter J McLeod,1,2,4 Miriam Boillat,1,2,3 Sarkis Meterissian,2,6 Michelle Elizov1,2,4 &

Mary Ellen Macdonald2,7,8

목적: FD 워크숍 참석자들은 종종 '가장 FD가 필요한 사람들이 가장 참석하지 않는다'라고 코멘트한다.

OBJECTIVES Participants in faculty develop- ment workshops often comment that ‘those who need faculty development the most attend the least’.

"만들면, 올 것이다" Kinsella 1980

‘If you build it, [they] will come.’ Kinsella, 19801

임상교육자들은 더 이상 내용전문가라는 사실 만으로 성공하지 못한다. 다른 연구자들도 임상교육자로 성공하기 위해서 필요한 스킬에 대해서 언급한 바 있다

Clinical teachers can no longer succeed with mere content expertise. Others4,5 have identified the skills required to succeed as teachers, including the ability to 

• 적절한 환경 만들기 create an appropriate environment, 
• 학습자 관찰하고 평가하기 observe and assess learners, 
• 피드백 제공하기 provide feedback, 
• 다양한 세팅에서 가르치기 teach in multiple settings, and 
• 효과적 롤 모델 되기 role model effectively.

FDP에 대한 다양한 연구에도 불구하고, 참석과 참여에 대한 연구는 부족하다. 교육-개선 목적 프로그램 참여의 장애에 대해서는 지금까지 단 하나의 연구가 있었는데 여기에는 다음과 같은 것들이 있따.

Despite many published descriptions of faculty development programmes and activities,5–7 the liter- ature on attendance and participation is scant. To our knowledge, there is only one descriptive paper8 that outlines potential barriers to participation in teaching improvement programmes. These barriers include: 

• 교사의 태도와 오해 the attitudes and misconceptions of teach- ers; 
• 기관의 불충분한 지원 insufficient support from the institution, and 
• 교육개선방법의 이점에 대해 확신을 주는 근거의 부족 a lack of convincing research on the benefits of teaching improvement methods. 

참여에 대한 가능성을 낮추는 요인으로는..

Non-participant attitudes that diminish the likelihood of participation comprise: 

• FDP의 필요성을 평가절하하는 경향 a tendency to underestimate the need for faculty development programmes; 
• 교육스킬의 효용성에 대한 신념 부족 lack of belief in the utility of teaching skills, and 
• 교육자 훈련이 excellence 교육과 무관하다는 신념 a belief that teacher training is unrelated to teaching excellence.8

방법

METHODS

설계

Design

포커스그룹의 장점

We selected focus groups13 as the primary method of data collection for this descriptive study. Focus groups, which encourage participants to 

• recount their beliefs and practices, 
• provide an opportunity for group interaction and 
• trigger memories of hitherto forgotten experiences,14 

allowed us to meet our study objectives.

참가자 모집

Subject recruitment

포커스그룹

Focus groups

의료인류학자 진행

A medical anthropologist, who was not involved in our programme, conducted the focus groups. The focus group questions were pilot tested with members of the Centre for Medical Education and tapped four main areas of inquiry: 

질문 영역

• perceptions of faculty development; 
• reasons for non-participation; 
• perceptions of effec- tive teaching methods and preferred learning formats, and 
• perceived barriers to participation. 

프로브 질문의 목적, facilitator의 역할

‘Probes’ accompanied each question to stimulate thinking, to encourage faculty members to give detailed responses, and to solicit examples of more general observations.13 The facilitator...

• took minimal field notes during the focus groups, but 
• wrote more extensive notes within 24 hours of the session in order to record her impressions, 
• capture main themes and 
• facilitate preliminary data analysis. 

한 그룹에서 어떤 주제가 등장하면 이후 그룹에서 다시 확인함

The focus group questions evolved slightly as the process unfolded; when salient issues emerged in one group, they were reiterated in subsequent groups to test their relevancy.

데이터 분석

Data analysis

• We audiotaped and transcribed all focus groups using standard rules of transcription.14 
• We removed iden- tifiers and names from the final transcripts. 
• All transcripts were reviewed by one of the investigators for accuracy. 
• Content analysis guided the data analysis. 
• Three of the investigators independently read all transcripts, using multiple close readings; 
• recurrent themes were identified and agreed upon, and 
• similar themes noted across transcripts were assembled and analysed together, for both specialties. 
• Additional codes for newly emerging topics were created as needed. 
• The final step in the analysis included the development of major categories and 
• the identification of exemplar quotations illustrating each theme.

결과

RESULTS

세 가지 주요 카테고리

We grouped our findings into three main categories: 

1 What are faculty members’ perceptions of faculty development? 

2 Why do some faculty members not participate? 

3 How can we get faculty members to attend more often?

FD에 대한 교수들의 인식은?

What are faculty members’ perceptions of faculty development?

다수의 참여자들이 FD의 필요성을 인식했으며, '어떻게 가르쳐야 하는가에 대한 지도'를 전혀 받지 못했는지에 대해 지적했다. 한 참가자는 FD를 '교수를 위한 문법학교'라고 했다.

A number of participants perceived the need for faculty development and commented on howthey had never been given ‘instructions on howto teach’. One participant likened faculty development to ‘grammar school’ for teachers:

'아이가 학교에 가는 것과 비슷합니다. 아이들은 말하는 법을 이미 알지만, 그들은 자신들의 예술을 더 정제할 수 있게 해주는 문법을 배우고, 더 효과적으로 할 수 있게 됩니다'

‘It’s sort of like kids going to school; they all know how to speak, except that they are learning the grammar which allows them to refine their art and perhaps be more effective at doing it.’

한 참가자는 CME와 임상기술을 업데이트 하는 것 등과 '혼란'이 있어 보일 수 있는 점을 지적했다. 또 다른 사람은 FD를 '교육기술에 대한 CME'라고 했다.

One participant described what might be seen as a possible ‘confu- sion’ with continuing medical education (CME) and the updating of clinical skills. Another viewed faculty development as ‘CME for teaching skills’.

FD의 역할이 진로개발을 촉진해주는 것이라는 점은 여러 참여자가 언급했으며, 이 질문에 들어있다.

The role of faculty development in promoting career development was also noted by many of the partici- pants, as reflected in this rhetorical question:

'대학 커뮤니티에서 FD란 단지 더 잘 가르치는 것, 혹은 더 생산성높은 구성원이 되는 것만 의미할까?'

‘Does faculty development just mean teaching or being a productive member of the [university] community?’

왜 일부 교수들은 참여하지 않는가?

Why do some faculty members not participate?

• clinical reality, which includes volume of work and a lack of (protected) time; 

• a perceived lack of direction from, and connec- tion to, the Faculty of Medicine; 

• a perceived lack of recognition and financial reward for teaching, and 

• the geographically central location of faculty development activities and other logistical issues.

임상 현실, 과도한 근무량과 시간 부족

Clinical reality, volume of work and lack of (protected) time

의과대학과에서의 방향제시 혹은 의과대학과의 연결성에 대한 인식 부족

Perceived lack of direction from, and connection to, the Faculty of Medicine

다수의 참가자들은 대학에서 방향을 제시해주거나 커리어 가이드를 해줌으로써 개인적 차원의 목표나 전문직 차원의 목표를 도달할 수 있게 도와주기를 바랐다. 이러한 정서는 대학 교수로서 처음 시작할 때 프로그램(패키지)에 대한 오리엔테이션을 제공받고 싶은 바람을 포함하고 있었으며, 처음에 어떤 식으로 해야하는지에 대한 조언을 누군가가 주기를 바라는 것도 있었다.

A number of participants highlighted a desire for direction or career guidance from the university to help themto achieve personal and professional goals. This sentiment included a strong wish for an orien- tation programme or package on first starting at the university, as well as the desire to have someone tell them what to do at the outset:

참가자들은 개인적/커리어 개발에 관련하여 멘토십에 대한 강한 희망을 나타냈으며, 어떤 정보원에 접근가능한지(승진이나 테뉴어 관련 정보, 연구비 제안서 작성) 등도 있었다. 추가로 대학 차원의 중요한 지원으로서 구조적, 교육 도구의 제공이나 파킹 바우처, 온라인 교육 등이 있었다.

Participants also expressed a strong preference for mentorship to help promote personal and career development, as well as knowledge about what resources they could access (e.g. information on promotion and tenure, grant writing possibilities and support). In addition, they voiced a desire for instrumental support from the university, ranging from the provision of structural and educational tools, to parking vouchers and online resources.

교육에 대한 인정 혹은 재정적 보상 부족

Perceived lack of recognition and financial reward for teaching

다수의 포커스그룹 참여자들은 4시간 워크숍은 너무 길고, 강력하게 '짧은 교육'을 선호했다. 실제로, 여러 참여자들은 그랜드라운드에서 교육 주제를 다룰 것을 요청하거나, FD를 모듈 형식으로 혹은 '위성(파견) 워크숍'형식으로 해주기를 바랐다.

A number of focus group participants commented that a 4-hour workshop was too long, and voiced a strong preference for ‘short snappers’. In fact, several participants requested educational topics at grand rounds, faculty development in a modular format, or ‘satellite workshops’:

어떻게 더 자주 참여하게 만들 수 있을까?

How can we get faculty members to attend more often?

지역에서 (그리고 더 짧은) 프로그램 제공

Offer local (and shorter) activities

교육을 인정하고 보상해주기

Recognise and reward teaching

FD를 요구(기대)사항으로 만들기

Make faculty development an expectation

여러 참여자들이 FD가 모든 임상교육자에게 의무화 될 것을 제안했다. 의무화에 반대하는 일부도 있었으나, 이들도 FD가 '기대사항(expectation)'이 되어야 한다고 제안했다.

Several participants suggested that participation in faculty development be mandatory for all clinical teachers. Others balked at this idea, but did suggest that faculty development be made an ‘expectation’:

상호연결성의 인식 확립하기

Build a sense of connection

DISCUSSION

가장 놀라운 결론은 참여자들이 FD를 교수로서 한 개인의 일반적 성장에 대한 것으로 인식하고 있었으며, 단순히 스킬 습득으로 인식하지 않는다는 점이었다. 사실 교수개발은 교수를 포괄적 관점에서 개발하는 것이며, 여기에는 personal and career 개발이 포함된다. 단순히 교육/연구/행정에 관한 특정한 역량 향상이 아니다.

One of the most surprising results of this inquiry was the finding that partic- ipants perceive faculty development as referring to a person’s general development as a faculty mem- ber, not just his or her skills acquisition. In fact, faculty development was perceived as the develop- ment of faculty in the broadest sense, which included personal and career development, and not merely the enhancement of specific competencies related to teaching, research or administration.

또 다른 기대하지 못한 결과는 많은 참여자들이 FD에 대해 물었을 때 '대학에 대한 실망'을 표했다는 점이다. 다수가 '단절'을 느꼈고, 이는 종종 심리적 문제였다.

Another unexpected finding was that many of the 16 focus group participants, when asked to describe their views on faculty development, described a sense of disappointment with the university at large. Many felt ‘disconnected’, often in a psychological sense.

많은 경우에 우리의 결과는 Baldwin이 generalist academic doctors의 요구도 조사 결과와 비슷하다. 이 연구자들도 심대한 변화를 이루기 위해 필요한 세 가지 포괄적 니즈를 발견했다.

In many ways, our findings resonate with the obser- vations of Baldwin et al.9 in their needs assessment of generalist academic doctors. These researchers found that participants identified three global needs requiring significant change: 

• a better understanding of and rewards for their academic activities; 
• better networking with one another, and 
• more control over their time and responsibilities.

다양한 방식으로 본 연구는 FDP가 학자로서의 스킬을 다룰 것을 강조했으며, 이는 FD에서 간과되는 영역이다.

In diverse ways, our study’s findings underscore the need for faculty development programmes to address professional academic skills, often neglected in faculty develop- ment,16 as well as institutional goals and priorities.7

Morzinski 등은 professional academic growth를 이루기 위해서 FD에서 멘토링의 중요성을 강조했는데, 여기에는 가치/지식/동료관계 등이 포함된다. 우리의 결과는 FD가 진로개발에 보다 초점을 맞출 것을 권고한다. 초기 연구에서 Steinert는 FD가 조직개발에 초점을 맞출 것을 강조했다. 또한 학문적 활동으로서 교육의 촉진, 교육적 문화 배양, 교육 리더십/혁신/수월성에 대한 보상 등도 강조했다.

Morzinski et al.17 highlighted the importance of mentoring as a faculty development strategy to address professional academic growth, which includes the values, knowledge and collegial relations needed to succeed as an academic. The findings of our inquiry further reinforce the need for faculty development to focus on career development. In an earlier paper, Steinert16 highlighted the need for faculty development to focus on organisational development: to play a role in promoting teaching as a scholarly activity and to create an educational climate that encourages and rewards educational leadership, innovation and excellence.

Skeff 등의 연구 및 Liben의 연구에 더하여 본 연구는 교수들이 중앙-기반(centrally based) FDP에 참여하지 않는 이유가 '시간이 없어서'라고 하였다.

The results of our study also build upon those of Skeff et al.8 and complement the findings of a more recent survey by Liben et al.,19 who observed that faculty members do not participate in centrally based activities because they ‘cannot afford the time’.

초반에 말한 것처럼 Skeff 등은 FDP 참여에 다양한 장애를 언급했는데, 흥미롭게도 우리 연구의 참여자는 기관 차원의 지원 부족만을 주요 장애로 언급했다. Skeff가 언급한 '태도'의 문제(FDP의 필요성이 낮다든가 교육스킬의 효용성이 없다든가)를 언급한 사람은 매우 소수였다.

As we noted at the outset, Skeff et al.8 described a number of barriers to participation in faculty devel- opment activities. Interestingly, the participants in our study only highlighted insufficient institutional support as a major deterrent. Very few of our teachers identified the attitudes noted by Skeff et al.,8 includ- ing a tendency to underestimate the need for faculty development programmes or a lack of belief in the utility of teaching skills.

Faculty development: a 'field of dreams'?

새천년의 교수개발: 도전과 미래 방향(Med Teach, 2000)

Faculty development in the new millennium: key challenges and future directions
YVONNE STEINERT
Department of Family Medicine, Sir Mortimer B. Davis Jewish General Hospital and Faculty of
Medicine, McGill University, Canada

FD는 의학교육에서 매우 중요한 요소가 되었다. FD활동은 모든 교육연속체에서 교사의 효과성 향상을 위해 설계된다.

Faculty development has become an increasingly important component of medical education. Faculty development activities have been designed to improve teacher effectiveness at all levels of the educational continuum

이 논의에서 FD는 다음의 정의를 따른다. "기관이 교수들의 역할을 새롭게(renew)하거나 도와(assist)하기 위해서 활용하는 광범위한 활동". 즉, FD는 교수로서 일을 수행하는데 필수적으로 여겨지는 영역에 있어서 개인의 지식이나 스킬을 향상시키기 위해 설계된 모든 활동이며, 여기에는 교육, 연구, 행정이 모두 포함된다. 더 나아가 FD는 기관이나 교수들을 다양한 역할에 대비시키고 생산성과 생명력을 유지하기 위한 프로그램들도 포함한다.

For the purpose of this discussion, faculty development refers to that broad range of activities that institutions use to renew or assist faculty in their roles (Centra, 1978). That is, faculty development is considered to be any planned activity designed to improve an individual’ s knowledge and skills in areas considered essential to the performance of a faculty member, including teaching, research and administra- tion (Sheets & Schwenk, 1990). Moreover, faculty develop- ment includes those programs designed to prepare institutions and faculty members for their various roles and to sustain their productivity and vitality (Bland et al., 1990).

교수개발의 포커스

The focus of faculty development

지금까지, FDP의 대다수는 교수의 교육스킬 개발에 초점을 두어 왔으며, 개인의 성장이나 교수/조직적 요소(의사결정, 변화 프로세스)에는 관심을 덜 가져왔다. 비록 다른 FD 활동이 기술된 바 있지만, 교육 개선 또는 교육 효과성을 지나치게 강조한 측면이 있으며, 더 포괄적인 프로그램이 고려되어야 한다. 특히 FDP는 리더십이나 조직관리 스킬, 프로페셔널 학문 스킬, 조직개발 등이 교육개선 프로그램의 '메뉴'에 포함되어야 한다. 추가로, 특정 내용(정보 테크놀로지, 프로페셔널리즘, EBM) 과 '교육자들 교육시키기' 프로그램도 필요하다.

To date, the majority of faculty development programs have focused on the improvement of faculty members’ teaching skills (Hitchcock et al., 1993; Irby, 1996), with minimal attention being paid to the personal development of faculty members or organizational elements such as decision- making or the change process (Lipetz et al., 1986). Although other faculty development initiatives have been described, most notably in the area of research (e.g. Hekelman et al., 1995; Holloway et al., 1988), there has clearly been an over-emphasis on teaching improvement and instructional effectiveness, and more comprehensive programs should be considered. In particular, faculty development programs designed to enhance leadership and management skills, professional academic skills, and organizational develop- ment should be added to the `menu’ of teaching improve- ment programs. In addition, we should offer programs that focus on the teaching of speci®c content areas (e.g. informa- tion technology; professionalism; evidence-based medicine) and `educating the educators’ .

리더십과 관리 기술

Leadership and management skills

유례없는 헬스케어 분야의 변화가 교수의 역할과 보상체계를 바꿔놓고 있다. 내적, 외적 영향력에 의해 의사들은 점점 관리자적 역할과 리더십 역할을 맡아야 하게 되었으며, 그러나 아직 어떻게 우리가 교수들을 이 역할에 대비시킬지는 잘 모른다. 일부 프로그램이 이 목적으로 설계되었으나 리더십, 관리자, 행정스킬 개발 등에 대한 강조가 더 필요하다.

Extraordinar y changes in health care delivery have signi®cantly altered faculty roles and rewards (Bland & Simpson, 1997). In response to internal and external forces, physicians are being asked to take on increasing administra- tive and leadership roles, and yet, how do we formally prepare our faculty members for these challenges? Several programs designed to address this need have been described (e.g. McGaghie et al., 1981; Morahan et al., 1998; Steinert et al., 1997a); however, an increased emphasis on leadership, management, and administrative skill development is essential in these times of change.

이런 분야에 해당하는 프로그램에는 다음과 같은 것이 있을 수 있다.

Content areas for such programs might include: 

• 조직의 구조 understanding `formal’ and `informal’ organizational structures; 
• 현 정치, 경제, 조직 압력 분석 analyzing current economic, political, and organizational pressures and trends; 
• 리더십과 관리 스킬 leadership and management skills; 
• 갈등 관리와 협상 conflict management and negotiation; 
• 시간 관리 time management; 
• 수행능력 평가 performance appraisal; and 
• 재정 관리 financial management (Bogdewic et al., 1997; Burke et al., 1997; Irby, 1996). 

Bogdewic이 말한 것처럼 조직과 리더십 스킬은 전통적인 의미에서 교수가 맡는 교육/연구/진료적 역할에 부가적인 것이 아니라, 이제는 핵심적 중요성을 갖는 스킬이다.

As Bogdewic and colleagues (1997) have said, organizational and leadership skills can no longer be thought of as an adjunct to the traditional roles of teaching, research, and service. These skills are of central importance.

프로페셔널 학문 스킬

Professional academic skills

프로페셔널 학문 스킬은 학자로서 성공하기 위해 필요한 가치/지식/동료관계 등을 말한다. 이 스킬은 학계의 핵심 가치, 규범, 기대치에 대한 이해, 어떻게 생산성 높은 커리어를 관리하는지, 경험이 많고 박식한 동료와의 네트워크를 갖추는지 등을 필요로 한다.

Professional academic skills encompass the values, knowledge, and collegial relations needed to succeed as an academic (Morzinski et al., 1996). These skills include an understanding of the underlying values, norms and expecta- tions of academia, knowing how to manage a productive career, and establishing a network of experienced and knowledgeable professional colleagues (Bland et al., 1990; Wilkerson & Irby, 1998).

관련 토픽

Examples of topics to be addressed include: 

• academic promotion 달성 how to achieve academic promotion; 
• 멘토 찾고 함께 일하기 how to identify and work with a mentor; 
• 동료와 함께 일하기 how to work with colleagues; and 
• 전문가 네트워크 개발 how to develop professional networks (Bland et al., 1990; Hitch- cock et al., 1997).

조직 개발

Organizational development

여러 저자들이 조직시스템의 변화와 리더십 전략이 더 생산성높은 교육환경을 만들기 위해 필요하다고 주장한다. 그러나 비록 1980년대부터 조직개발이 FD의 한 부분이 되었지만, 이 분야에 특정한 FD노력은 미미하다. 이 영역에 포함되는 것들.

Several authors have suggested that changes in organizational systems and leadership strategies may be needed to promote more productive educational environments (Bland et al., 1990; Bogdewic et al., 1997). However, although organizational development became part of the language of faculty development in the 1980s (Ramsey & Hitchcock, 1980), few faculty development efforts have speci® cally targeted this content area. Initiatives in this domain should include 

• 참여적 조직 정책과 구조 efforts to create participative and empowering organizational policies and structures; 
• 우수한 교육의 평가와 보상 procedures to evaluate and reward teaching excellence; and 
• 교육과정 운영과 교실간 협력 programs to enhance curriculum administration and collaboration across departmental boundaries (Irby, 1996). 

Lipetz 등은 "FD의 클라이언트는 누구인가?"라는 흥미로운 질문을 던졌다. 명백히, 우리는 개인과 조직의 니즈를 연결시켜야 하며, 조직개발과 개인의 스킬개발의 짝을 이룰 수 있어야 한다.

Lipetz and colleagues (1986) have posed an interesting question: ªWho is the client in faculty development? º Clearly, we need to link individual and organizational needs (Bland & Simpson, 1997), and we should pair organizational development with individual skill development (Baxley et al., 1999).

특정 내용분야의 교육

The teaching of specific content areas

Cruess & Cruess 는 의학교육의 모든 레벨에서 변화하는 사회적 기대에 부응할 것을 강조했다. 커뮤니케이션 기술은 충분한 관심을 받지 못하고 있다. 비록 이 주제가 전통적으로 도제교육과 롤모델 분야에서 다뤄졌지만, 현재의 의료전달체계 맥락에서는 이러한 트레이닝 방법의 가능성은 낮으며, 더 공식화되고(formal) 조직적 방법이 필요하다.

Cruess & Cruess (1997a,b) have highlighted the need to teach professionalism at all levels of medical education in response to changing societal expectations. Communica- tion skills are also not receiving the attention they deserve. Although these subjects have traditionally been addressed through apprenticeship and role modeling, the current context for health care delivery negates the potential of these training methods, and we need to consider more `formal’ , systematic methodologies for addressing these content areas.

컴퓨터와 정보 테크놀로지. 

At the same time, computers and information technolo- gies are transforming many aspects of our personal and professional lives (Irby & Hekelman, 1997). As a result, the demand for training in this area will increase signi®cantly in the next decade. Crandall and colleagues (1997) outline a series of skills that might be included in such faculty develop- ment initiatives: 

• accessing and managing the medical literature; 
• planning and delivering lesson plans and presenta-tions; 
• using computers for research and writing; and
• integrating computers into clinical practice.

교육자들 교육시키기

Educating the educators

교수개발자들은 개개 교수들의 교육 효과성을 향상시키기 위한 프로그램의 전달 측면에서 성공을 거뒀다. 그러나 이제는 교육에 있어서 리더십을 발휘할 수 있는 개인들을 어떻게 더 발전시킬 수 있는지, 어떻게 그들이 '교육의 멘토'로서 역할을 할 수 있는지, 혁신적 FDP를 어떻게 설계하고 전달할 수 있는지 고민할 시간이다.

Faculty developers have succeeded in delivering programs designed to enhance individual teachers’ instructional effectiveness. It is now time, however, to further develop individuals who will be able to provide leadership to educational programs, act as `educational’ mentors, and design and deliver innovative faculty development programs.

Cusimano & David가 기술한 것과 같이, 다른 사람을 교육하는 방법에 대해서 훈련된 사람이 더 많아야 한다. 그리하여 의학교육이 지속적으로 변화의 동력에 반응할 수 있게 해야 한다. 또한 우리는 교육 측면의 학자를 더 양성해서, 이들이 교육에 접근할 때 교육과 교육과정의 프로세스와 성과에 대해 질문하도록 해야 하며, 의학교육 연구를 수행하게 해야 한다.

As Cusimano & David (1998) have stated, there is an enormous need for more health care professionals trained in methods of educating others so that medical education will continue to be responsive to driving forces of change. We must also work to encourage the development of educational scholars, individuals who approach education with questions about the process and outcome of teaching and curricula (Wilkerson & Irby, 1998) and who conduct research in medical education.

트레이닝 방법과 형식들

Training methods and formats

공식 멘토십

`Formal’ mentorships

멘토링은 교수들의 사회화/개발/성장을 촉진할 수 있는 흔한 전략이다. 

Mentoring is a common strategy to promote the socializa- tion, development, and maturation of academic medical faculty (Bland et al., 1990). It has also been recommended as a faculty development strategy by a number of educators (Bower et al., 1998; Longhurst, 1994; Morzinski et al., 1994, 1996).

Daloz 는 멘토십 모델을 세 가지 핵심 요소의 균형으로 보았다. (지지, 도전, 비전)

Daloz (1986) has described a mentorship model that balances three key elements: support, challenge, and a vision of the individual’ s future career. 

• 불확실성과 불안 줄여주기 Support refers to those activities that affirm the value of the individual or try to reduce uncertainty or anxiety (Bower et al., 1998). 
• 자신이 가진 가정을 점검하고 성찰의 가치 일깨움 Mentors challenge their colleagues by encouraging them to check out their assumptions and re¯ ect on their values and competen- cies; and 
• 롤모델링, 토론 they foster career vision through role modeling or guided discussion. 

이 세 가지 요소의 균형을 통해서 멘토는 변화와 성장에 필요한 핵심적 텐션을 만들 수 있다. 롤모델의 가치와 멘토의 가치는 Osler 시대부터 강조되어 왔으며, 이 방법이 주는 장점을 잊어서는 안된다.

By balancing these three components, mentors create a tension essential for change and growth. The value of role models and mentors has been highlighted since Osler’ s time, and we should not forget the bene®ts of this method of professional development despite new technologies and methodologies.

통합적, 장기 프로그램 

Integrated, longitudinal programs

일부 연구자들은 '통합적, 장기 프로그램'의 가치를 강조했다 

Several authors (e.g. Elliott et al., 1999; Gelula, 1997) have highlighted the value of `integrated, longitudinal programs’ such as the Teaching Scholars Program in North Carolina (Stritter et al., 1994) and at McGill University, and we should build on this new faculty development practice.

비록 이들프로그램 대부분이 교수의 교육자로서 역할에 초점을 두지만, 행정, 관리, 연구에 대한 프로그램도 쉽게 개발 가능하다.

Although the majority of these programs to date have focused on the educational role of faculty members, such programs could easily be designed to promote expertise in administration, management, and research.

분권화된 활동

Decentralized activities

많은 부분 가정의학 분야에서 처음 시작한 FDP는 종종 각 학과 단위로 혹은 중앙에서 조직되어 운영된다. 커뮤니티 프리셉터가 늘어나고 외래-기반 교육이 늘어나면서 우리는 점점 FDP를 대학 바깥으로 '수출'해야 하는 상황이 되었다. 우리는 또한 주니어와 시니어 교수의 서로 다른 니즈를 해소해주기 위해서 노력해야 하며, minority 교수를 위한 것도 필요하다. 또한 지원이 적은 환경(underserviced setting)에서 근무하는 사람들을 위한 것도 필요하다.

Faculty development programs, many of which started in Family Medicine, are often departmentally based or centrally organized (i.e. faculty-wide). Given the increasing use of community preceptors and ambulatory sites for teaching, we should now `export’ faculty development programs outside of the university setting (e.g. Anderson et al., 1991; Baxley et al., 1999; Bing-You et al., 1999; DeWitt et al., 1993). We must also work harder to address the differing needs of junior and senior faculty members (Burke et al., 1997; Lipetz 1999), minority faculty members et al., (Johnson et al., 1998; Rust et al., 1998), and individuals who work in underserviced settings (Freeman et al., 1998). Our focus to date may have been too limited.

자기주도 학습 프로그램

Self-directed learning initiatives

Ullian & Stritter 이 말한 바와 같이 교수들은 성찰, 학생평가, 동료평가 등을 통해 스스로의 니즈를 결정해야 하며, 스스로의 자기개발 활동을 설계해야 한다.

As Ullian & Stritter (1997) have said, faculty must be encouraged and taught to determine their own needs through self-reflection, student evaluation, and peer feedback, and they must learn to design their own development activities.

Harris and colleagues 는 교수 효과성의 향상에 있어서 성찰의  가치를 강조했다. 실제로 우리는 FD에서도 성찰을 개인적 성장의 방법으로 삼아야 한다.

Harris and colleagues (1995) have underscored the value of re¯ ection as a method of improving teaching effectiveness; indeed, we should take advantage of the increasing attention paid to re¯ ection as a method of personal growth (SchoÈn, 1987) in faculty develop- ment initiatives as well.

컴퓨터 기반 FD

Computer-based faculty development

컴퓨터 기반 FD의 장점

Computer-based faculty development would allow for individualized programs targeted to speci®c needs. Moreover, the technology is now in place so that interactive instructional programs can be created in all domains of faculty development (Westberg &Whitman, 1997).

프로그램 평가

Program evaluation

더 철저한 프로그램 평가

More rigorous program evaluations

    공통적으로 나타나는 문제는 대조군, 비교군의 부재, 자기보고 측정에 지나친 의존, 작은 샘플 크기 등

Common problems have included a lack of control or comparison groups, heavy reliance on self-report measures of change, and small sample sizes.

가능하다면, 더 철저한 연구를 해야 함.

Whenever possible, we should try to conduct more experimentally rigorous research studies and work to overcome commonly encountered design problems.

참여자에 의한 학습을 기록해야 하며, 가능하다면 참가자의 학생/동료/기관에 대한 효과도 기록해야 함.

Programs should document learning by par ticipants, and whenever possible, the program’ s effect on the participants’ students, colleagues, and institution (Skeff et al., 1997b).

동시에 만족도에 대한 재평가가 필요함. 비록 연구자들이 이 정보의 가치를 평가절하하긴 하지만 참가자의 만족도는 교수들이 배우고자 하는 동기부여가 되고, FD를 동료들에게 권장하는 데 중요한 변인이다. 또한 프로그램 기획자들에게 가치잇는 피드백이다. 

At the same time, we should re-assess the value of participant satisfaction data. Although researchers have denounced the value of this source of information, participant satisfaction remains an important variable if faculty members are to be motivated to learn and to recom- mend faculty development initiatives to their colleagues. Participant satisfaction also gives valuable feedback to program planners.

프로그램 평가의 다른 모델들

Other models of program evaluation

교육 관련 문헌들을 보면 프로그램 평가와 관련한 다양한 모델을 제시한다. 그 중 많은 것들은 FD에서 잘 고려되지 않고 있다. 이러한 모델을 평가 구조에 포함시키는 것은 가치가 있을 것. 

The educational literature is rich with models of program evaluation, many of which have not been systematically considered in faculty development. Incorporating aspects of these models (Popham, 1975;Wholey et al., 1994) into our evaluation schema would now be worthwhile. 

• 목표달성 모델 For example, the application of a goal attainment model (e.g.Tyler, 1942) would force us to clarify our program goals and ensure that we are assessing the attainment of our objectives; this model would also help us to consider unanticipated consequences, which occur frequently in this domain. 
• 판단 모델 A judgmental model (e.g. Scriven, 1974) would have value if faculty development programs were to become part of the accreditation process and receive feedback on program design and implementation from a group of peers and experts. 
• CIPP모델 The CIPP model (Stufflebeam, 1974) could be useful for examining the faculty development literature (Meurer & Morzinski, 1997) and for decision-making in times of budgetary restraint. CIPP is an acronym representing four levels of evaluation: 

• the program objectives and the basis for those objectives (Context); 
• the educational strategies and how they were chosen (Input); 
• the actual implementation and how it compares with planned activities (Process); and 
• how well the needs of the target population were met (Product). By

질적 방법론

Qualitative methods

양적방법론의 한계, 질적방법론의 가치

A number of authors have noted the limitations of quantita- tive methods in evaluating the effectiveness of faculty development programs and activities, and they havehighlighted the value of adding qualitative methodologies to more traditional assessments (Freeman et al., 1992; Hitch- cock et al., 1993; Skeff et al., 1997b).

더 광범위한 평가

Broader focus of evaluation

모든 경우에 'impact' 수준의 평가는 매우 값진 것이다. FD활동이 더 광범위한 시스템이나 개개인의 커리어패스에 영향을 주었는지에 하는 것. 학문적 전파(발표나 출판), 프로그램 개발(트레이닝 자료, 메뉴얼), 프로그램 수행 등에도 관심을 가져야 함.

Indeed, in all situations, it would be worthwhile to assess change at the impact level, trying to identify whether faculty development activities have had an impact on the system at large or on individuals’ career paths. We should also consider the question of academic dissemination (e.g. presentations and publications), product development (e.g. training materials and manuals), and implementation (Blumberg & Deveau, 1995).

장기 변화에 대한 평가. 즉각적 단기성과를 넘어선 평가. 6개월 혹은 그 이상 후에 평가한 연구는 매우 적음

Finally, it would be worthwhile to focus on the assess- ment of longer-term change. It is essential for us to move beyond immediate short-term outcome measures. Too few studies have assessed change at 6 months or longer (Nasmith et al., 1997).

파트너십

Partnerships

자원이 한정되고 재정적 제약이 있을 때 협력은 점점 더 중요하다. 실제로 파트너십은 여러 수준에서 가능하다.

Collaboration is becoming increasingly important in the current environment of limited resources and ®nancial constraints. Indeed, partnership is possible at a number of levels: 

• among academic institutions; 
• between academic institutions and professional societies and organizations; 
• between faculty development and continuing medical educa- tion (CME); and at an international level.

학문기관 간, 그리고 학문기간 내 협력의 필요성은 프로그램 기획/수행/평가의 모든 단계에서 강조되어왔다. Skeff 등은 다양한 전문가 조직에 의해서 주최되는 지역과 국가 단위 미팅에서 제공되는 여러 FD활동을 조화(coordinate)시킬 것을 권고했다. 

The need for collaboration amongÐand withinÐ academic institutions has been highlighted in the area of program planning, delivery and evaluation (Steinert et al., 1997b). Skeff and his colleagues (1997b) have also pointed out the need to coordinate faculty development activities that are offered at regional and national scienti®c meetings hosted by various professional organizations. The time to consolidate available activities, and avoid duplication, is upon us.

국제 파트너십도 중요하다. 북미와 유럽의 전문성을 감안할 때, 성공한 모델이 공유되어야 한다.

International partnerships also hold great promise. Medical schools in many countries wish to start academic medical programs but do not have speci®cally trained faculty available. Given the expertise in faculty development in North America and in Europe, successful models should be shared. 

• For example, Johnson & Zammit-Montebello (1990) describe an interesting program to train Maltese general practitioners in Malta with a visiting professor of Family Medicine. 
• Thompson & Spann (1997) provide an example of a faculty development program they developed for Latin American physicians, conducted in Spanish in an American University.

These models for enhancing academic skills could also be exported to other settings.

근본 원칙

Underlying principles

1. 기관의 맥락과 문화를 이해하고 이에 기반하여 FD하라

1. Understand and work within the institution’s context/culture

기관의 문화와 맞아야 하고 니즈에 반응해야 한다. 조직의 강점을 강조하고, 조직의 수장(리더)와 함께해야 한다. 추가로 현재의 맥락을 FD노력을 촉진하고 향상시킬 수 있게 활용해야. 예컨대, 큰 교육과정이나 교육의 개혁이 있는 시기에 FD활동이 중요하다. Rubeck과 Witzke가 언급한 바와 같이 "자연적으로 발생하는 기회"를 노려야 한다.

Faculty development programs need to match the institution’ s culture and be responsive to its needs (Rubeck & Witzke, 1998). They should also capitalize on the organization’s strengths and work with the leadership to ensure success. In addition, we should remember that the current context can be used to promoteÐ or enhanceÐ faculty development efforts. For example, faculty development activities during times of substantial educational or curricular reform can take on added importance. As Rubeck &Witzke (1998) have stated, we should always remember to look for ª natural opportunitiesº .

2. 니즈에 기반한 FD를 하라

2. Ensure that programs and activities are based on needs

교수의 니즈, 기관의 니즈, 학생의 니즈, 사회의 니즈, 환자의 니즈, 조직의 요구와 도전 등

Faculty development programs should anticipateÐand basethemselves onÐthe needs of faculty members as well as the institution in which they work. Student needs, patient needs, and societal needs, as well as organizational demands and challenges, should be considered in the design of all programs, for faculty development should aim to renew and assist faculty in their diverse roles and help to meet the needs of the organization in which they work.

3. 지지를 끌어내고 효과적으로 마케팅하라

3. Promote `buy in’ and market effectively

FD에 참여할지 말지에 대한 결정은 그렇게 단순하지 않다. 아래와 같은 요인이 있다.

The decision to participate in faculty development is not as simple as it might at ®rst appear. It involves 

• 특정 FDP에 관한 관심(reaction)
  the individual’ s reaction to a particular faculty development offering, 
• 특정 기술을 얻고자 하는 동기
  motiva- tion to develop or enhance a speci®c skill, 
• 시간이 가능한지
  being available at the time of the faculty development session, and 
• 필요하다는 사실을 인정하는 심리적 장벽
  overcoming the psychological barrier of admitting need (Rubeck & Witzke, 1998). 

이러한 한계를 극복하고 우리의 '상품'을 팔 때에 그러한 저항이 학습의 자원이 되게 해야 한다.

As faculty developers, it is our challenge to overcome these potential obstacles and to market our `product’ in such a way that resistance becomes a resource to learning.

4. 다양한 프로그램과 방법을 제공하라

4. Offer diverse programs and methods

다양한 교수(역할, 발달단계 등)들의 니즈를 민감하게 반영해야 함. 

The need for diverse approaches to faculty development has been highlighted by many authors (Rubeck & Witzke, 1998; Steinert et al., 1997b). As discussed earlier, we must design programs that are sensitive to the needs of different faculty members. We must also consider differing faculty roles and address the various developmental stages of faculty members.

5. 성인학습의 원리와 다른 관련 이론틀을 활용하라

5. Incorporate principles of adult learning and other relevant theoretical frameworks

많은 경우 이들 원칙은, FDP의 초점이나 형식과 무관하게, Knowles가 설명한 것처럼, FDP의 개발과 운영의 지침이 되어야 한다. 이는 우리가 다음을 기억해야 함을 말한다.

In many ways, these principles, best articulated by Knowles (1980), should continue to guide the development and implementation of all faculty development programs, irrespective of their focus or format. That is, we should remember 

• 의사들의 자기주도성과 경험 that physicians demonstrate a high degree of self-direction and that they possess many experiences that should be used as a learning resource; 
• '알아야 할 필요'를 경험한 다음에 학습할 준비가 됨 that adults will only become ready to learn after a `need to know’ is experienced; and 
• FDP는 과제-중심, 경험학습, 즉각적 적용을 강조해야 that faculty development programs should be task- centered, with an emphasis on experiential learning and immediacy of application (Carroll, 1993).

As Turnbull (1999) has so eloquently said, until recently those of us responsible for educating future physicians have emphasized the art of medical education and have tended to ignore the fundamental science of learning underlying our basic practice.The same can be said of faculty development activi- ties.

6. 실용성을 놓치지 마라

6. Remain relevant and practical

교수의 활동과 관련성이 있어야 하며 실용적이어야 한다. 경험학습이 핵심이다.

Although it is important that theory inform practice, faculty development activities and programs must remain relevant and practical. As stated above, experiential learning is key.

또한 개념과 스킬을 가르칠 때 단순하고 명확해야 한다. 비록 FD의 영역들은 복잡하지만, 교수들은 단순한 메시지, 개념, 방향을 원하며, 복잡성을 지양하고 실용성을 추구하는 것이 우리의 책임이다.

The teaching of concepts and skills in this area must also remain clear and simple. Although the domains for faculty development are complex (Rubeck &Witzke, 1998), faculty members want simple messages, concepts, and directions, and it is our responsibility to avoid complexity and promote practicality.

7.흔한 문제를 극복하기 위해 노력하라

7.Work to overcome common problems

조직 차원의 지원, 제한된 자원, 제한된 시간 등. 이를 극복하기 위한 창의적 프로그래밍, 능숙한 마케팅, 목표가 분명한 재정지원 확보, 양질의 프로그램 제공 등을 통한 극복

Common implementation problems include a institutional support, limited resources, and limited faculty time (Steinert et al., 1997b). Faculty developers must work to overcome these problems through creative program- ming, skilled marketing, targeted fundraising, and the delivery of high quality programs. lack of

8. 효과성을 평가하고 보여주라

8. Evaluate and demonstrate effectiveness

교수개발은 단순한 학문적 활동 이상이라는 것을 기억하라

The need to evaluate our programs and activities has been highlighted in a separate section. However, we must remember that the evaluation of faculty development is more than an academic exercise.

Research Article

Faculty development in the new millennium: key challenges and future directions

PDF

Full access

DOI:

10.1080/01421590078814

Yvonne Steinert^a

pages 44-50

Publishing models and article dates explained

• Published online: 03 Jul 2009

Alert me

교육효과성을 높이기 위한 FD initiative 의 systemic review (BEME Guide No. 8) (Med Teach, 2006)

A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8

YVONNE STEINERT1, KAREN MANN2, ANGEL CENTENO3, DIANA DOLMANS4, JOHN SPENCER5, MARK GELULA6 & DAVID PRIDEAUX7 

1McGill University, Montreal, Canada; 2Dalhousie University, Halifax, Canada; 3Austral University, Buenos Aires, Argentina; 4University of Maastricht, Maastricht, The Netherlands; 5University of Newcastle upon Tyne, Newcastle, UK; 6University of Illinois at Chicago, Chicago, USA; 7Flinders University, Adelaide, Australia

결론: 대부분의 인터벤션은 진료를 하는 의사를 대상으로 하였다. 모든 연구는 교육의 향상을 목적으로 하여 워크숍/세미나 시리즈/단기코스/장기프로그램 등으로 분류되었다.

Results: The majority of the interventions targeted practicing clinicians. All of the reports focused on teaching improvement and the interventions included workshops, seminar series, short courses, longitudinal programs and ‘other interventions’. The study designs included 6 randomized controlled trials and 47quasi-experimental studies, of which 31 used a pre-test–post-test design. 

방법론적 한계를 감안하더라도 다음의 결과를 지지한다.

Key points: Despite methodological limitations, the faculty development literature tends to support the following outcomes: 

• FDP의 전반적인 만족도는 높다. 참가자들은 지속적으로 프로그램이 수용가능하고/유용하고/자신들의 목표와 관련된다고 응답하였다.
  Overall satisfaction with faculty development programs was high. Participants consistently found programs acceptable,useful and relevant to their objectives. 
• 응답자들은 FD와 교육에 관하여 긍정적인 태도 변화를 보고하였다.
  Participants reported positive changes in attitudes toward faculty development and teaching. 
• 참가자들은 교육 원칙에 대한 지식이 향상되었으며, 교육 기술이 향상되었다고 응답하였다. 지식 향상 점검을 위해 시험을 보았을 때에는 유의미한 향상이 있었다.
  Participants reported increased knowledge of educational principles and gains in teaching skills. Where formal tests of knowledge were used, significant gains were shown. 
• 교육 행동의 변화는 지속적으로 참가자들에 의해 보고되었으며, 학생들도 그렇게 보고하였다.
  Changes in teaching behavior were consistently reported by participants and were also detected by students. 
• 조직 차원의 변화와 학생들의 배움의 향상은 자주 연구되는 것은 아니었다. 그러나 연구 결과를 보면 교육에 대한 참여가 높아지고, 동료간의 네트워크가 확립되었다.
  Changes in organizational practice and student learning were not frequently investigated. However, reported changes included greater educational involvement and establishment of collegiate networks. 
• 경험학습, 긍정적 피드백의 제공, 효과적인 동료관계, 교수학습 원칙을 따른 잘 설계된 인터벤션, 하나의 인터벤션 내에서 다양한 교수법 활용 등이 효과적인 FD에 기여한다.
  Key features of effective faculty development contributing to effectiveness included the use of experiential learning, provision of feedback, effective peer and colleague relationships, well-designed interventions following principles of teaching and learning, and the use of a diversity of educational methods within single interventions. 

학계의 생명력은 교수의 흥미와 전문성에 달려있다. FD는 학문적 수월성과 혁신을 촉진하는데 핵심적 역할을 한다.

Academic vitality is dependent upon faculty mem-bers’ interest and expertise; faculty development has a critical role to play in promoting academic excellence and innovation. (Wilkerson & Irby,1998)

지금까지 여러 문헌에서 FD활동의 효과성을 리뷰하였다.

To date, a number of publications have reviewed the effectiveness of faculty development activities.

• FDP는 많지만, 평가는 잘 되지 않고 있으며, 주로 만족도를 평가하는 짧은 설문에 그치고 있다.
  In 1984, Sheets & Henry observed that despite the growth in faculty development programs, evaluation of these initiatives was a rare occurrence, usually consisting of short questionnaires tapping participants’ satisfaction.
• 가정의학전공 교육자들에 관한 FD에 관한 연구로부터 비슷한 결론을 도출하고, 관찰한 행동 변화에 근거한 더 철저한 평가를 요구했다.
  In 1990, Sheets & Schwenk reviewed the literature on faculty development activities for family medicine educators and made a similar observation, calling for more rigorous evaluations based on observed changes in participant behavior.
• 이전의 연구를 요약하면서, FD의 개념이 진화/확장하고 있다고 하였음. 특히, 교육 기술이 FD의 두드러지는 측면이며, 펠로우십이 새로운 교수를 모집하고 훈련시키는데 효과적이며, FD의 효과는 더 연구가 필요하다
  In 1992, Hitchcock et al. summarized earlier reviews of the faculty development literature (e.g. Stritter, 1983; Bland & Schmitz, 1986; Sheets & Schwenk, 1990) and concluded that the concept of faculty development was evolving and expanding. In particular, they observed that teaching skills were a prominent aspect of faculty development, that fellowships were being used effectively to recruit and train new faculty, and that the efficacy of faculty development needed better research documentation.
• 24개의 문헌을 리뷰하여, 비록 일부 긍정적인 성과가 보고되지만, 방법론적 약점이 단정적인 결론을 내는 것에 장애가 된다
  In 1997, Reid et al. reviewed 24 papers (published between 1980 and 1996) and concluded that despite some positive outcomes for fellowships, workshops and seminars, methodological weaknesses precluded definitive conclusions regarding faculty development outcomes.
• FD가 의학교육과 의료의 변화에 대응해야 하며, 교수들의 진화하는 역할에 지속적으로 적응해야 한다. 또한 더 철저한 프로그램평가가 필요하다. FDP는 초점을 더 확장시켜서 다양한 훈련 방법과 형식을 고려하고, 새로운 파트너십과 협력을 모색해야 한다.
  In 2000, Steinert highlighted the need for faculty development to respond to changes in medical education and healthcare delivery, to continue to adapt to the evolving roles of faculty members, and to conduct more rigorous program evaluations. She also commented that faculty development programs need to broaden their focus, consider diverse training methods and formats, and foster new partnerships and collaborations.
  

목적

Objectives

교수들의 교육역량 강화에 초점을 둔 연구에만 한정함.

The goal of this review is to determine the effect of faculty development activities on faculty members’ teaching abilities and to assess the impact of these activities on the institutions in which these individuals work. We focused specifically on programs designed to improve faculty members’ teaching abilities because the majority of faculty development programs have targeted this particular role (Hitchcock et al., 1992; Irby 1996); instructional effectiveness is central to the mission of medical education; and we wanted to limit the scope of our search to a feasible task. We did not examine faculty development programs designed to improve research or writing skills, administrative or management skills, or professional academic skills (career development). We also chose to limit the review to faculty development programs designed for teachers in medicine, and did not examine those programs specifically designed for residents or other healthcare professionals (e.g. nurses; dentists). All types of faculty development interventions (e.g. workshops, short courses and seminars, and fellowships) were included in the review.

검토 질문

Review question

FD를 효과가 있게 하는 특징은 무엇인가?

What are the features of faculty development that make it effective? 

FD가 차이를 만드는가?

Does faculty development make a difference?

•  What makes for effective faculty development?
•  Does participation in faculty development improve facultymembers’ teaching, research and administrative skills?
•  Does faculty development have an impact on the institu-tional climate and organization? 

FD인터벤션이 교사의 지식,, 태도 술기에 미치는 효과는 무엇이며, 그 교수가 속한 기관에 미치는 영향은?

What are the effects of faculty development interventions on the knowledge, attitudes and skillsof teachers in medical education, and on the institu-tions in which they work?

 In addition, we also explored the following questions: 

• What characterizes the faculty development activities tha thave been described?
• What are the methodological strengths and weaknesses ofthe reported studies? 
• What are the implications of this review for facultydevelopment practices and ongoing research in this area? 

리뷰 방법

Review methodology

그룹 형성

Group formation

An international Topic Review Group (TRG) of individualsrepresenting six countries was constituted. Three criteriaparticipation:were used to invite individuals for TRG international diversity; practical experience in faculty devel-opment and medical education; and expertise in educationalresearch methodology. 

파일럿 단계

The pilot process

A two-step pilot process was undertaken to prepare for the formal, systematic review. 

개념틀 개발

Development of a conceptual framework

그림 1

The pilot phase led to the development of a conceptual framework that guided this review (see Figure 1).

커크패트릭 모델 사용

To classify and analyze outcomes, we used Kirkpatrick’s model of educational outcomes (Kirkpatrick, 1994), which offers a useful evaluation framework for this purpose (see Figure 2).

커크패트릭은 이 성과가 위계적이지 않으며, 모델은 정책과 프로그램 개발에 더 전체적이고 포괄적인 평가를 의도한 것이라 하였음.

In his original work, Kirkpatrick (1967) asserted that these outcomes were not hierarchical and that the model is intended to provide a more holistic and comprehensive evaluation that can inform policy and program development. The model has also been used by other BEME groups (e.g. Issenberg et al., 2005) as well as other review groups (e.g. Freeth et al., 2003), and with some modifications, was well suited to our review.

포함/배제 기준

Inclusion/exclusion criteria

Based on the pilot studies, the following criteria guided theselection of articles for review:

탐색 전략, 논문 출처

Search strategy and sources of papers

A literature search was conducted on Medline and ERICusing the following key words: staff development; in-service training; medical faculty; faculty training/development; andcontinuing medical education. (A copy of the search strategyis included in Appendix I, which is available on the BEMEwebsite: http://www.bemecollaboration.org) 

선택 방법과 방법론적 질 점검

Selection methods and judgment of methodological quality

The literature search resulted in a total of 2777 abstracts. A two-stage process was employed in the selection of studies eligible for review (Freeth et al., 2003) and is outlined in Figure 3.

데이터 관리 기술

Data management techniques

Data extraction, analysis and synthesis

어떤 자료를 추출하여 분석하고 종합하였는가?

결과

Review findings

리뷰에 포함된 연구의 개괄

Overview of studies included in review

(a) Description of the interventions and expected outcomes—which will be further divided into: setting, professional discipline, focus of the intervention, program type,instructional methods, duration, and level of outcome assessed. 

(b) studies—which will be Methodological quality of the further divided into: study goal and theoretical frame-work, study design, data-collection methods, data sources, and study quality and strength of findings. 

(a) Description of the interventions and expected outcomes

세팅(국가, 기관)

Setting: Of the 53 papers reviewed, 38 studies (72%) took place in the US, the remainder being in Canada, Egypt, Israel, Malta, Nigeria, the UK, Switzerland and South Africa. Most activities were delivered in a university, hospital or community setting, with several initiatives offered by profes- sional associations.

참여 대상의 전공(내과, 가정의학과, 40%에서는 참가자의 전공 종류가 2개 이상, 기초과학자 대상 등)

참가자 수(6~399명, 평균 60명)

Professional discipline: The majority of faculty development interventions targeted practicing clinicians, with a prepon- derance of activities in family medicine and internal medicine. Interestingly, 21 of the faculty development initiatives (40%) welcomed more than one clinical discipline. Five interventions (10%) were designed for both clinicians and basic scientists; an additional two (4%) targeted basic scientists only. The number of participants in the interven- tions (which does not equal respondents for the evaluative component) ranged from six to 399, with a mean attendance of 60.

Table 2. Summary of faculty development outcomes by Kirkpatrick level.*

인터벤션의 초점: 교육 개선, 임상교육, 피드백과 평가, 소그룹 교수법, 강의기술, 학습자-중심 교육, 특정 내용 교육에 대한 것, 일반적인 교육 향상, 개인적/진로 개발, 조직변화, 행정과 리더십, 연구기술

Focus of the intervention: As a result of the selection criteria, all of the reports focused on teaching improvement. The majority aimed to improve clinical teaching, with a secondary emphasis on feedback and evaluation, small-group teaching and lecturing skills. Several studies highlighted ‘learner centeredness’ as an outcome, and several others focused on the teaching of specific content areas in addition to general teaching improvement (e.g. communication skills and medical interviewing; principles of family medicine and preventive medicine). Although the primary focus of these reports was instructional improvement, many also addressed personal/career development, organizational change, administration and educational leadership, and research skills.

프로그램 유형: 워크숍, 세미나 시리즈, 단기 코스, 장기 프로그램, 개인별 피드백, 증강(augmented) 피드백, 현장 방문. 용어의 비일관적인 그리고 다양한 사용이 분류를 어렵게 하는 측면이 있음.

Program type: The majority of activities were workshops (n¼23; 43%), of varying duration. Ten (19%) of the interventions were described as a seminar series and six (11%) as a short course. Five (10%) were described as a longitudinal program (e.g. fellowship) and nine (17%) fell under ‘other’, which included a seminar method, individual or augmented feedback, or site visits. An inconsistent and variable use of terms (e.g. workshops and seminars; seminars and short courses), complicated this classification; however, whenever possible, the authors’ terminology was used.

교수법: 강의, 소그룹토론, 상호작용 연습, 역할극, 시뮬레이션, 비디오-녹화 리뷰. 강의로만 진행되는 프로그램은 없으며, 대부분의 프로그램은 피드백이 동반된(microteaching과 같은) 실습(experiential) 부분을 포함하고 있음. 일부 프로그램은 현장훈련을 제공하며, 배운 것을 바로 적응할 수 있게 한다. 비록 교육 프로젝트와 in vivo practice가 일부 인터벤션(대부분 세미나와 단기 코스)의 일부였지만, 교사의 지속적 교육활동과 연관되어 있는 것을 묘사한 연구는 극히 적었다. 요구도 조사가 이루어진 경우는 적었다.

Instructional methods: All reports described a wide range of instructional methods that included lectures, small-group discussions, interactive exercises, role plays and simulations, films and videotape reviews of performance. No programs were completely lecture-based, and the majority included an experiential component with opportunities for guided practice with feedback (i.e. micro-teaching). Some programs offered on-site training opportunities where teachers could readily apply what they learned. Few described a direct link to teachers’ ongoing educational activities, although educational projects and in vivo practice were part of several interventions (most notably seminars and short courses). Needs assessments were used sparingly.

길이: FDP 인터벤션은 1시간에서 1년까지 다양했다. 워크숍(대체로 one-time 인터벤션)의 경우 3시간에서 1주까지 분포하고 있었으며, 중간값은 2일이었다. 세미나 시리즈(장기간에 걸쳐 진행되는 것)은 12시간에서 1달까지 분포하고 있었으며, 중간값은 14시간이었다. 단기코스는 1주에서 1달에 분포하였다. 펠로우십은 full-time와 part-time이 모두 있는데, 한 인터벤션은 18개월에 걸쳐 50시간에 달하였다.

Duration: The faculty development interventions ranged in duration from one hour to one year. Workshops, which were generally one-time interventions, ranged in duration from three hours to one week, with a median duration of two days. The seminar series, which occurred over time, ranged in duration from 12 hours to one month (with a median duration of 14 hours), and the short courses ranged from one week to one month. Fellowships were both full time and part time in nature, and one intervention, entitled a ‘longitudinal program’, was 50 hours in length over 18 months. 

평가 항목: 74%의 연구가 reaction을 평가하였으며(만족도, 유용성 인식, 수용가능성, 학습활동의 가치), 77%에서 learning을 평가하였다(태도, 지식, 술기의 변화), 72%에서 '행동'을 평가하였으며, 'Result'평가는 13%에서 조직의 변화를, 6%에서 학생/레지던트 학습의 변화를 평가하였다.

Level of outcome assessed: Table 2 shows that 39 studies (74%) assessed reaction, which included participant satisfaction, perception of program usefulness and acceptability, and value of the activity. Forty-one studies (77%) assessed learning, which included changes in attitudes, knowledge or skills. Thirty-eight (72%) assessed change in behavior. At the results level, seven studies (13%) reported change in organizational practice and three (6%) assessed change in student or resident learning.

(b) 연구의 방법론적 품질

(b) Methodological quality of the studies

연구 목표와 이론틀: 모든 연구에서 목표를 기술하였으며, 일부는 더 구체적으로 목표를 기술하였음.(FDP의 교육행동 또는 교육태도에 대한 효과성 평가). 7개를 제외한 모든 연구에서 관련 문헌을 인용하였으며, 57%에서 개념틀 혹은 이론틀(주로 성인학습, Instructional design, experiential learning, reflective practice)과 연결지었다.

Study goal and theoretical framework: All 53 reports stated their objective, sometimes quite broadly (e.g. to describe, implement and evaluate a faculty development initiative). Some reports described more specific objectives, outlining a particular study question such as assessing the effectiveness of a faculty development program on teaching behaviors (Hewson, 2000) or attitudes (Schmidt et al., 1989). One study examined the effect of experience on workshop gains (Baroffio et al., 1999), and several others assessed different methods of assessment (Nasmith et al., 1997; Hewson et al., 2001) and program evaluation (Sheets, 1985). All but seven cited the relevant literature, though often in a very limited fashion. Thirty reports (57%) placed their work within a conceptual or theoretical framework, primarily drawing upon principles of adult learning, instructional design, experiential learning and reflective practice.

연구 설계: 11% RCT, 89% quasi-experimental. 45개의 단일그룹설계 중, 69%는 pre-post test, 26%는 post-test만. 질적 접근만 활용한 경우는 없었으며, 21%는 질적연구방법 사용

Study design: Of the 53 papers reviewed, there were six (11%) randomized controlled trials. The majority of studies (n¼47; 89%) were quasi-experimental in design, with two including a comparison group in the main part of the study. Of the 45 single-group designs, 31 (69%) employed a pretest– post-test design. Fourteen studies (26%) used a post-test only. None of the reports used a qualitative approach only, though 11 (21%) incorporated a qualitative method (or analysis) in their design. 

데이터 수집: 워크숍 후 설문, pre and post 측정, 학생/레지던트/자기 평가, 교육행동 관찰 등. 설문이 가장 흔히 사용되는 방법이었음. 55%에서는 설문만 사용. 38%에서는 설문+alpha. 대부분의 설문은 특정 연구를 위해 개발되었고, 매우 소수 연구에서는 psychometric properties도 보고함. 30%는 (비디오 녹화 등) 직접 관찰 평가를 수행.

Data collection methods: Methods to evaluate faculty development programs included end-of-workshop questionnaires, pre- and post-test measures to assess attitudinal or cognitive change, student, resident and self-assessment of post-training performance, and direct observations of teaching behavior. Questionnaires were the most popular method of data collection. All but four of the interventions used a survey or questionnaire. Twenty-nine (55%) of the interventions used a questionnaire only; 20 (38%) used a questionnaire and another method (e.g. observation; expert opinion). Most questionnaires were designed for a particular study, and few reports described psychometric properties. Sixteen studies (30%) included direct observation (of live or videotaped teaching sessions) as part of their assessment methodology. 

데이터 출처: 대부분 교육에 대한 자기보고에 의존하고 있으며, 수행-기반 변화측정은 매우 제한적으로 사용되었음. 28%는 학생/레지더트의 평가를 도입하였음. 전문가 견해를 사용하기도 함. 학생의 시험점수, 레지던트 행동에 관한 환자의 평가 등도 있음. 응답률은 low 또는 unspecified.

Data sources: The majority of programs relied on selfreported ratings of teaching, with a limited use of performance-based measures of change. Fifteen studies (28%) employed student or resident ratings to assess changes in teaching behaviors. An additional two used expert opinions to assess outcomes. One study assessed student exam scores; another included patient ratings of resident behaviors. In many studies, the response rates for outcome measures were low or unspecified; statistical methods or differences were often not described.

연구의 품질과 연구결과의 견고성: 5점척도로 평가했을 때(원래는 subscale도 넣었지만 reliable하지 않았음) study quality는 평균적으로 3.14점이었으며 1점에서 5점까지 분포(1 낮음, 5 높음). strength of finding은 2.88이 평균이었고 1점에서 4점까지 분포 (1점: no clear conclusions can be drawn; 3점: conclusions can probably be based on results; 5점 results are unequivocal)

Study quality and strength of findings: Study quality was rated on a five-point scale (1¼low; 5¼high), and reviewers were asked to indicate study strengths and weaknesses. We had originally included subscales to rate the evaluation methods (e.g. appropriateness of and implementation of study design; appropriateness of data analysis), but this did not yield reliable results. We therefore chose to use an overall rating for this variable. Strength of findings was rated on a five-point scale with specific anchors (1¼no clear conclusions can be drawn; 3¼conclusions can probably be based on results; 5¼results are unequivocal). The mean rating for study quality was 3.14, with a range from 1 to 5. The mean rating for strength of findings was 2.88 (with a range of 1–4).

인터벤션 유형에 따른 결과 요약

Summary of findings by intervention type

(a) 워크숍

(a) Workshops

23개의 인터벤션이 워크숍이었으며, 대부분은 duration이 다양한 single intervention이었음.

Twenty-three of the interventions reported were described as workshops, most commonly a single intervention of varying duration.

23개 중 7개 만이 개념 또는 이론틀을 기술함

Only seven of the 23 stated a theoretical or conceptual framework.

(b) 단기 코스

(b) Short courses

54개의 인터벤션 중 6개가 단기코스 형태였고 1주에서 1달까지 분포하였다. 모두 목표를 기술하였고, 6개 중 5개에서 이론틀을 제공하였다.

Six of the 54 interventions (Sheets & Henry, 1984, 1988;Gordon & Levinson, 1990; Skeff et al., 1992b; DaRosa et al.,1996; Pololi et al., 2001) were in the form of a short course,ranging in duration from one week to one month. All hada stated objective and all but one provided a theoretical framework. 

(c) 세미나 시리즈

(c) Seminar series

10개의 연구에서 세미나시리즈를 하였고, 이것의 특징은 각 세션이 시간 간격을 두고 진행되는 것이다.

Ten studies described a seminar series characterized by the fact that the sessions were spaced over time 

(d) 장기 프로그램과 펠로우십

(d) Longitudinal programs and fellowships

한 연구에서 장기프로그램을 보고하였으며, 모두 목표를 기술했다.

One report described a longitudinal program.

All had stated objectives and all but one incorporated a theoretical framework.

우수 연구 자세히 들여다보기

The focused picture

8개의 연구가 study quality와 strenght of findings에서 4점 혹은 그 이상의 점수를 받았다. 이 연구만 따로 보면 다음과 같다.

Eight articles scored 4 (or higher) for both study quality andstrength of findings, and we chose to examine these separately in order to provide a more focused picture offaculty development. 

8개 중 4개의 연구에서 effect size를 계산 할 수 있었다. 평균점수와 SD로 effect size를 계산함. Table 3에 그 결과가 나와있다.effect size는 다양했지만 moderate to high 한 정도의 효과크기가 네 가지 모두에서 나타났다. 즉 인터벤션의 효과가 있었으며 특히 교육의 측면에서 그리고 인터벤션에서 도움을 받은 교수들의 측면에서 있었다.

Four of the eight studies included in our focused review provided data that allowed for the calculation of effect size(Baroffio et al., 1999; Skeff, 1983; Skeff et al., 1986; Mahler& Benor, 1984). Mean scores and standard deviations weredrawn from the data and were converted into effect sizes (d)using Cohen d’s calculation (Cohen, 1988). These effects areshown in Table 3, where these studies are summarized. Whileeffect sizes varied, moderate to high effect sizes were found inall four studies, highlighting the effects of the interventions,particular aspects of teaching that were affected, and groupsof teachers who might benefit from the intervention. 

(a) 인터벤션과 기대 효과

(a) Description of the interventions and expected outcomes

45분짜리 피드백 세션에서부터 1달짜리 세미나 시리즈까지 다양했다.

The interventions described in these eight reports rangedfrom a 45-minute feedback session for clinical teachers(Marvel, 1991) to a month-long seminar series designed tofacilitate dissemination of workshop concepts (Stratos et al.,1997). One study described two workshops aimed at improving tutor behavior, each consisting of several phases(Baroffio et al., 1999). Another study provided augmented feedback, consisting of norm-referenced graphic summaries of teachers’ clinical teaching performance ratings, together with individually written clinical teaching effectiveness guide-lines, to attending staff and residents (Litzelman et al., 1998).Two studies assessed the benefits of a four-day workshop designed to improve teachers’ cognitive styles (Mahler & Benor, 1984; Mahler & Neumann, 1987), and two studies assessed the impact of an intensive feedback and seminar method on clinicians’ teaching behaviors (Skeff, 1983; Skeff et al., 1986).

모든 연구에서 behavior change를 평가했으며, 이는 3단계와 4단계에 해당한다. 4개의 연구에서 참가자의 만족도를 조사하였고, 3개의 연구에서 학습의 변화를, 7개의 연구에서 교육행동의 변화를 3개에서 학생과 시스템의 변화를 평가하였다.

All of the studies assessed behavioral change, targeting level 3 or 4 of Kirkpatrick’s model. Four studies included participant satisfaction. Three studies examined changes in learning (i.e. knowledge, attitudes or skills); seven studies assessed change in teacher behavior and three assessed change at the level of the student or system. One study assessed outcome at all four levels (Skeff et al., 1986).

(b) 방법론적 품질

(b) Methodological quality of the studies

3개는 RCT. 5개는 single-group design. 1개 연구에서 non-equivalent control group을 포함함. 8개 연구에서 pre- post- test 디자인을 활용. 3개의 연구에서는 delayed post-test 활용

Three of the eight studies (38%) were randomized controlled trials; the remaining five (62%) were single-group designs, with one study including a non-equivalent control group for one part of the intervention. All eight studies employed a pre- test–post-test design, with the addition of a delayed post-test in three.

8개 중 6개에서 설문을 활용했으며(이론적 구인에 따라 reliability를 점검함). 이 6개 중 3개는 수행능력을 객관적으로 측정함. 2개는 수행능력에 대한 관측측정만 함.

Six of the eight studies (75%) used questionnaires (the majority of which were tested for reliability and based on a theoretical construct). Three of these same six studies also incorporated objective measures of performance. The two remaining studies used observed measures of performance only.

8개 모두 참가자의 자기-보고 외에 다른 자료 출처를 사용함. 5개의 연구는 교육 행동에 대한 학생, 레지던트의 평가 활용. 5개는 숙련된 관찰자의 평가를 활용

All of the eight studies used data sources other than participants’ self-report. Five of the studies incorporated student and resident ratings of teacher behavior; five utilized trained observer ratings.

Discussion

결과 요약

Summary of outcomes

FDP에 대한 높은 만족도: 참가자가 자발적으로 참여했다는 사실 외에도, 일관되게 FDP가 수용가능했고, 유용했으며, 개인 목표에 부합한다고 응답함. 실습과 스킬-기반 방법이 높은 평가를 받았음.

High satisfaction with faculty development programs: Overall satisfaction with faculty development programs was high. Notwithstanding the fact that the participants were volunteers, they consistently found the programs acceptable, useful and relevant to their personal objectives. The methods used, especially those with a practical and skills-based focus, were also valued by program participants.

교육과 교수개발에 대한 태도 변화: 두 가지 모두에서 긍정적으로 변화했다. 개인의 강점과 약점을 더 잘 인식하게 되었고, 동기부여가 더 되었으며, 교육에 대한 열의가 생겼고, professional development에 대해 긍정적으로 평가하게 되었다. 이러한 효과는 개방형 설문과 pre-post 측정에서 모두 나타났다.

Changes in attitudes towards teaching and faculty development: Participants reported a positive change in attitudes towards faculty development and towards teaching as a result of their involvement in a faculty development activity. They cited a greater awareness of personal strengths and limitations, increased motivation and enthusiasm for teaching, and a notable appreciation of the benefits of professional development. This impact was observed both in answers to open-ended questions and in pre–post measures of attitudinal change.

지식과 스킬의 습득: 교육의 다양한 측면(구체적인 교육전략, 보다 학습자-중심적 접근) 외에도 교육적 개념에 대한 지식 향상을 언급하였다. 스킬의 습득(학습자 요구사정, 성찰 촉진법, 피드백 제공법)도 이뤄졌다. 지식의 평가를 위한 시험은 흔히 사용되진 않더라도 긍정적 변화를 보여준다.

Gains in knowledge and skills: Participants often reported increased knowledge of educational concepts and principles as well as various aspects of teaching (e.g. specific teaching strategies; a more learner-centered approach). They also described gains in skills (e.g. assessing learners’ needs, promoting reflection and providing feedback). Formal tests of knowledge, though infrequently used, also demonstrated positive changes.

교육 행동의 변화: 스스로 인식한 교육행동의 변화는 지속적으로 보고되었다. 학생들의 평가에서 FDP 참가자들이 인식하는 변화를 항상 반영하는 것은 아니지만, 교육 행동에 변화가 있는 것은 명확해보인다. 예컨대 교육 행동의 변화는 23개의 워크숍 중 15개, 10개의 세미나 시리즈 중 7개에서 드러난다.

Changes in teaching behavior: Self-perceived changes in teaching behavior were consistently reported. While student evaluations did not always reflect the changes that participants perceived, there was evidence that change in teaching performance was detectable. For example, changes in teaching behavior were reported for 15 (of 23) workshops and seven (of 10) seminar series. New educational initiatives, designed and implemented during the intervention, were also described.

조직과 학생 학습의 변화: 흔히 평가되는 것은 아니지만, 이것을 평가한 소수 연구를 보면 새로운 교육활동에 더 적극적으로 참여하고, 동료들과 새로운/개선된 네트워크를 형성한다.

Changes in organizational practice and student learning: Changes in student (or resident) behavior as well as organizational practice were not frequently investigated. However, in those few studies that examined organizational practice, participants reported a greater involvement in new educational activities and the establishment of new and improved networks of colleagues. The latter outcome was most frequently noted for the seminar series and longitudinal programs.

핵심 특징 요약

Summary of ‘key features’

경험학습의 역할: 배운 내용을 적용하는 것, 스킬을 연습하는 것, 스킬에 대한 피드백을 받는 것의 중요성이 여러 연구에서 강조되었다. 모든 연구자들은 교수들이 배운 것을 연습하고, 즉각적 관련성과 실용성이 핵심이라고 하였다.

The role of experiential learning: The importance of applying what has been learned (during the intervention and afterwards), practicing skills, and receiving feedback on skills learned was highlighted by several authors (Irby et al., 1982; Coles & Tomlinson, 1994; Hewson, 2000), all of whom suggest that faculty members need to practice what they learn, and that immediate relevance and practicality is key (e.g. Sheets & Henry, 1984, 1988).

피드백의 가치: 변화를 만드는데 피드백의 역할을 여러 보고된 인터벤션에서 명백하다. 추가로 여러 연구에서 인터벤션 전략으로서 피드백 활용을 조사하였으며, systematic한 건설적 피드백이 교육 행동의 개선을 가져올 수 있음을 보여주었다. 그러나 한 연구에서 augmented feedback은 일부 부정적 효과를 보였다.

The value of feedback: The role of feedback in promoting change was evident in many of the reported interventions. In addition, several studies (Skeff, 1983; Litzelman et al., 1998) specifically examined the use of feedback as an intervention strategy and found that systematic and constructive feedback can result in improved teaching performance. However, in one study (Litzelman et al., 1998), augmented feedback was shown to have some negative effects; this potential effect should be considered and investigated further.

동료의 중요성: 많은 연구에서 동료 관계의 이점에 대해서 언급했다. 특히 동료를 롤모델로 삼는 것, 정보와 아이디어를 서로 교환하는 것, 변화를 촉진하고 유지하는데 동료의 지지의 중요성 등을 언급했다.

The importance of peers: A number of reports (DeWitt et al., 1993; Elliot et al., 1999) commented on the benefits of peer and collegial relationships. In particular, they highlighted the value of using peers as role models, the mutual exchange of information and ideas, and the importance of collegial support to promote and maintain change.

교수-학습의 원칙을 고수하는 것: 많은 FDP가 이론/개념적 프레임워크에 기반하고 있지 않지만, 많은 연구에서 성인학습을 인용하였으며 경험학습을 인용하였다. 실제로 이러한 원칙에 입각하여 진행하는 것이 더 효과적인 교수-학습을 가져온다는 컨센서스가 나타나고 있다. instructional design 원칙 역시 자주 언급된다.

Adherence to principles of teaching and learning: Although many of the programs were not grounded in a theoretical or conceptual framework, many cited principles of adult learning (e.g. Knowles, 1988) and experiential learning (e.g. Kolb, 1984) as an organizing structure. In fact, there appears to be a developing consensus that adherence to these principles promotes more effective learning and teaching. Principles of instructional design were also frequently cited.

목표 달성을 위한 다양한 교수법 활용: 앞서 언급된 바와 같이 모든 인터벤션은 여러 교수법을 활용하며(소그룹 토의, 상호작용 연습, 롤플레이, 시뮬레이션) 강의만 하는 것은 없다. 명백히 모든 프로그램은 다양한 학습스타일에 맞춰야 할 필요성과 더불어 다양한 목표를 달성하기 위해서는 다양한 방법이 필요함을 인식하고 있다.

The use of multiple instructional methods to achieve objectives: As mentioned earlier, all of the interventions included a wide range of instructional methods (e.g. smallgroup discussions; interactive exercises; role plays and simulations) and none relied on lectures alone. Apparently, each program was aware of the need to accommodate different learning styles as well as the fact that different methods are required to meet diverse objectives.

FD인터벤션과 관련한 관찰결과

Observations re faculty development interventions

맥락의 역할: 대부분의 연구는 교수 중 특정 맥락에 있는 특정 그룹의 니즈에 맞는 프로그램을 개발하였다. 이 프로그램 개발과 '맞춤형' 프로그램이 종종 성공을 이루곤 했지만, 놀라운 것은 아니다. 이러한 관찰 결과에서 배워야 할 점은 '맥락'이 핵심이라는 것이며, 연구의 결과가 일반화가능하지 않을 수 있지만, FDP의 개발의 원칙은 일반화가능할 수 있다는 점이다.

The role of context: The majority of reports describe programs that were developed to meet the needs of a particular group of faculty members, in a particular context. To the extent that this development and ‘match’ were often successful, it is not surprising that there were many reports of changes in the desired direction. One lesson to be learned from this observation is that context is key, and that although the results of these studies may not be generalizable, the principles of faculty development might be.

맥락은 또 다른 의미에서 중요한데, Kirkpatrick에 따르면 변화가 일어나려면 네 가지 조건이 맞아야 한다. (1)변하고자 하는 욕망이 있어야 하며, (2)무엇을 어떻게 할지에 대한 지식이 있어야 하고 (3)지지적 환경이 필요하며 (4)변화의 보상이 필요하다. 흥미롭게도 처음 두 개의 요소는 FDP를 통해 달성가능하나 나머지 두 개는 그렇지 않다. 그러나 우리가 바라는 변화는 이 지점에 있다.

Context is important in another way as well. According to Kirkpatrick (1994), four conditions are necessary for change to occur: the person must have the desire to change, knowledge of what to do and how to do it, a supportive work environment, and rewards for changing. Interestingly, the first two elements of change can potentially be achieved through faculty development activities; the last two cannot, and yet it is at this level that we expect change to occur.

참여의 특성: FDP에 참여하고자 하는 동기는 아직 해결되지 않은 의문이다. 왜 참여하는가? 왜 어떤 사람이 특정 프로그램에 특정 시점에 참여하고자 하는가? 지금까지 대부분의 참여자는 자발적 참여자였다. 아마 이제는 이 '자발성'을 넘어서야 할 때인지도 모른다. 개인적 차원의 것을 넘어서 FDP참여를 촉진하거나 방해하는 요인을 알아봐야 한다. '교육'이란 것은 '사회적 활동'이기 때문에, 참여의 사회적 결정요인에 대해 살펴볼 필요가 있을 수도 있다. 경험을 통해서 얻는 것과 워크숍을 통해서 얻는 것의 차이를 볼 필요도 있다.

The nature of participation: Motivation to attend faculty development activities remains an unanswered question. What motivates participation? What determines whether someone will take advantage of specific offerings at a particular time? To date, the majority of participants are volunteers. Perhaps it is time for us to move beyond ‘volunteerism’ as we strive to enhance teaching and learning. It would also be worth exploring factors beyond the individual that encourage or impede attendance. As teaching is a ‘social activity’ (D’Eon et al., 2000), the social determinants of participation merit further inquiry. It would also be worthwhile to conduct further studies to determine what is learned through workshops vs. experience. 

FD의 facilitator로 참여하는 것의 효과도 연구할 가치가 있을 것이다. "가르치는 것은 두 번 배우는 것과 같다" 라는 말이 있다. 흥미롭게도 지금까지 어떤 연구도 FD facilitator의 참여의 영향을 연구하지 않았다. FD intervention에 faciitator로 참여하기 위해서는 독특한 스킬과 자질이 필요할 것이라는 것이 우리의 생각이다.

The impact of participation on faculty development facilitators would also be worthy of investigation. It has been said that ‘‘to teach is to learn twice’’. Interestingly, no studies to date have examined the impact of participation on faculty development facilitators. It is our impression that facilitating a faculty development intervention requires a unique blend of skills and aptitudes that should be examined in greater depth.

확장 프로그램의 가치: 더 장기간 이뤄지는 프로그램(세미나 시리즈)이 단기성 프로그램보다 더 성과를 낼 가능성이 높아 보인다. 예컨대 세미나 시리즈는 네트워크를 형성시키고, 협력적 관계를 만들어준다. 이러한 인터벤션은(펠로우십 포함) FDP이후 교육활동에 더 많이 참여하게 하며, 이는 지속가능성을 시사한다. 단기 프로그램과 장기 프로그램의 더 철저한 비교가 필요하다.

The value of extended programs: Our review of findings by intervention type suggests that longer programs, extended over time (e.g. the seminar series), tend to produce outcomes not apparent in one-time interventions (e.g. short courses or workshops). For example, in several instances the seminar series resulted in the creation of networks and cooperative interactions among colleagues that are possible when a group meets over time (e.g. Rayner et al., 1997). These interventions, as well as fellowships, also reported more involvement in educational activities following the faculty development activity, implying sustainability over time. A more rigorous comparison of ‘short’ and ‘long’ interventions would be beneficial to test out the hypothesis that extended programs yield more long-term changes.

FDP의 다양한 대안 고려: 이번 연구에서 전통적인 면-대-면 방식의 FDP에 지나치게 의존하고 있음이 드러났다. 이러한 인터벤션이 일정관리에 장점이 있고, 관심이 있는 교육자들의 커뮤니티를 형성해주며, 동기를 더 부여해주는 것으로 나타나지만, 다른 방법(온라인 교육, 자기주도 학습, 피어-코칭)도 고려해봐야 하며 멘토링도 고려해봐야 한다. 여기에 속하는 일부 연구들이 'strength of findings'에서 높은 점수를 받았다.

The use of ‘alternative’ practices: The current literature demonstrates an over-reliance on traditional face-to-face methods such as workshops and seminars. Whereas these interventions seem to have the stated advantage of ease of scheduling, building a community of interested educators and increasing motivation, we should consider other methods that include online and self-directed learning, peer coaching (Flynn et al., 1994) and mentorship (Morzinski et al., 1996). It is interesting to note that some of the studies that scored highly on ‘strength of findings’ used alternative methods (e.g. individual feedback session).

방법론적 이슈와 관련한 관찰결과

Observations re methodological issues

더 철저한 연구설계의 필요성: 1992년 Hitchcock 등은 FDP를 더 철저한 질적/양적 설계로 평가해야 한다고 언급했다. 그 때부터 상황은 크게 달라진 것 같지 않다. 본 리뷰에서도 더 철저한 연구를 통해서 흔히 마주치는 연구설정상의 문제를 극복할 필요를 제시한다. 만약 가능하다면, RCT를 고려하거나 최소한 대조군을 포함해서 FDP가 정말 차이를 만드는지 더 일반화가능한 결론을 내야 할 것이다.

The need for more rigorous designs: In 1992, Hitchcock et al. commented on the need to better evaluate faculty development programs and use sound qualitative and quantitative designs to document outcomes. The situation does not seem to have changed significantly since then. The results of this review suggest the need to conduct more rigorous research studies and overcome commonly encountered design problems. If possible, we should consider the use of randomized controlled trials, or at least comparison groups, so that we can make more generalizable statements about whether faculty development does, indeed, make a difference. 

문헌을 검토한 바, 엄격한 질적연구방법이 잘 활용되지 않음을 발견했다. 동시에, 많은 저자들이 FD활동 이후에 교수들의 열정/갱신(renewal)/변화에 대한 직관적인 인상을 기술했다. 그러나 현재까지의 연구방법은 이러한 직관이나 관찰 일화를 잘 잡아내지 못하고 있다. 더 나아가 비록 FD활동이 교육활동에 대한 흥미에 불을 지핀다는 일반적 동의가 있지만, 이것이 어떻게 도달되는 것인지, 이 열망이 어떤 것인지 등이 더 면밀히 조사될 필요가 있다. 많은 경우 질적연구를더 많이 활용할 경우 얻을 수 있는 이점이 많다.

In reviewing the literature, we perceived an underutilization of rigorous qualitative methodologies. At the same time, many authors described an intuitive impression of enthusiasm, renewal and change following a particular faculty development activity. Current methods do not adequately capture these intuitions or anecdotal observations. Moreover, although there is general agreement that faculty development activities kindle interest in educational activities, how this is achieved, and what this inspires, needs to be examined more carefully. In many ways, a greater use of qualitative methods (e.g. Freeman et al., 1992) would yield considerable benefits.

FDP는 복잡한 세팅에서 이뤄지는 복잡한 인터벤션이다. 우리의 개념틀에서 지적한 바와 같이, 많은 매개변수(개인 특성, 교사의 직위와 책임) 등이 통제불가능한 외적 요인으로 작용한다. 이것이 평가가 어려운 이유이며(변화가 있다고 해서 프로그램의 기여가 아닐 수 있다), 새로운 연구방법론이 필요한 이유이다. Blumberg와 Deveau는 교육 혁신/인터벤션의 학문적 전파/교육제품(product)개발/도입을 평가하기 위한 모델을 개발하였다.  이것이 우리가 고려해야 할 것이며, 조직에 대한 영향과 더불어 기대 성과와 '기대하지 않은' 성과의 가치를 고려해야 한다.

Faculty development activities represent complex interventions in complex settings (Drescher et al., 2004). As noted in our conceptual framework, many intervening, mediating variables (e.g. personal attributes; teacher’s status and responsibilities) interact with uncontrollable, extraneous factors. This is one of the many reasons that evaluation of effectiveness is difficult (for even if changes are noted, they may not definitively be attributed to the program) and that new research methodologies are required (e.g. Campbell et al., 2000). Blumberg & Deveau (1995) have developed a model by which to evaluate an educational innovation/ intervention that looks at academic dissemination, product development and implementation. This is something that we should consider in faculty development. We should also consider the value of examining anticipated and ‘unanticipated’ outcomes (e.g. Blumberg & Deveau, 1995), including impact on the organization.

참가자 만족도에 보다 관심을 기울이기: 참가자 만족도 자료의 가치를 다시 돌아보아야 할 때이다. 비록 FDP에 대한 반응은 초보 단계의 평가이지만, 변화의 토대가 된다. 참가자들의 만족이 중요한 이유는 높은 만족도가 더 학습하고자 하는 동기를 부여해주고, 전문성-개발 활동에 참여하게 해주기 때문이다. 또한 프로그램 개발자에게 가치있는 피드백이 되기도 한다. Belfield 등이 말한 바와 같이 참가자들의 만족도는 교육의 잠재적 효과에 대한 대강의 대리지표이다. 그러나 특정 프로그램에 대한 만족도는 그러한 정보의 목적과 활용이 명확하기만 한다면중요한 정보가 되기도 한다. 우리의 견해로는 만족도를 완전히 무시하기보다는 가치를 만들어나갈 수 있어야 한다. 참가자의 경험과 스토리에 대한 질적 연구방법(네러티브 분석, 결정적 사건 분석)은 또 다른 접근법이 된다.

Attention to participant satisfaction: It is time to re-affirm the value of participant satisfaction data. Although reaction to the program is an elementary level of evaluation, it is fundamental for change to occur. Participant satisfaction is important if faculty members are to be motivated to learn and to attend professional development activities. It also gives valuable feedback to program planners. As Belfield et al. (2001) have said, participant satisfaction is a crude proxy for the substantive effects of education. However, information on the reactions of participants to a specific program provides valuable information, as long as the purpose and use of such information is made explicit. In our opinion, we must build on the value of participant satisfaction rather than discredit it completely. Applying qualitative methodologies to participants’ experiences and stories (e.g. analysis of narratives; critical incident technique) is another approach worth

pursuing as we try to understand participants’ reactions to faculty development offerings. 

성과 측정: 지금까지의 연구결과를 보면 변화 측정에 있어 자기평가와 설문에 지나치게 의존한다. 더 나아가기 위해서 새로운 평가방법을 고려해야 한다. 예컨대 Simpson 등은 교수의 교육능력을 개발하기 위한 표준화된 교육 상황을 개발하였으며, Zabar 등은 objective structured teaching examinations 를 통해서 효과를 평가했다.

Outcome measures: The literature to date suggests an overreliance on self-assessments and survey questionnaires to assess change. To move forward, we should consider the use of novel assessment methods. For example, Simpson et al. (1992) have developed standardized teaching situations to develop faculty teaching skills; Zabar et al. (2004) have utilized objective structured teaching examinations to evaluate impact.

적절한 측정은 reliable하고 valid 해야 한다. 대부분의 연구는 psychometric property를 보고하지 않았다. FD개발자들과 연구자들은 validity와 reliability가 확립된 설문지 활용을 고려할 필요가 있다. 혹은 그러한 척도를 개발하고자 노력해야 한다. 예컨대 많은 교수 효과에 대한 여러 scale이 개발되어 있으며, 가능하다면 이러한 평가도구를 사용하고 리소스를 더 공유해야 한다.

Accurately measuring change requires reliable and valid measures. The majority of studies in this review used questionnaires for which psychometric properties were not reported. Faculty developers and researchers interested in assessing change should consider using questionnaires that have already been tested for validity and reliability, or work to establish these measures. For example, a number of scales and measures of teacher effectiveness have been developed in education (e.g. Gibbs & Coffey, 2004). Whenever possible, we should try to make use of these assessment tools and collaborate in order to share resources more consistently. 

우리는 다양한 수행능력의 척도(자기평가, 비디오테입평가, 학생평가) 간 상관관계를 살펴봄으로써 모든 척도를 모든 연구에 사용하지 않아도 되게 해야 한다. 예컨대 일부 연구에서는 비디오테입 평가와 지식 검사의 강한 상관관계를 보고했다. 이들 연구결과는 입증되기만 한다면 항상 직접 관찰(비용과 시간이 많이 드는)을 사용하지 않아도 된다는 것을 시사한다. 비슷한 결과에 따르면 학생이나 레지던트의 교수 수행능력에 대한 평가를 (지식검사와 함께 사용하여) 비디오테입 녹화 대신 사용할 수 있다. 그러나 삼각측량의 가치는 축소될 필요가 없다. 대부분의 높이 평가된 연구들을 보면 성과 측정을 위해서 다양한 방법을 사용하였다.

We should also try to correlate different measures of performance (e.g. self-assessment questionnaires and videotape recordings; student assessments and faculty self-ratings) so that we do not need to include all measures of change in every study. For example, several studies (e.g. (Mahler & Benor, 1984; Sheets & Henry, 1984) found a strong correlation between videotape ratings (albeit sometimes based on single observations) and knowledge tests. These findings, if corroborated, suggest the possibility of conducting reliable evaluations without always using direct observation (which can be costly and time-consuming). Based on similar results, we might be able to use student or resident evaluations of teachers’ performance (together with knowledge tests) instead of videotaped observations. However, the value of triangulation to validate results cannot be understated. Some of the most highly rated studies (Skeff, 1983; Skeff et al., 1986) used multiple measures to assess outcome (e.g. self-ratings, videotaped observations and student ratings).

FDP의 중요한 성과는 학생들의 수행능력 향상이 되어야 한다. 우리는 따라서 교수들의 교육행동과 학생들의 성과와의 관계를 봐야 한다. 즉, 더 철저하게 학생과 레지던트의 자료를 수집해야 하며, 학생들의 교육 역량에 대한 평가는 매우 유용하다. 이러한 방식이 더 활용되어야 하나, 학생과 레지던트의 지식/태도/술기에 대한 평가가 더 면멸히 이뤄져야 한다.

An important outcome of faculty development is improved student performance. We must therefore work to seek evidence of a relationship between changes in faculty members’ teaching behaviors and learner outcomes. That is, we need to collect student and resident data (including indices of learner behaviour) more rigorously. Student evaluations of teaching competencies are invaluable; they need to be augmented, however, by a careful assessment of changes in students’ and residents’ own knowledge, attitudes and skills. 

응답 편향에 관심가지기: 편향된 응답에도 관심을 기울여야 한다. Skeff등이 언급한 바와 같이 FDP 이후의 자기평가는 종종 기대보다 낮거나 더 떨어지기도 하는데, 이는 개개인이 시작시에는 스스로를 과대평가하다가 과정이 끝나면 스스로를 더 정확하게 평가하기 때문일 수 있다. Skeff 등이 말한 바와 같이 더 조직적으로 후향적 사전-, 사후- 검사를 평가하여 이러한 편향을 극복해야 한다. 한 흥미로운 연구에서 후향적 사전-검사의 결과는 (일반적인 사전검사보다) 학생의 교수에 대한 워크숍-이전 평가가 더 정확함을 보여준다. 이에 더하여 후향적 사전- 사후- 검사는 태도 측면에서 유의미한 결과를 보여주는데, 이는 전통적인 사전- 사후- 에서는 잘 드러나지 않는다.

Attention to response shift bias: The notion of ‘response shift bias’ warrants more careful attention. As noted by Skeff et al. (1992a), post-course self-ratings are often lower than expected, and occasionally decrease, when increases are expected. This may occur because individuals overrate themselves at the beginning of a course, and then after the course (when they have a better idea of what is meant by different aspects of teaching and learning), they rate themselves more accurately (Nayer, 1995). As Skeff et al. have argued, we should more systematically consider the value of retrospective pre–post testing to overcome this possible response shift bias. In an interesting study (Skeff et al., 1992a), retrospective pre-tests correlated better with students’ pre-workshop evaluations of their teachers’ performance than did the regular pre-test. In addition, the retrospective pre- and post-tests showed significant differences in attitudes towards teaching that were not apparent in more traditional pre- and post-tests.

시간 변화에 따른 변화 평가: 소수의 연구에서 시간 변화에 따른 FDP성과의 유지를 보았다. 많은 경우 1년까지 그 변화가 유지됨을 보여주었다.

Assessment of change over time: A few studies assessed the maintenance of change over time. Most of them (Mahler & Benor, 1984; Skeff et al., 1986; Steinert et al., 2001)

FD 전략간 비교: 비록 우리가 효과적인 FDP의 '핵심 특징'을 따로 떼어 놓았지만, FDP의 어떤 요소가 가장 유용한지에 대한 비교 연구는 거의 없으며, 한 방법이 다른 방법보다 우월한지에 대한 연구도 없다. 예컨대 비록 워크숍이 가장 흔한 방식이지만, 많은 연구자들이 지속적 변화를 가져오기에는 너무 짧다고 지적한다. 그러나 워크숍은 여전히 가장 많이 쓰이는 방법이다. 우리의 연구에 따르면 더 긴 인터벤션이 더 오래 지속되는 성과를 가져온다.

Comparison of faculty development strategies: Although we have attempted to tease apart key ‘features’ of effective faculty development, there is little comparative research on which components of faculty development interventions are most useful (e.g. micro-teaching; role plays) and whether one method (e.g. seminar series) is more effective than another (e.g. short courses). For example, although workshops are one of the most common methods, many have suggested that they are too short to bring about lasting change. At the same time, they persist as a method of choice. Our findings suggest that longer interventions may have more durable outcomes. This, too, requires further investigation.

이론과 실천에 기반한 FD: 리뷰 결과에 따르면 단 하나의 '완벽한 인터벤션'을 찾으려는 노력을 경계해야 한다. 실제로 다양한 접근법이 존재하며, 적절한 활용이란 환경에 따라 다 다르다. 그러나 FDP는 이론과 실제적 근거에 기반해야 한다. 아직 교육이론이 어떻게 학습이 일어나는지에 대한 통합된 이해를 제공해주지는 못하나, 학습에 있어 상당한 지지를 받는 모델이나 원칙이 있고, 이것을 기획/성과측정/효과분석에 활용해야 한다. 여기에는 다음과 같은 것들이 있다.

Grounding faculty development in theory and practice: Based on the findings of our review, we should caution ourselves against searching for the single ‘perfect intervention’. In fact, an array of approaches exists and their appropriate use may differ from activity to activity and across settings. However, the work of faculty development should be grounded in both theory and empirical evidence. While educational theory has not yet provided us with a unified understanding of how learning occurs, there are well-supported models and principles of learning that can inform us in planning interventions, measuring outcomes and analysing effects (Mann, 2002). These include principles that draw

• 인지과학 on the science of cognition (e.g. how individuals make meaning of information and store it in memory) (Regehr & Norman, 1996);
• 사회적 학습 on understandings of social learning (e.g. how learning occurs from and with others;
• 환경 the influence of the learning environment) (Bandura, 1986);
• 경험 learning through experience (Kolb, 1984);
• 성찰 and making meaning of learning and experience through reflection (Scho¨n, 1987; Moon, 1999).
• 실천 커뮤니티에의 참여 More recently, the idea of learning through participation in communities of practice has also been explored (Lave & Wenger, 1991; Boud & Middleton, 2003), and this notion will have important implications for faculty development.

프로그램과 다양한 전공간 협력: 자원을 공유하고 프로그램간 협력을 해야 한다. 교육 영역에서 배울 것이 많은데, 우리의 결과를 보면 다른 대학 교수들의 트레이닝의 리뷰에서의 결과와 유사하다. 많은 경우 이들 연구로부터 배우고 우리에게 적용해야 한다.

Collaborating across programs and disciplines: The value of sharing resources and collaborating across programs has been highlighted earlier in this review. There is also much for us to learn from colleagues in the field of education. For example, many of our findings resemble what has been found in reviews of research on training of university teachers (Gibbs & Coffey, 2004); in many ways, it would be wise to learn from these studies and incorporate their methodologies (and findings) into our work.

FDP 실천에 대한 함의

Implications for practice:

We need to:

• 우리의 성공을 토대로 하자. 성공적 프로그램에 들어있는 식별가능한, 복제가능한 요소들을 활용하자
  Build on our successes. The literature describes successful programs, with recognizable, replicable elements. It is now important to tease apart the elements that work.
• 이론과 교육 원칙을 설계와 개발에 더 잘 활용하자. 더 나아가 이론을 실천에 연결시켜야 한다. 교수들의 실제 교육행위를 더 잘 이해하고, 실제로 맞닥뜨리는 문제를 이해하여 이 정보를 이론에 관련지어 더 향상된 인터벤션을 개발과 효과성 평가로 이끌어야 한다.
  Make more deliberate use of theory (particularly theories of learning) and educational principles in the design and development of our faculty development programs. Further, we need to link theory with practice, in an iterative cycle of asking questions in practice, studying these questions and testing our answers. We also need to better understand teachers’ educational practices and the real problems that teachers encounter so that we can use this knowledge to inform theory, which can help us in developing improved interventions and evaluating effectiveness.
• 맥락의 중요성을 인정하자. 조직문화, 교육과정, 교사와 학생이 모두 '맥락'에 기여한다.
  Acknowledge the importance of context. The organizational culture, the curriculum, teachers and students all contribute to a context that is critical to the effectiveness of educational change.
• 장기간에 걸쳐 진행되는 프로그램을 개발하자. 학습, 실천, 성장을 축적하자
  Develop more programs that extend over time, to allow for cumulative learning, practice and growth.
• 학습자 간 성찰과 배움을 촉진하는 프로그램을 개발하자. 그들이 스스로를 교사로 인식하게 하자. 이것이 교수자-지도 인터벤션이 아니라 지속적인 자기주도발전의 토대가 될 것이다.
  Develop programs that stimulate reflection and learning among participants, raising their awareness of themselves as teachers. This would form the basis for ongoing self-directed development rather than the need to primarily have ‘teacher-directed’ interventions.
• 자발적 참여의 문제를 다시 생각하자. 많은 경우 효과적인 교육을 위해 필요한 전제조건은 참여가 없으면 달성되지 않는다. 더 나아가 FD의 자발성이란 특징을 생각할 때 조직문화와 그 조직이 교수-학습에 있어 어디에 가치를 두는지를 고려해야 한다.
  Re-examine the question of voluntary participation. In many contexts, the requirement to prepare for teaching effectiveness may not be met unless participation is expected and required. Moreover, the voluntary nature of faculty development raises questions about the institutional culture and the values (both explicit and implicit) that it places on teaching and learning. 

연구에 대한 함의

Implications for future research:

We need to:

• 더 철저한 연구를 수행하자. 통제그룹과 비교집단, 질적연구를 활용하자. 성과를 더 잘 정의하고, 프로그램의 시작시부터 평가를 계획하고 연구를 함께 하는 동료들과 협력하라
  Conduct more rigorous research studies, using control or comparison groups and qualitative methodologies. This requires careful definitions of outcomes, planning for evaluation at the inception of any program, and closer collaboration with research colleagues. We must also find a way to corroborate anecdotal observations and capture faculty members’ stories.
• 결과 중심의 연구가 아닌 과정 중심의 연구를 하자. 즉, 어떻게 변화가 일어나는 것인지 더 잘 이해할 필요가 있다. (어떻게 교수의 신념이 변하는가, 인터벤션이 교수의 성찰기술을 향상시켰는가) 질적연구방법이 더 적합할 것이다.
  Carry out process-oriented studies in addition to outcomeoriented ones. That is, we need to better understand how change occurs, both as a result of the intervention and within the individual (e.g. how did teachers’ beliefs change; did the intervention result in improving teachers’ reflective skills). In fact, qualitative methods may be more appropriate here.
• 수행능력-기반 변화를 측정하고 이를 위한 척도를 개발하자.
  Continue to develop and utilize performance-based measures of change. The use of these methods, which do exist, is an essential and natural next step. 
• 데이터 수집에 다양한 방법을 사용하자
  Use multiple methods and data sources to allow for triangulation of data.
• 평가도구의 타당도와 신뢰도를 평가하자. 적절한 도구가 있다면 새로운 도구 개발에 앞어서 먼저 고려되어야 한다. 표준화된/비교가능한 도구를 사용하자.
  Assess and report the validity and reliability of instruments used. Further, where appropriate instruments exist, these should be considered in preference to developing new instruments. Using standardized or comparable measures across studies will help to understand the field and improve the quality of research in this area.
• 다양한 변수가 예측불가능하게 돌아가는 복잡한 환경에서 이뤄지는 인터벤션에 대한 연구를 장려하자. 여러 요인 간 상호작용이 있는 연구를 더 해야 한다.
  Promote studies in which an intervention is recognized as occurring in a complex environment in which many unforeseen and unpredictable variables play a role. We need to conduct more studies in which the interaction between different factors is investigated, highlighting under what conditions and why an intervention might be successful or not.
• 서로 다른 FD 방법 간 비교하자
  Compare different faculty development methods to enable an analysis of which features of faculty development contribute to changes in teacher performance.
• 시간에 따른 변화를 평가하자.
  Assess change over time. This is important both in determining any enduring effects, and in understanding which interventions or factors may be associated with more sustained change. Longitudinal follow-ups may also help us to understand the development of faculty members throughout their careers.
• 기관이나 조직에 대한 FD의 효과를 더 철저하게 평가할 수 있는 수단 개발
  Develop means of assessing the impact of faculty development on the institution/organization in a more rigorous and systematic fashion.
• 이론/개념틀 안에서 연구 진행. 결과 해석에 이론 활용
  Embed our research studies in a theoretical or conceptual framework, and utilize theory in the interpretation of our results.
• 의학 외 분야와 협력
  Collaborate with colleagues within and outside medicine.

HITCHCOCK, M.A., STRITTER, F.T. & BLAND, C.J. (1992) Faculty development in the health professions: conclusions and recommenda-tions, Medical Teacher, 14(4), pp. 295–309. 

A systematic review of faculty development initiatives designed to improve teaching effectiveness in medicaleducation: BEME Guide No. 8.

의학교육에서 비디오의 효과적 활용을 위한 열두가지 팁(Med Teach, 2015)

Twelve tips for the effective use of videos in medical education

Chaoyan Dong & Poh Sun Goh

스탠포드 의과대학은 Khan Academy와 함께 핵심 교육과정을 짧은 비디오 클립을 활용한 거꾸로 교실 모델로 만들었다. 최근 몇 년간 Medtube 와 UndergroundMed는 기본적 내용과 임상역량의 도입 수업을 담당했고, 심지어 YouTube 비디오도 의료전문직 교육에 널리 사용되고 있다.

Stanford University School of Medicine has collaborated with the Khan Academy to develop and teach the core curriculum using short video clips in a flipped classroom model (Prober & Khan 2013). Medtube and UndergroundMed have been covering basic content and clinical competencies for introductory classes in recent years, and even YouTube videos have been widely used in health professions education.

많은 학생들이 이미 강의를 건너뛰고 독자적으로 디지털 형식의 온라인 교육자료에 접근하고 있다. 이상적으로는 교육이론과 최고의 교육실천법으로부터 비디오 활용을 이끌어가야 한다. 교육에서 효과적인 테크놀로지의 활용에 대한 연구를 보면 교육자들은 내용전문가가 되어야 할 뿐만 아니라 내용 전달을 위한 테크놀로지 활용에 대한 실제적 이해도 함께 가지고 있어야 한다. 또한 특정 교육형식을 사용하는 것과 관련하여 교수-학습에 관련한 교육학 지식도 필요하다.

Many students already skip lectures and solely access educational materials online in digital format (Billings-Gagliardi & Mazor 2007; Kircher et al. 2010; Traphagan et al. 2010). Ideally, educational theories and best practices should guide the use of videos. Research on the effective use of technology in education shows that instructors need to be not only subject matter experts, but also have an empirical understanding of the technology to be used to deliver the content, as well as the teaching and learning pedagogy underpinning the use of a particular instructional format (Harris et al. 2009; Roblyer & Doering 2012).

비디오 활용의 교육적 장점

Ti p 1 The pedagogical advantages of using videos

비디오는 디지털 세대인 요즘 학생의 니즈에 잘 맞는다.

Video use meets the needs of the current digital generation of students (Prensky 2001; Prober & Khan 2013). 

비디오를 용함으로써 더 많은 숫자의 학생에게 물리적/지리적 한계 없이 내용을 전달할 수 있다. 거꾸로교실 FLCL 상황에서 학생은 비디오 형식으로 된 강의를 각자 알아서 보고, 수업시간을 보다 학생-중심 활동으로 활용할 수 있다. 그렇게 함으로써 교수자의 역할은 '강의자'에서 '촉진자'로 변화하게 된다.

Video presentations allow teaching to be scaled up to a large population of students without physical or geograph- ical limitations. In a flipped classroom situation, students can review lectures in video format on their own, and spend class time on more student-centered activities such as interaction with peers and instructors (Baker 2011). By doing so, a teachers’ role changes from that of lecturer to facilitator.

사람이 직접 할 때는 그 형태가 다양해질 수 있으나 비디오를 통하면 의학적 절차 역시 표준화된 형태로 전달할 수 있다. 비디오는 실제 임상 시나리오를 활용함으로써 호기심을 자극하고 학생의 관심을 끌 수 있다. 또한 authentic learning을 촉진할 수 있다. 비디오는 지식의 닻(anchor)로서 역할할 수 있으며, 이를 중심으로 학생이 더 탐구하고, 질문을 던지고, 학습활동에 깊이 참여할 수 있다.

Medical procedures can be demonstrated in a standardized manner to avoid inconsistencies between different live human demonstrators (Bellini & Akullian 2007; van Det et al. 2011). Videos also stimulate curiosity and engage students’ attention by situating them in realistic clinical scenarios, and promoting authentic learning (Graham & Johnson 2011). Videos also serve as knowledge anchors, around which students can explore, ask questions, and deepen involvement in a learning activity (CTGV 1990).

대상 학생이 누군지 결정하기

Ti p 3 Identify who the target students are

의학교육의 테크놀로지와 관련된 이전 연구는 교육내용을 설계하는데 있어서 학생 집단을 이해하는 것이 중요함을 강조한다. 교육 내용과 관련한 대상 학생의 사전 지식을 이해하고, 테크놀로지 관련 스킬을 이해하고, 비디오 활용과 관련한 태도와 동기부여에 대해 이해해야 한다.

Prior research on technology in medical education highlights the importance of understanding the student cohort in designing educational content (Ruiz et al. 2006; Cook et al. 2008). It is important to get a thorough understanding of the target students’ prior knowledge in the content area, skills in technology, as well as attitudes and motivation regarding the use of videos. 

반대로, 비디오 활용에 대한 부정적 태도는 학습에 안 좋은 영향을 미칠 수도 있다.

Otherwise, negative attitudes toward video use may have a deleterious effect on their learning (Davis 1989; Reisslein et al. 2005).

학생들을 비디오 교육에 적응(Orient)시키기

Ti p 4 Orient students to the video content

학생들이 비디오를 통해서 무엇을 보게 될 것인지에 대해 준비시키는 것이 중요하다. 비디오를 시청하기에 앞서서 질문을 던지거나 토론을 하게 하는 것이 학생들이 비디오에서 얻을 정보를 처리하는데 있어 인지적 토대를 마련하게 해줄 것이다.

It is important to prepare students for what they are about to see in the video. Questions or discussions before viewing thevideo help to build the cognitive foundation for studentsto process the information (O’Neill & Wyness 2005).

그러나 중간중간 잠시 멈추면서 질문 등을 통해서 학생들이 참여하게 하는 것이 더 참여를 촉진할 수도 있다.

However, intermittent pauses to invite participation such as answering questions can promote deeper engagement.

A balance between passive and active viewing with embedded questions or quizzes should be sought. Passive viewing of video is like information transmission to students, which is often not particularly effective in deepening understanding of difficult theoretical or abstract topics or promoting critical thinking (The Nielsen Company 2013). Interactive elements can facilitate learning of these topics.

컴퓨터 프로그램들도 있다.

Computer programs allow teachers to embed different formats of questions and tests within videos, such as 

• YouTube, 
• Adobe Presenter (http://www.adobe.com/ products/presenter.html), 
• Camtasia Studio (http://www.techs- mith.com/camtasia.html), 
• Adobe Captivate (http://www.ado- be.com/products/captivate.html), 
• Articulate Storyline (https:// en-uk.articulate.com/products/storyline-overview.php), 
• Lectora Inspire (http://lectora.com/e-learning-software/), 
• Windows Movie Maker (http://windows.microsoft.com/en- us/windows-live/movie-maker#t1¼overview),and 
• Raptivity (http://www.raptivity.com/). 

They also make it possible for students to bookmark, annotate, search for certain points, fast- forward, playback, or pause the video, and view it as many times based on their own needs.

파워포인트 슬라이드, 교수자 사진, 자막/대본 등과 통합하라

Ti p 7 Integrate PowerPoint slides, lecturer’s image, on-screen captions, and transcript

비디오는 글자와 이미지로 정보를 전달하고, 뇌의 서로 다른 영역에서 처리된다. 글자는 화면에 띄우거나 오디오로 제공할 수 있으며, 정지된 이미지는 파워포인트로, 움직이는 이미지는 애니메이션으로 전달 가능하다.

Video utilizes words and images to deliver information, with each being processed in different parts of brain (Mayer & Moreno 2003). Words can be presented as on-screen text or narrated audio. Images may be static such as PowerPoint slides or dynamic as animations or moving images. The multiple formats of information presentation serve students’ prefer- ences for either auditory, visual or verbal channels of learning (Mayer 2001).

– PPT 슬라이드: 널리 사용됨. 효과도 증명됨. 스크린 캡쳐 도구들 PowerPoint slides. PowerPoint slides are widely used during lectures to highlight key points, and their impact on learning has been validated (Blalock & Montgomery 2005; Nouri & Shahid 2005). Screen capture tools such as 

• Camtasia (http://www.techsmith.com/camtasia.html) and 
• Adobe Presenter (http://www.adobe.com/products/pre- senter.html) 

have been used widely to capture PowerPoint presentations and lectures.

– 교수자의 존재 여부: 교수자의 존재 여부와 관련하여 합치된 의견은 없다. 우리의 경험과 Khan Academy 비디오 리뷰에 따르면, 일반적인 방식은 교수자가 비디오의 시작 부분에만 나오는 것이다. 교수자의 얼굴을 보는 것이 학생으로 하여금 학생-교수간 거리를 더 가깝게 느끼게 하고, 실제 교실과 비슷한 환경에서 있는 것처럼 느끼게 한다. 강의의 단조로움을 탈피하기 위해서는 교수자의 얼굴을 몇 차례 보여주는 것이 도움이 된다. 그러나 교수자의 얼굴이 모든 강의 내내 등장한다면, 학생의 집중력을 발표(교육)내용에서 흐트러뜨릴 수 있다. 또한 교수자도 전문가적인 페르소나를 유지하기 위해서 노력해야 한다.

Presence of lecturers. There is no agreement regarding whether the instructor should be seen in educational video (Prober & Khan 2013). Based on our experience and review of videos by Khan Academy (https:// www.khanacademy.org/), the common practice is that the lecturer appears at the beginning of the video. We speculate that seeing the lecturer’s face helps to reduce the distance between students and the lecturer, and to situate students in a simulated classroom environment. To break the monotony of lecture, it is helpful to show the lecturer’s face a few times. However, if the lecturer’s face is displayed during the whole lecture, it can distract students from focusing on the presentation. In addition, the presenter should strive to maintain a professional persona.

– 자막: 자막을 활용하는 것은 다양한데, 다음을 권장한다. 만약 비디오가 삽관과 같은 어떤 절차(procedure)에 대한 것이라면 자막이 핵심 단계를 강조하는데 유용하다. 만약 비디오가 대화 상황을 보여주는 것이라면, 자막은 필요하지 않으나 핵심적인 부분을 마지막 부분에 언급할 수 있다. 만약 비디오가 강의를 녹화한 것이라면 강의의 대본이나 lecture note가 온라인에서 접근가능한 것이 좋다.

 On-screen text. The use of text in video varies, a topic widely studied in the area of multimedia learning (Mayer 2001; Kalyuga et al. 2004). Based on a review of these studies and our experience using educational videos, we recommend the following guidelines. If the video dem- onstrates a procedure, for example, how to perform intubation, captions are useful to highlight the key steps. If the video narrates, for example, showing an inter- professional clinical scenario, captions are not necessary, however key commentary points should be presented at the end of the video. If the video is a record of a lecture, the transcript of the lecture or lecture notes should be made available online.

인지 과부하를 주의하라

Ti p 8 Avoid cognitive overloading

문자와 이미지는 뇌에서 서로 다른 channel에서 처리된다. 그러나 각 채널은 한정된 정보만 처리할 수 있다. 인지적 용량을 초과하는 정보가 제공되면 인지과부하가 생기고 학습에 안 좋은 영향을 미칠 수 있다. 인지과부하를 방지하기 위해서는 verbal and video channel의 동시적 활동이 통합되어야 한다. 비디오의 구조는 학생이 학습한 내용을 인지구조에 조직화시키고, 관련된 사전 지식과 통합하며, 정보를 새로운 상황에 적용하여 문제를 해결할 수 있는 능력을 길러줘야 한다.

Text and images in video are processed separately in verbal and visual channels in our brain (Sweller 1988; Mayer 2001). However, each channel can only process a certain amount of information because of our limited working memory capacity (Miller 1956; Sweller 1988, 1999; Mayer 2001). When the information presented exceeds our cognitive capacity, this results in cognitive overload, which has been shown to have a detrimental impact on learning (Mayer & Moreno 2003). To avoid cognitive overloading, concurrent activities in both channels should be integrated (Clark 2007; van Merrie¨nboer 1997). The structure of the video should facilitate students’ ability to organize content into a coherent cognitive structure, to integrate it with relevant prior knowledge, and to apply the information in new situations to solve problems (Elman et al. 1997; Quartz & Sejnowski 1997).

비디오 제작에 학생을 참여시키기

Ti p 9 Engage students in the video production

Engaging students in video production is a student-centered activity that enhances content learning and improves student digital literacy (O’Neill & Wyness 2005). Students can be involved in selecting the content of the video and the most effective way to deliver the content. This approach is called learning by teaching, which has been used widely in profes- sional education (Moore 1973).

Review of existing work on this topic suggests the following guidelines. 

• 첫째, 비디오는 교수자의 교육적 목표 달성을 보완할 수 있어야 한다. 
  First, the video should complement your instructional objectives. 
• 둘째, 비디오의 출처(교수자, 기관, 내용)가 신뢰할 수 있는 것이어야 한다. Second, the video should come from credible sources. To evaluate this you should ask: Is the author an authority on this topic? What are the author’s credentials related to this topic? In which institution does he or she work? Does the author have peer reviewed publications on this topic? Is the information current and accurate? 
• 셋째, 비디오의 품질이 준수해야 한다. 출처가 신뢰할 수 있다고 해서 품질이 우수한 것은 아니다. 좋은 품질의 이미지, 오디오, 텍스트를 갖춰야 한다. 비디오는 접근이 용이해야 한다.
  Third, the videos should have profes- sional quality. Credible sources do not necessarily correlate with high quality videos. Professional quality videos contain high quality images, audio, and text. The video should be easy to access. 
• 넷째, 저작권을 위반해서는 안된다. 
  Fourth, using these videos should not violate potential copyright issues. You should find out your institu- tional policies regarding use of online videos.

각자 비디오를 만들 때 필요한 기술적 요소들

Ti p 12 Pay attention to technical requirements when producing your own video

– 촬영 Shooting. Advanced video technology does not necessar- ily make it easier to produce a professional quality video. Do you have the skills and equipment to shoot the video? Will you hire a professional videographer? What is your budget and the timeframe involved? 

– 대본 Scripting. A script should be written with two columns, one representing the narration and the other indicating the video shots. A storyboard uses pictures to represent the shots. The script should indicate the framing and camera movements for each shot. 

– 장소 Location. A sound-proof location is generally required to filmthe video. It is often better to filmin a lecturer’s office than classroom or lecture hall. The background should be kept minimalistic so as not to distract the audience. 

– 편집 Editing. Do you have the skills and software to edit the video footage? What are the costs and timeframe involved? A few video editing programs to consider are: Jing (http://www.techsmith.com/jing.html), JayCuy (http://jaycut.com/), Tellagami (https://tellagami.com/), Plotagon (https://plotagon.com/), and GoAnimate (http://goanimate.com/). 

– 형식 Format. Will the video be compressed for online viewing? PCs and Macs have different video and software compatibility requirements, so it is important that the video plays on any type of computer. 

– 호스팅 Hosting. Cloud-hosted and self-hosted are two hosting options. For cloud hosting, there are free platforms like YouTube or fee-based ones such as Amazon cloud video hosting. Using free hosting platforms like YouTube can raise ethical issues because the video content is available to anyone with Internet access. This is an issue when the video is related to patient care. However, YouTube does give you the option to control access to your own channels. Many institutions use a password-protected online platform to host videos. For self hosting, you do have more control over the hosted content. However, institutional platforms normally do not offer unlimited server space. Compressed videos should be used if this is the case. 

– 피어리뷰 Peer review. Get another subject matter expert to review your video before publishing online.

Prober CG, Khan S. 2013. Medical education reimagined: A call to action.Acad Med 88(10):1407–1410. 

Twelve tips for the effective use of videos in medical education.

성인학습이론과 의학교육: 리뷰 (Malta Med J, 2009)

Adult learning theories and medical education: a review

Jürgen Abela

Introduction

과거에는 해당 주제를 아주 잘 알면 그것을 가르칠 수 있다는 생각이 있었다. 그러나 의료행위의 복잡성으로 인해서 UME와 PGME에서 그 복잡성을 적절히 다룰 수 있는 교육전략이 필요하게 되었다. 실제로 교수들에게 교육 기술을 가르치는 것은 더 나은 학습성과로 나타난다.

In the past, there has been an assumption that if a person knows very well the subject, then, he will be able to teach it. However the complexity involved in practising medicine must be tackled with appropriate educational strategies in the training and education of undergraduate and postgraduate students. In fact, training teachers in educational techniques translates in better student learning outcomes.1

성인학습이론

Adult learning theories

대부분의 교육이 이뤄지는 의학의 맥락에는 '성인'이 포함되며, 따라서 성인학습이론에 초점을 맞추는 것이 논리적이다. 여기에는 도구적 학습, 자기주도 학습....등등이 포함된다. 이 중에서 자기주도학습은 학습자 개개인에 초점을 맞추며, 자기주도 이론은 성인학습에 초점을 둔다.

Given that in the medical context most education involves adults, it is logical to focus on adult learning theories. There are many adult learning theories, which can be grouped into five main classes. These include Instrumental learning, self-directed learning, experiential learning, perspective transformation and situated cognition.2 Of these, self-directed learning particularly focuses on the individual learner as primary focus. Prominent amongst these self-directed theories is andragogy.

'성인학습'이라는 용어는 1833년 Alexander Kapp에 의해서 그리스 철하자 플라토의 이론을 설명하기 위해 처음 사용되었다. 그는 continuing education에서 성인이 참여하게되는 일반적 과정을 표현하고자 했다. 20세기에 존 듀이, 에듀어드 린데만, 마타 앤더슨 등은 성인학습이론을 추구하였으나 미국에서는 대체로 관심을 받지 못했다. 1980년대에 상황이 변하면서 Malcolm Knowles가 지지하면서 개념을 더 정교화했다.

The term andragogy (andra – meaning “man”; agogos – meaning “learning”) was first used by Alexander Kapp in 1833 to describe the educational theory of the Greek philosopher Plato. He used it to refer to the normal process by which adults engage in continuing education. In the 20th century, various respected intellectuals, such as John Dewey, Eduard Lindeman, and Martha Anderson pursued theories of andragogy, but were largely ignored in the US. Things changes in the 1980’s, with the work of Malcolm Knowles who championed this theory and further elaborated the concept.3

성인학습은 성인에 대해서 다음을 가정한다.

Andragogy assumes that adults: 

• are independent and self directing, 

• have (various degrees of) experience 

• integrate learning to the demand of their everyday life 

• are more interested in immediate problem centred approaches and 

• are motivated more by internal than external drives.

다른 특징은 성인학습환경과 관련되었는데, 이는 교수자와 학습자의 상호존중, 그리고 학습자간의 상호존중이 중요하다. 존중은 안전한 학습환경의 촉매이기에 중요하다.

Another characteristic deemed to be relevant to adult learning environments, is the importance of mutual respect between teacher and learner and also amongst the learners themselves. Respect is important since it is a catalyst for a safe educational environment.4

안타깝게도, 성찰(reflection)은 성인학습의 중요한 요소임에도 Knowles의 성인학습 개념에서 배제되어 있다. 사실 '성찰'은 Kolb의 학습사이클에서 네 단계 중 두 번째 단계이다. 이에 더하여 성찰은 성인학습과 아동학습의 중요한 차이점이다. 또한 성찰은 성인학습에서 학습동기를 향상시키는 역할을 한다.

Unfortunately, reflection is left out of Knowles’ concept of adult learning, despite being an important component of adult learning skills.5,6 In fact, reflection is the second of the four steps in Kolb’s Learning Cycle.7 In addition, the importance of reflection can be appreciated even more when one considers it to be an important difference between adult learning (andragogy) and child learning (pedagogy) theories. Finally, reflection can be seen to enhance adult learning by increasing motivation to learn.8

동기부여는 성인학습을 쌓아나가는 또 다른 중요한 기둥이다. 동기부여에 대한 이론 중에는 두 가지 주요 그룹이 있다.

Motivation is another important pillar on which adult learning is built. There are two major groups of theories describing motivation: 

• 내용 이론: 무엇이 사람들에게 동기를 부여하는가  content theories: these describe what motivates people, and 

• 절차 이론: 어떻게 사람들이 동기부여되는가 process theories: these describe how people are motivated.9

내용 이론중 가장 유명한 것 중 하나는 Maslow의 욕구위계이론이다.

One of the most popular of the content theories is Maslow’s Hierarchy of Needs.10

However, Maslow’s model may be seen to be too rigid. In addition, an individual may be satisfied and unsatisfied with various needs simultaneously throughout his learning trajectory. It can thus be seen to be inadequate. A more appealing content theory is the one put forward by Clayton Alderfer, who describes and summarises motivation in three needs, ERG:9 

• 존재 Existence – this is more or less equivalent to Maslow’s safety and physical well being steps 

• 관계 Relatedness – stresses the importance of interpersonal and social relationships 

• 성장 Growth – intrinsic individual desire for personal growth

Process theories of motivation, on the other hand, are based on the idea that certain behaviours are produced by particular stimuli. One such theory is the Expectancy Theory which states that motivation depends on two perceptions:11 

1. 성과가 기대한 보상을 가져올 것이다.

2. 요구되는 행동을 수행할 능력이 그 사람 안에 있다.

1. an expectation that an outcome will bring the desired rewards 

2. the required performance is within the capability of the person.

성인학습에서 Knowles는 성인학습자는 본질적으로 내적동기를 부여한다고 기술했다. 그는 외적동기를 기술하지 않았으며, 특히 주된 동기부여의 원천으로 교사의 역할을 기술하지 않았다. 실제로 Peyton은 대부분의 성인학습자가 효과적인 학습을 하기 위해서는 교사에 의해서 부여되는 동기가 필요하다고 지적했다.

In andragogy, Knowles states that adult learners are self (intrinsically) motivated.3 He fails to mention extrinsic motivation and especially, the role of the teacher as major source of motivation. In fact, as Peyton9 points out, most adult learners require the motivation provided by teachers for effective learning to take place.

모든 성인학습이 동등하게 내적동기부여가 되는 것은 아니며, 이는 성인학습이론이 동기부여에 관해서는 부적절할 수 있음을 보여준다. 실제로 교수-주도 학습에서 학생-주도 학습까지 다양한 학습전략을 혼합할 필요가 있다. 이는 학습자와 교수자의 스타일이 맞춰져야 할 필요를 시사한다.

Not all adult learners are equally intrinsically motivated, and this further highlights the inadequacy of andragogy with respect to motivation. In fact, there necessarily arises the need of a mix of learning strategies, ranging from teacher-directed to student-directed learning.13 This implies that there needs to be a “match” (Figure 2) between the learner and the teaching styles used.14

분명히, 이는 교사가 어느 정도는 유연해야 함을 시사한다. 그러한 역학관계에 도달하기 위해 가장 중요한 것은 학생의 요구를 사정하는 것이며, 요구사정이 없는 교육은 진단 없는 치료와 다를 바 없다.

Certainly, this involves an amount of flexibility on the part of the teacher. The most important step to clinch such dynamic relationship is to carry out a needs-assessment of the student/ trainees involved. Without such needs assessment, teaching would be tantamount to treatment without a diagnosis.

예컨대 첫 번째 임상실습에서 학생은 교사가 어떻게 병력을 청취하는지를 봐야 하며, 이후 몇 년이 지나며 검진 기술에 대한 학습전략을 거쳐 몇달이 더 지나면 감별진단과 치료까지 논의할 수 있게 된다.

For example, whereas in the first clinical attachments, students would be dependent on the teacher to show them how to take a history, during the subsequent years, the learning strategies should deal with examination skills, going on further along the months to discussing the differential diagnosis and treatment of the patient’s symptoms.

이러한 역동적 과정은 다양한 도구를 통해 가능하다

This dynamic process can be successfully achieved with a variety of tools: 

• Reflective diary/practice – this will stimulate reflection and facilitate in-depth search on certain topics in addition to allowing for personal development.

• The relevance of what is being taught to medical practice should always act as a background for any discussion on topics.

• Use of the trainees’ experiences to discuss issues in practice, especially at postgraduate level. 

• Small group work on abstract or “difficult” concepts e.g. end of life. 

• Problem based learning. 

• Open discussions on “hot topics” such as medico-legal litigation.

Given that andragogy fails to adequately address reflection and motivation, Mezirow’s concept of Transformative Learning seems more appropriate.12 Crucial to this theory are the structures and mechanisms through which adults assimilate and understand their experiences. Transformative learning aims to effect change in established reference points used by the adult learner. These so called frames of reference are the meaning which people give to experiences and the structures used to arrive to such meaning. It is thus clear that these frames of reference are a reflection of the genetic make-up and cultural assimilation of the particular adult. These frames of reference can be transformed through a variety of ways, but primarily can be changed by critically reflecting on the assumptions which make up each frame of reference.

성인학습에서 교사가 동기부여의 역할을 한다는 점에서, 전환학습은 교사가 학습자에게 질문을 던지고, 자신과 타인의 assumption에 대해 성찰하는 것을 촉진해야 함을 강조한다. critical incident analysis, small group work 등의 방법이 있다.

In line with the motivating role of the teacher in adult learning, Transformative Learning stresses the importance of the teacher in facilitating learners to question and reflect on their own and others’ assumptions.12 Methods that may be particularly useful in this situation include critical incident analysis, small group work to formulate ideas on particular topics and reflective practice.

이러한 생각은 "The Inner Apprentice."와도 유사하다. Neighbour 가 1992년 주장한 이 개념은, 피훈련자의 학습과정을 묘사한다. Neighbour 는 The Inner Apprentice 라는 용어를 통해서 "정확한 정보가 정확한 장소에 정확한 시점에 제공될 때, 본질적으로 자기-교육 의 성격을 가지는 무의식적 학습기전"이라 설명했다. 우호적인 학습환경이 있다면 inner apprentice(피훈련자)는 kairos라는 단계를 거치면서 cognitive dissonance 에서 cognitive resonance로 나아가며 지식을 습득한다. 그리스어로 Kairos란 행동의 적절한 시점을 말하며, "Kairos"의 기간에 피훈련자는 가장 명확하게 문제의 핵심을 인식할 수 있고, 변화하는 정보를 가장 잘 받아들인다. mutative information은 FOR의 변화를 일으키고, cognitive resonance에 도달하게 한다.

It is very similar to and indeed complements the idea of The Inner Apprentice.16 This concept was put forward by Neighbour in 1992, to describe the learning process of trainees. Neighbour put forward this concept to highlight what he called The Inner Apprentice i.e. the unconscious learning mechanism that is intrinsically self-educating, provided the right information is provided in the right place and at the right time. Given such favourable learning climate, the inner apprentice (trainee) acquires knowledge (learns) by moving from cognitive dissonance to cognitive resonance through stages of “kairos.” Kairos in Greek means the right time of action, and by analogy, during points of “kairos” the trainee can most clearly recognise the nub of the issue and is most receptive to mutative information. This mutative information eventually leads to changes in the frames of reference to achieve cognitive resonance.

성인학습 이론을 살펴나갈 때, 그것이 의미하는 바가 무엇인지에 대해 길을 잃을 수 있다. 즉 성인학습을 촉진하고 효과적인 교육을 촉진하는 것이 무슨 의미인지 하는 것이다. 다른 말로는, 의학 영역에서 이는 의학역량의 성취를 말한다. 실제로 의학역량을 달성하는 것은 의학교육 상황에서 궁극적 동기부여요인이 되어야 한다. 이는 많은 경우 당연한 것으로 여겨지지만 실제로 의학교육에서 많은 경우 역량달성에 실패한다. 의학역량은 다음과 같이 정의된다.

Going through the theories of adult learning, one runs the risk of losing track of what they stand for – to enhance adult learning and facilitate effective teaching. In other words, in the medical field, this means the achievement of medical competence, whatever speciality, by the trainee. Indeed, achieving medical competence should be (and usually is) one of the ultimate motivations of any medical educational setup. This statement is many times taken for granted, but medical education, may at times actually lead to incompetence.17 Medical competence can be defined as: 

“The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values and reflection in daily practice for the benefit of the individual and the community being served.”18

의학교육이 지식/술기/태도의 상호연관된 영역에 기반하고 있을 때 이는 이론적 개념을 실천할 때 타당하고 효과적인 적용이 필요함을 의미한다. 지식은 이렇게 정의된다.

This implies that there needs to be a sound and effective application in practice of theoretical concepts, using the fact that medical education is based on three interrelated domains, which are knowledge, skills and attitudes.19 Knowledge can be defined as: 

지식이란: “…a background of facts and interactions between facts that should lead to an understanding of the material being learned”20

이 분류를 통해서 지식의 다양한 측면을 설명할 수 있다.

Through this categorisation, various aspects of knowledge can be addressed accordingly, though 

• 4영역: 다루기 어려움 area 4 (The Unknown area) is not amenable to modification. 
• 2영역: Blind Spot Thus area 2, is called the Blind Spot since it refers to knowledge not known to the trainee. This can be addressed through didactic-interactive type lecturing, where new information is provided. 
• 3영역: Facade Area Area 3 is called the Facade Area, and refers to what the person knows about himself which the rest of the people do not know. This can be tackled using discussions and small group work. 

Teaching of both areas 2 and 3, and possibly area 4 is augmented with reflective practice.

Skill은 마치 만병통치약처럼 여겨져왔다. 최근까지도 "시행하는 것을 한번 보고, 한번 직접 해보고, 다. 른 사람에게 한번 가르쳐 보라" 라는 말이 사용되었다. 이 방법은 skill의 다양한 측면, 예를 들면 무언가 잘 못 되었거나 부작용이 생겼을 때에 대한 추가적 탐색을 제한시킨다. 이에 더하여 의사소통과 같은 어떤 skill 은 이러한 형식에 들어맞지 않는다.

Skills are very much the panacea of medical institutions.Until recently the adage used to be “see one, do one, teach one.” This method fosters a sense of competition and pride in the medical profession but at the same time creates undue tension in the learner and also may inhibit exploration of various aspects of the studied skill for example when things go wrongs or possible complications which arise during or after the particular procedure. In addition, certain skills such as communication skills do not lend themselves readily to this format.

George와 Doto는 흥미로운 스킬-교육 프레임워크를 제시했다.

George & Doto offer an interesting skill-teaching framework:22 

1. 개요: 왜 이 스킬이 필요하며 어떻게 관련이 되는가. 스킬의 기본 개념 Overview: introduction to why the skill is needed and its relevance in the area of practice of the learner. Basic concepts on the skill. 

2. 코멘트 없이 보여주기 Demonstration without comment: allows the learner to observe a whole picture of required skill. 

3. 코멘트와 함께 보여주기(분절해서, 한 번에 다룰 수 있는 분량씩) Demonstration with comment: allows fragmentation of the skill into more manageable portions. 

4. 학습자가 skill을 구두 시연하기 Verbalisation: learner talks through the skill. 

5. 학습자가 skill을 실제 시연하기 Practice: the learner executes the skill.

마지막 단계에서는 긍정적 피드백과 격려를 해줄 수 있다.

In addition, it is felt that the final stage can be further supplemented by positive feedback and encouragement from the trainer.

George & Doto는 스킬 습득을 방해하는 요인도 기술하였다.

George & Doto go further and describe reasons which may prevent the acquisition of the required skill such as 

• inadequate demonstration/description, 
• imprinting of previous wrong exposures and 
• improper correction.

의학교육의 마지막 영역을 태도이다. 그러나 교육과정에서 적절한 수준의 인정을 받지 못하고 있다. 

The last domain in medical education is attitudes. In guidelines of desired medical conduct the attitudes of the medical professional are highly regarded.23 However, it is generally felt that in medical curricula this aspect is not given its due recognition. Through their own nature, attitudes are difficult to describe, quantify and address. Passing on desirable attitudes seems even more difficult.

Attitudes can be defined as 

“…a learned predisposition to respond in a consistently favourable or unfavourable manner with respect to a given object.”19

'태도'를 교육할 수 있는 다양한 방법이 있다. 적절한 시나리오를 사용할 수 있다.

There are various ways in which attitudes can be addressed. In the undergraduate scenario, certain specialties, more than others, are useful in passing on particular attitudes. General practice and palliative care, for example, through their philosophies of holistic assessment and “total care” respectively, are suitable to pass on attitudes related to managing the patient and family.24,25 

실제로 "의학 수련과정에 완화의료를 포함시키는 것은 완화의료의 질을 향상시킬 뿐만 아니라 의사의 도덕적 수준 향상에도 기여한다"

In fact, “incorporating palliative care into medical training not only improves the quality of palliative care, but also contributes to the moral quality of the doctors being trained.”19

또 다른 방법은 임상환경에서의 OTJT(On the Job Teaching)이다. 지식와 술기 뿐 아니라 다양한 이슈에 대해서 토론할 기회가 된다.

Another relevant way of passing on appropriate attitudes is teaching in the clinical environment (also known as On the Job Teaching - OTJT). Together with providing an opportunity to pass on skills and even knowledge, OTJT offers an opportunity to discuss, albeit briefly, various issues which may crop up from different clinical scenarios.26 Such issues may include ethical questions and dealing with one’s own feelings when faced with a sick patient.

OTJT가 성공적이기 위해서는 교사의 계획과 헌신이 중요하다. 시간의 압박이 있을 경우에는 교육이 어려워질 수 있다.

For a successful OTJT experience, planning and commitment on behalf of the teacher is paramount. In addition, time pressures will certainly make things more difficult for teaching, especially during a busy ward round or outpatient session.

OTJT를 수행하는 다양한 방법이 있다.

There are various methodologies of carrying out OTJT which have been highlighted in a recent systematic review and are summarised in Table 1.27 

모든 상황에서 피드백은 Pendleton's rule을 따라야 하며 학생이나 피훈련자의 지위/평판(standing)을 훼손해서는 안된다.

Feedback, in such situations and indeed in all situations should be given along Pendleton’s’ rules, thereby not undermining the standing of the student or trainee.28

Conclusion

However, the educational cycle is a useful concept for planning teaching activities. It consists of four steps:7 

1. Assessing the needs of the learner 

2. Setting educational objectives 

3. Choosing and using a variety of methods 

4. Assessing that learning occurred.

22. George JH, Doto FX. A simple five-step method for teaching clinical skills. Fam Med. 2001;33:577-8.

Abstract

Adult learning theories describe ways in which adults assimilate knowledge, skills and attitudes. One popular theory is andragogy. This is analysed in detail in this review. The importance of extrinsic motivation and reflective practice in adult learning is highlighted, particularly since andragogy fails to address adequately these issues. Transformative Learning is put forward as an alternative concept. Using the three recognised domains of knowledge, skills and attitudes, ways of applying these theoretical concepts in medical education are subsequently discussed.

교수 스타일: 우리는 지금 어디에 있는가? (New directions for adult and continuing education, 2002)

Teaching Style: Where Are We Now?

Joe E. Heimlich, Emmalou Norland

"교수 스타일"은 종종 서로 다른 것을 표현한다. 교육 방법이나 교육 기술을 표현하기도 하지만 다음의 것도 있다.

Teaching style is a phrase sometimes used to describe different things. Although some authors use it as if it is synonymous with teaching method or technique, most researchers who have defined teaching style refer to style as 

• 교수 행동에 관한 선호, 교육자의 교수행동과 교수신념 사이의 일치 a predilection toward teaching behavior and the congruence between an edu- cator’s teaching behaviors and teaching beliefs (Heimlich and Norland, 1994), 
• 교육 내용이 변하더라도 유지되는 교육활동의 질 a pervasive quality in the educational activities of an educator that persists even when content changes (Fisher and Fisher, 1979), 
• 한 교사에게서 지속적으로 나타나는 특성 the distinct qualities a teacher displays that are persistent (Conti, 1998), or 
• 개인이 정보를 수집하고, 조직하고, 유용한 지식으로 전환하는 방법 the characteristic ways each individual collects, organizes, and transforms information into useful knowledge (Cross, 1979).

'스타일'이란 방법이 아니라, 교수-학습에 전체와 관련된 더 큰 것이다.

Style is not method but something larger that relates to the entire teaching-learning exchange.

어떤 교육사건에서든지 일관되게 나타나는 다양한 요소들이 있다. 이 다섯 개의 요소 teacher, learner, group, con-tent, and environment 가 교수-학습 교환(teaching-learning exchange)의 모델을 구성한다.

In any educational event, several elements are constant: there is an edu-cator who conveys or facilitates the content to each learner and the group of learners within a situation that is both physical and the affective reaction to the physical environment. These five elements—teacher, learner, group, con-tent, and environment—comprise a model of the teaching-learning exchange.

대부분의 교육자들은 모든 학습자들이 학습에 대해 서로 다른 선호와 스타일을 가지고 있으며, 한 학습사건에서 다양한 학습스타일을 만족시킬 수 있는 기술과 전략을 사용하는 것이 중요함을 안다. 그러나 교육현장에서의 교수와 학생 간 상호작용에 대한 스스로의 신념에 대해 성찰해본 사람은 더 적다. 교육자들이 교수-학습에 관한 스스로의 신념과 가치를 아는 것이 중요하나, 그들의 가치와 신념, 철학을 행동과 매칭시키는 것이 더 중요하다. 이러한 일치(match, congruence)가 교수스타일을 이해하는데 중심이 된다.

Most educators understand that all learners have different preferences and styles of learning and believe that it is important to teach using techniques and strategies that will satisfy the variety of learning styles in the learning event (Seaman and Fellenz, 1990). Fewer educators, however, have reflected on their own beliefs regarding the interaction around the educational event between the teacher and the learner that we call the teaching-learning exchange. Although it is impor- tant for educators to know their own beliefs and values regarding learning and teaching, it is more important for them to understand the match between their values and beliefs, or their philosophy, with their behavior in the exchange. This match, or congruence, is the central element of under- standing teaching style (Brookfield, 1990).

교수-학습 상호교환의 합치(congruence)를 통한 학습의 효과가 제시하는 바는, 스타일을 이해함으로써 교수자와 학습자 마음 사이에 상호교환이 더 성공적일 수 있다는 것이다.

The impact on learning through congruence in the teaching-learning exchange suggests that understanding style can enhance the likelihood that the exchange will be successful in both the learners’ and the educators’ minds.

그러나 스타일은 성찰적 실천 혹은 교육 철학과 동일한 것이 아니다. 성찰은 교육자가 자신의 스타일을 점검하는데 중요하지만 교수스타일은 단순히 행동과 관련된 것이 아니기에 그와 다르며, 스타일은 마찬가지로 신념하고만 관련된 것이 아니므로 철학과 다르다. 스타일은 '합치'에 대한 것이다. '합치'를 이루기 위해서 교육자들은 그들의 교육과 학습에 대한 가치를 고려하고, 교수-학습 상호교환에 대한 신념을 점검해야 한다. 그리고나서 이 신념을 실천과 비교하면서 다양한 방식으로 '합치'를 위해 노력할 수 있다.

But style is not the same as reflective practice or philosophy of teaching. Reflection is an important activity when an educator examines his or her style, but teaching style differs fromreflec- tive practice in that it is not just about behaviors, and style is different from philosophy in that it is not just about beliefs. Style is about congruence. To achieve congruence, educators must consider their values about teaching and learning and examine their beliefs regarding each of the elements of the teaching-learning exchange. They must then compare this set of beliefs with their practice and work for congruence in one of several ways.

왜 교수스타일을 공부해야 하는가?

Why Should We Study Teaching Style?

대부분의 성인교육자에 대한 연구에 있어서 우리는 교육자를 평생학습자로 대하지 않고 있다. 성인교육자에 대한 Knowles의 가설부터 Brookfield의 목표까지, 성인교육분야는 '학습자를 이해하기 위해서 무엇이 필요한가'에 대한 특정 측면을 정의했다. 평생학습자에 대한 이해는 성인을 가르치는 사람에 대한 것까지 확장되어야 한다. 모든 성인교육자들이 해야 하고 할 수 있는 것은 스스로에 대해서 공부하는 것이며, 그 결과를 교육에 적용해야 한다.

One major concern is that in much of the study of adult educators, we are not treating the educator as a lifelong learner. From Knowles’s (1980) assumptions to Brookfield’s (1986) goals for adult educators, the field of adult education has defined certain aspects of what is necessary to under- stand learners. The understanding of the lifelong learner should and must extend to ourselves as the teachers of adults. One of the things all adult edu- cators can and should continue to study is themselves—and the application of the resultant understanding to their teaching.

스타일에 대한 연구

The Study of Style

스타일에 대한 연구는 교육자가 가진 신념/가치/태도/근무철학/기술/인격 등으로부터 시작한다. 교육의 합치를 이루기 위해서는 '내가 누구이며 내가 믿는 것은 무엇인가'를 찾아가는 과정을 요구하며 이는 끝나지 않는다. Eble이 말한 바와 같이  '교수 스타일을 습득하는 것은 총체적이며 일생에 걸친 과정이다. 비록 스타일이 스킬과 테크닉의 형태로 나타나더라도 스타일을 개발한다는 것은 그 이상의 것이다'

The study of style starts with what each educator holds: beliefs, values, atti- tudes, working philosophy, skills, and personality. The core of the individ- ual is what makes that individual a unique, potentially powerful educator of adults. Congruence in teaching demands that the personal exploration of “who I am and what I believe” be unending. As Eble (1980) suggests, the acquisition of teaching style “is a whole and lifetime process, and . . . though style may manifest itself in skills and techniques, the development of style involves much more than these” (p. 1).

교육자의 선호가 무엇인지 결정하는 것에는 여러 차원이 관계된다. 대표적인 두 가지 Inclusion과 sensitivity

Many dimensions could be used to determine an educator’s preferences and predilections in teaching. Two used to measure the beliefs about teach- ing are those of 

• inclusion, which can be considered as level of control of the exchange held by the educator, and 
• sensitivity or orientation to the five elements in a continuum of the nonhuman to the most human of consider- ations (Heimlich and Norland, 1994). 

Zinn’s (1983, 1994) Philosophy of Adult Education Inventory provides a measure of the educator’s philosophy regarding decisions and actions the educator holds regarding determination of the purpose and outcomes of the learning activity. Conti’s (1985)

Principles of Adult Learning Scale (PALS) 

Principles of Adult Learning Scale (PALS) compares the frequency of an educator’s practice with the principles described in the adult education lit- erature. Seevers (1991) found that sensitivity and inclusion, followed by number of adult education courses taken and attitude toward being an adult educator, were the best predictors of teaching style as measured by PALS.

교수 스타일을 탐색하는 것은 교육자의 행동을 철학과 매칭시키는 과정을 포함한다. 교수 스타일은 나쁜 교육의 변명이 될 수 없으며, 교실에서의 부적절한 행동, 잘못된 교육법 등의 변명도 될 수 없다. 교수 스타일에 깔린 전제는 비록 '나쁜' 스타일은 없다 하더라도, 교육자의 교육행위 중 안 좋은 것은 있다는 것이다. 스타일을 공부하는 목적은 개개 교육자들이 그들의 신념이 무엇인지 알고 그들의 신념이 그들의 행동과 어떻게 연결되는지를 이해함으로써 학생의 학습기회를 개선하는 것이다. 교수 스타일은 교육자로하여금 스스로의 교육을 살펴볼 수 있는 시작점이 된다.

The exploration of teaching style ultimately involves matching the edu- cator’s behavior with his or her philosophy. Teaching style is not an excuse for bad teaching, inappropriate classroom behaviors, or the use of poorly conducted teaching methods. An underlying premise of teaching style is the understanding that although there are no “bad” styles, there are poor prac- tices by educators. The purpose of studying style is for individual educators to understand better what they believe and how those beliefs can be con- gruent with their teaching behaviors in order to improve the opportunity for learning by students or participants in programs. Teaching style gives educators a starting point for exploring their own teaching.

종종 교육자들은 내용과 학습자에 맞는 교육법을 쓸 것을 요구받는다. 좋은 교육은 언제나 다양한 교육법을 다양한 학습의 지향과 학습 감각에 맞게 사용하는 것이지만, 모든 교육법이 모든 교수 스타일에 다 맞는 것은 아니다. 스타일이 반드시 달라져야 하는 것은 아니며 반드시 그럴 필요도 없다. 어떻게 교육자들이 교수 전략을 선택하고 테크닉을 적용하는가는 교육법에 관한 신념과 가치의 함수이며 교육자의 독특한 신념체계에 따라 변화될 수 있다.

Often, educators are implored to match their methods to the content and the learner (Draves, 1997; Lovell, 1987). Good teaching always involves using a variety of methods to appeal to multiple learning orientations and senses, but all teaching methods are adaptable to every teaching style; style does not necessarily change, nor should it. How educators select their teaching strategies and implement techniques is a func- tion of their beliefs and values regarding the methods and can be modified to fit within the unique belief systemof the educator.

합치를 이루는 방법

Options for Congruence

There are three ways in which educators who are exploring their beliefs and their behaviors can move to congruence: (1) a change of teaching behav- iors, (2) a change of beliefs, or (3) a change in both or neither.

행동을 바꾼다.

Changing Behaviors.

많은 교수자가 학습자가 교육자-학생의 상호교환을 조절해야 하며, 학습과정에 포함되어야 한다고 생각하면서도, 70%의 교육시간은 강의와 같은 발표 형식으로 이뤄진다. 이들 교육자는 학습자의 참여가 높아야 하며, 교육자의 통제가 낮아야 한다는 신념을 가지지만, 강의는 통제수준이 높고 학습자-중심 수준은 낮다. 

The most obvious area for exploration is that of methods used in the exchange. In a study of nonformal adult educators, Heimlich and Meyers (1999) found that a large majority of the educators held beliefs that learners should control the exchange and be involved in the learning process. Yet over 70 percent of instruction time was spent in presentation methods (lec- tures and lectures with visuals). These educators held beliefs that suggested a high degree of inclusion of the learner in the learning event and low con- trol by the educator over the learners, but the high control and low learner orientation of the predetermined lecture, even with questions and answers or visual aids, suggests dissonance between beliefs and behaviors. In prac- tice, the need to “excuse” or “apologize” for teaching in a certain way is often an indicator of dissonance between beliefs and behaviors. Understanding the purposes of different methods and then exploring ways in which the method can better be used to match the beliefs would strengthen the teaching- learning event.

신념과 행동은 완전히 구분되는 것이 아니며, 정서-행동-인지 사이에는 상호작용이 있다.

It is impossible to view beliefs and behavior as fully separate, and it is well understood that there is interaction among affect, behavior, and cog- nition (Eagly and Chaiken, 1993).

신념을 바꾼다.

Changing Beliefs.

신념을 바꾸는 것은 종종 더 어려운 과정이지만, 더 근본적이고 더 오래가는 변화일 수 있다. 많은 성인교육자들은 그들이 배워온 신념체계를 미리 정해진 신념체계인 것처럼 해석한다. 공식교육과정에는 교육자가 가져야 하는 다양한 신념을 제시한다.

The process of changing beliefs is often a more dif- ficult, but perhaps more fundamental and long-lasting, change. Many adult educators have been instructed in a system of beliefs about teaching and learning that they may interpret as suggesting a prescribed series of beliefs. Formal education, too, has laundry lists of suggested beliefs that educators should hold: 

• student centered is better than teacher or content centered; 
• teach to the various learning styles of the students; 
• engage the students in defining learning outcomes or qualities of success; and so on.

학습자-중심을 지향하는 교육자도 서로 완전히 다를 수 있다.

As an illustration, any two educators can be learner centered in dra- matically different ways: 

• an educator can be high control, low sensitivity and still be oriented to the needs of the learner and be correct in the man- ner in which he or she is learner centered. 
• Another educator can involve the learners in defining their learning needs, organizing their learning activi- ties, and guiding the learning process and be no more or less student cen- tered than the other educator.

교육 내용에 대한 교수자의 방식도 다양하다.

The teacher’s orientation toward content also varies widely. Budak (1993) found, for example, that a teacher’s philosophy was not significantly related to training, attitude toward teaching, nature of content, or physical environment but was related to experience and the sta- tus of content held by the teacher.

Rokeach은 신념을 양파껍질에 비유했는데, 더 핵심부로 갈수록 더 변할 가능성이 낮다. 행동의 근간이 되는 핵심 가치는 소수이며, 문화적으로 규정된다. 핵심 신념에서 멀리 떨어진 신념일수록(주변부 peripheral) 상황에 따라 변하기 쉽다. 이들 신념은 경험, 가족, 교육, 상황, 외부 환경에 따라 형성된다.

Rokeach (1968) described beliefs as an onion skin in which the closer to the core the beliefs are held, the less likely they are to change. At the core, he suggests, there are only a few central values on which all behaviors are based and that tend to be culturally bound. The beliefs that lie further from the core are those (derived and peripheral) likely to vary depending on the situation; these beliefs are formed from experiences, family, instruction, sit- uations, and outside influences.

종종 이들 external belief가 공개적으로 천명되는 신념이 되며, 개개인은 그것을 믿어야 한다고 생각하여, Bem은 사람들은 그들 자신이 특정한 행동을 한다고 믿으며, 그 인식에 부합하는 태도를 지속적으로 보고할 것이라고 했다. 성인교육자에게 있어서 이는 기술된 신념이며, 그 직종에 종사하는 사람이 이상적으로 가져야할 것이어서, 교육자가 깊은 곳에 가지고 있는 신념과 반드시 부합하는 것은 아니다.

Sometimes these more external beliefs are professed beliefs and are assumed by an individual as the things they should believe, which Bem (1967) summarizes in his self-perception theory stating that if people perceive themselves to have certain behaviors, they will report consistent attitudes to match that perception. For adult educators, these may be the stated beliefs that echo the ideals of the profession but do not necessarily match the more deeply held beliefs of the educator.

모든 사람은 상반되거나 서로 경쟁하는 신념을 가지고 있으나, 이 신념들도 스스로에 대한 이해에 통합된다.

Contradictory or competing beliefs exist in all people. Yet these con- tradictory beliefs somehow become integrated into an individual’s under- standing of self.

많은 교육자들이 쉽게 빠지는 함정은 교육과 관련한 신념을 더 넓은 차원 - 자신의 삶 - 의 신념과 무관하게 생각하는 것이다. 교육자들이 그들 자신을 자신의 삶에서 떼어놓는 것은 교육의 가장 인간적 특성을 거부하는 것과 같다. 교육자도 하나의 인간으로서 다른 사람과 연결을 통해서 통찰과 지식과 인식과 정서와 기술을 습득한다. 교육자가 자신의 whole self를 교수-학습 상호교환에 더 많이 통합시킬수록 그 상호작용의 초점이 교수자와 교육모델이 아닌 학습과 학습과정에 집중될 수 있다.

The trap for many educators is to explore their beliefs around teaching and learning without placing those beliefs in the context of their larger belief systems—their lives. To suggest that edu- cators are able to separate themselves completely from their life outside the teaching event is to deny the very human nature of teaching. The educator is a human who, by connecting with other humans, is facilitating acquisi- tion of insights, knowledge, awareness, affect, or skills. The more fully the educator is able to integrate his or her whole self into the teaching-learning exchange, the more the focus of the exchange can be on the learning and the learning process rather than the teacher and the methods or models for teaching (Tight, 2000).

행동과 신념을 모두 바꾸거나 모두 바꾸지 않는다.

Changing Both Beliefs and Behaviors or Neither.

If through reflection and consideration, an educator finds that her professed belief sys- tem does not match what she truly believes on a deeper level, and that her behaviors do not match what she thinks she truly believes, she can choose to change both or change neither.

Changing both suggests that an educator has found no clarity in either her current philosophy or behavior. This is not to say that an individual seeking to change both philosophy and behavior is not a good teacher, but that this person has discovered that her beliefs may be inconsistent or inher- ently contradictory and that what she does in a teaching event may not always feel genuine. Seeking change of both beliefs and behavior requires intense critical reflection and a willingness to grow in ways that may be somewhat difficult, at least for a while.

There are, of course, those who may find beliefs or behaviors inconsis- tent or forced but choose to change neither. In some cases, the fear of change or the fear of trying something new can create a barrier to an indi- vidual’s willingness to change. In other situations, an educator may truly believe there is no reason to change. Challenging one’s beliefs or behaviors is what we call growth as educators. Not all educators are prepared for, or willing to work on, growth at all times during their careers.

In any of these situations, the educator will be unlikely to growin con- gruence or as a teacher. In other situations, educators may understand that there is potential for growth, but they do not have the tools, resources, or access to tools and resources to know how to effect change.

Issue

New Directions for Adult and Continuing Education

Special Issue: Contemporary Viewpoints on Teaching Adults Effectively

Volume 2002, Issue 93, pages 17–26, Spring 2002

의학교육에서 자기성찰(reflection) 가르치기 위한 12가지 팁(Med Teach, 2011)

Twelve tips for teaching reflection at all levels of medical education

Louise Aronson

Ti p 1 Define reflection

Critical reflection은 Mezirow는 다음과 같이 묘사했다.

Critical reflection,by contrast, has been described by Mezirow as follows:

어떻게, 그리고 왜 우리의 예상(presupposition)이 우리가 세상을 인식하고 이해하고 느끼는 방법을 제한하는지 비판적으로 인식하는 과정이다. 또한 이러한 이러한 가정(assumption)을 재형성하여 더 수용적이고, 사리분별이 있고, 투과가능하고, 통합적 관점을 만드는 과정이다. 또한 이러한 새로운 이해에 작용하는 의사결정을 내리는 과정이다. 더 수용적이고, 사리분별이 있고, 투과가능하고, 통합적 관점은 성인이 선택할 수만 있다면 선택하는 우월한 관점이며, 왜냐하면 이것이 그들의 경험의 의미를 덛 잘 이해할 수 있게 동기를 부여하기 때문이다.

...the process of becoming critically aware of how and why our presuppositions have come to constrain the way we perceive, understand, and feel about our world; of reformulating these assumptions to permit a more inclusive, discriminating, permeable and integrative perspective; and of making decisions or otherwise acting on these new understandings. More inclusive, discriminating, permeable and integrative perspectives are superior perspectives that adults choose if they can because they are motivated to better understand the meaning of their experience (Mezirow 1990).

단순히 말하자면, 비판적 성찰은 경험을 분석하고, 경험에 대하여 의문을 가지고, 그것을 경험을 재구성하는 평가를 수행하여 학습(성찰적 학습)을 하고 실천을 개선(성찰적 실천)하는 것이다.

Simply put, critical reflection is the process of analyzing, questioning, and reframing an experience in order to make an assessment of it for the purposes of learning (reflective learning) and/or to improve practice (reflective practice).

효과적인 성찰이란, 따라서, 시간과 노력, 의지를 필요로 한다. 행동에 대한 의문을 가져야 하고, 잠재된 신념과 가치에 의문을 가져야 하며, 다양한 관점을 추구하는데 필요하다. 이 트리플-루프 접근법은 단순히 미래의 비슷한 경험에 대한 대안을 찾는 것(싱글-루프), 또는 결과의 이유를 찾는 것(더블-루프)를 넘어서 그 기저에 깔린 개념틀과 힘의 시스템에 대한 의문을 갖는 것이다.

Effective reflection, then, requires time, effort and a willingness to question actions, underlying beliefs and values and to solicit different viewpoints. This ‘‘triple loop’’ approach moves beyond merely seeking an alternate plan for future similar experiences (single loop) or identifying reasons for the outcome (double loop) to also questioning underlying conceptual frameworks and systems of power (Argyris & Scho¨n 1974; Carr & Kemmis 1986).

성찰을 실천하기 위한 학습 목표를 결정하라

Ti p 2 Decide on learning goals for the reflective exercise

성찰을 자극하는 것은 어떤 형태든지 가능하지만, 가장 유용한 것은 학습자로 하여금 "혼란을 주는 딜레마"를 선택하게끔 하는 것이다. 즉, 이 전의 문제해결전략으로는 해결되지 않는 상황을 말한다. 이와 같은 딜레마는 다음과 같은 상황에서 발생한다 (1) 충분한 지식과 기술을 갖추지 않은 상황 (2) 잘 진행되었지만, 왜 그렇게 잘 되었는지 확신하지 못하는 상황 (3) 복잡하거나 놀라운, 임상적으로 불확실한 상황, (4) 개인적, 전문직적으로 도전을 느끼는 상황

Prompts can take any number of forms but are most useful if they ask the learner to choose a ‘‘disorienting dilemma,’’ i.e. a situation that cannot be resolved using previous problem solving strategies (Mezirow 2000). Such dilemmas generally arise from experiences which such triggered questions or concerns, as: (1) a situation where they did not have the necessary knowledge or skills; (2) a situation that went well but they are not entirely sure why; (3) a complex, surprising, or clinically uncertain situation; or (4) a situation in which they felt personally or professionally challenged (Scho¨n 1983).

성찰을 위한 적절한 교수법을 선택하라

Ti p 3 Choose an appropriate instructional method for the reflection

분명히, oral 성찰은 Schon이 말한 "reflection-in-action" 혹은 Eva와 Regehr가 "self-monitoring"이라고 말한 것에 가장 적합하다. 이는 당황스럽거나 곤란한 상황 중에 일어나는 성찰을 말한다. 의학교육에서 대부분의 성찰은 "reflection-on-action"으로 어떤 사건이 벌어진 이후에 일어나는 것이다. 이러한 유형의 성찰에서는 written 연습과 일부 디지털 기록 미디어가 장점이 될 수 있다.

Certainly, oral reflection is most suitable to what Scho¨n called reflection- in-action and what Eva and Regehr call self-monitoring, reflection that occurs during a surprising or troubling experi- ence (Scho¨n 1983; Eva & Regehr 2008). In medical education, most reflection is reflection-on-action which occurs after the event. For this type of reflection, written exercises and perhaps some of the new digitally recorded media offer multiple advantages.

성찰 자극 상황을 만들기 위해서 구조화된 혹은 비구조화된 접근법을 사용할 것인지 결정하라

Ti p 4 Decide whether you will use a structured or unstructured approach and create a prompt

성찰에 대한 교육이나 가이드 없는 상황에서 대부분의 학습자는 학습이 결여된 일화의 기록물만 생성한다. 이것이 일부 학습자 - 그리고 일부 교육자 - 들이 성찰을 거부하는 이유이며, 대부분의 초보 성찰자가 '무성찰'에서 '비판적 성찰'의 연속체 속에서 낮은 위치에 있음을 감안하면, 더 효과적인 방법은 솔직한 가이드와 피드백을 주는 것이다.

Absent guidance and education about reflection, a majority of learners produce reflections which are largely anecdotes devoid of learning (Wong et al. 1995; Niemi 1997). This may in part be why learners – and some educators – object to reflection. given the low placement of most novice reflectors on the continuum of non-reflection to critical reflection, the more efficient approach is to provide both upfront guidance and feedback.

This can be done by using a structured prompt which makes explicit the compo- nents of critical reflection: 

• discussion of processes and assumptions as well as actions and thoughts; 
• consideration of the role of associated emotions and relevant past experi- ences; 
• solicitation of feedback and review of relevant literature where appropriate; 
• explicit notation of lessons learned; and 
• creation of a plan to improve future behavior and outcomes.

윤리적, 정서적 우려에 대한 계획을 마련하라

Ti p 5 Make a plan for dealing with ethical and emotional concerns

이러한 상황에 대한 가장 적절한 대처는 실용적인 혹은 기관 차원의 가이드라인을 마련하여 개개 교육자가 그 다음에 어떤 일을 해야할지를 조직 차원의 지원이 없는 상태로 개별적으로 결정하지 않아도 되게 해주는 것이다. 가이드라인에는 다음의 것이 포함되어야 한다.

The best way of dealing with such situations is to develop programmatic or institutional guide- lines so individual educators do not have to decide on next steps under trying circumstances and manage the situation without organizational support. Some key considerations in designing guidelines include:

• 작성자의 스트레스 상황: 자기 자신이나 타인에게 위험한 상황인가 아니면 단순히 도움이 필요한 것인가? 도움이 필요한 것이라면 성찰연습을 돕는 교육자가 그 도움을 줄 수 있는가?  In cases of reflector distress: Is the reflector of danger to self or others or merely in need of support? If in need of support, is the educator for the reflection exercise qualified to provide that support and if not, who is? 
• 부적절 행위: 법적 문제가 있는가? 프로페셔널적인 문제라면 이것이 학습 기회가 되는가? 혹은 징계위원회에 회부되어야 하는가? 아니면 둘 다인가? In cases of inappropriate behavior: Is this a legal issue or a professional one? If the latter, is this a learning opportunity or an occasion for referral to a disciplinary body (or both)? 
• 노골적/암시적 비난: 누가 어떻게 팩트를 확인할 것인가?  If accusations have been made, implicitly or explicitly, who will determine the facts of the situation and how?

학습자의 후속 계획을 추적할 메커니즘 만들기

Ti p 6 Create a mechanism to follow up on learners’ plan

성찰이란 반복적인 것이다. 성찰의 목표는 경험으로부터 배우는 것이지만, 무엇을 배웠고, 무엇이 유용했는지를 알기 위해서는 다시 현실에 적용되어야 한다. 구조화된 프롬프트에 따른 것이든, 피드백에 의한 것이든 학습자는 학습-격차를 해소하고 스스로 분석을 통해서 행동-가설을 점검해야 한다. 이상적으로는 성찰자는 개인의 경험 차원을 넘어서서 어떻게 그들의 행동이 해당 주제와 관련이 있는지를 명확히 해야 한다. 만약 그렇게 하지 않으면 교육자 혹은 동료가 피드백 시간에 더 넓은 시야에서 보게 도와줘야 한다.

Reflection is iterative. The goal is to learn from experience, but in order to ascertain whether what was learned was useful, it needs to be applied (Kolb 1984). Either in the reflection itself, perhaps with the help of a structured prompt, or in the feedback, the learner should be encouraged to make a plan to address learning gaps or test out behavioral hypotheses generated by their analysis. Ideally, the reflector will state explicitly the relevance of the topic to their practice beyond the individual described experience. If not, educators and/or peers can help them see the larger issue in the feedback session.

학습에 도움이 되는 환경 조성(면학 분위기 조성)

Ti p 7 Create a conducive learning environment

성찰 연습이 성공하기 위해서는 긍정적인 학습환경을 만들어줘야 하며, authentic context를 사용하고, 성찰을 위한 안전하고 지지적인 환경을 조성해줘야 한다. 성찰연습의 authenticity는 성찰연습이 더 넓은 차원의 교육 프로그램, 그리고 성찰연습을 하는 시점에서 학습자의 니즈와 얼마나 잘 연결되어 있는가와 연관된다. 학습자의 현재 활동을 성찰과 연결시키는 데 있어서 좋은 학습목표는 필요조건이지만 충분조건은 아니다. 예를 들어 수술 술기에 대한 성찰은 외과-로테이션 도중에 일어나는 것이 적절하며, 로테이션이 끝나고 외과 지식에 대한 지필고사 전날에는 덜 유용할 것이다.

To succeed, reflective exercises require the establishment of positive learning climate through the use of an authentic context and creation of a safe and supportive environment for reflection. The authenticity of the exercise depends on how well it is tied into the larger educational program and the individual learners’ needs at the time of the exercise. Good learning objectives are necessary but not sufficient to link reflection to the learners’ current activities. For example, reflecting on surgical skills would be appropriate partway through a surgical rotation but less useful at the conclusion of the rotation on the eve of pen-and-paper test of surgical knowledge.

다른 중요한 환경적 요소

Other critical environmen- tal elements include 

• 충분한 시간 providing enough time for the reflective activity, 
• 그룹토의 집단의 존중과 지지적 치료 insistence upon respectful and supportive treatment of others in group discussions of reflection, 
• 후판단 비뚤림 인정, 자신이 바라는 모습이 아니라 진짜 모습을 드러내는 것 explicitly acknowl- edging hindsight bias and the inclination to present an expected rather than an authentic persona, and 
• 누가 어떤 목적으로 성찰에 접근권한을 가지며 누가 피드백을 주고, 평가는 형성평가인지 총괄평가인지 making clear at the outset who will have access to the reflection and for what purposes, who will provide feedback, and whether assessment will be formative or summative.

성찰을 하라고 시키기 전에 성찰에 대해서 가르치기

Ti p 8 Teach learners about reflection before asking them to do it

• (1) linking past, present, and future experience; 
• (2) integrating cognitive and emotional experience; 
• (3) considering the experience from multiple perspectives; 
• (4) reframing; 
• (5) stating the learning or lessons learned; and 
• (6) planning for future behavior.

The nature of the feedback merits note as well since reflective exercises often serve two purposes: addressing the relevant learning objectives and developing reflective skill. Educators should provide feedback not just on the content of a reflection but on the learner’s reflective skill as well. Often, it will be possible to comment on many different aspects of the reflection. The goal should not be comprehensive feedback but feedback which is challenging rather than overwhelming, aligned with the learning objectives, and educationally useful. Aim for 2–3 key teaching points, one of which addresses the learner’s reflective skill.

성찰을 평가하라

Ti p 10 Assess the reflection

평가는 피드백과 연결될 수도 있고 별개로 이뤄질 수도 있다. 피드백의 목표는 심층학습이다. 평가의 목표는 학습을 포함할 수도 있지만, 학습자가 해당 주제에 대해서 했던 성찰에 대한 평가가 될 수도 있다. 평가는 narrative하게 될 수도 있고, validated and reliable한 점수표에 따를 수도 있다. 

Assessment can be linked to or distinct from feedback. The goal of the feedback is deeper learning. The goal of assessment may include learning but also involves evaluation of the learners’ abilities in the topic areas of the reflection and/or in reflection itself. Assessment can be done in narrative by stating judgments about the learners’ abilities or engage- ment with the exercise or by using validated and reliable scoring rubrics (Learman et al. 2008; Wald et al. 2009).

교육자는 평가가 형성평가가 되는지(학습자의 능력 개발을 목표로 함), 학점 결정/진급여부 결정/CME credit 부여 등의 목적을 가지는 총괄평가가 되는지 결정해야 한다. 일부는 성찰의 목표가 피훈련자의 스킬을 배양하고 그것을 직업이 되었을 때 적용할 수 있게 하는 것이므로 성찰에 대한 평가는 반드시 저부담, 형성평가가 되어야 한다고 한다. 어떤 사람들은 온전히 형성평가인 경우에 복잡한 주제 혹은 부정적 평가에 대한 걱정 없이 프로페셔널한 약점에 초점을 둘 수 있다. 그러나 이러한 주장은 성찰-기술에 대한 평가와 성찰자에 대한 평가를 혼동한 것이다. 여러 자료를 보면 평가가 학습을 유도한다.

Educators must decide whether assessment will be forma- tive, with the exclusive goal of developing learners’ abilities, or summative and used for grading purposes in courses or clerkships, advancement in a training program or certification process, or award of continuing medical education (CME) credit. Some have argued that the goal of reflection is to nurture a skill the trainee or practitioner can apply throughout their career so its assessment should always be low stakes and formative. Others believe an exclusively formative approach encourages focus on complex topics and professional vulnerabilities without fear of negative evaluations. But such arguments confuse evaluation of reflective skill with evaluation of the reflector. Extensive data demonstrate that evaluation drives learning.

성찰연습을 더 넓은 차원의 교육과정의 일부가 되게 하라

Ti p 11 Make this exercise part of a larger curriculum to encourage reflection 

피훈련자에게 있어서 최선의 접근법은 지속적-통합-교육과정으로서, 학습자가 교육과정을 거치면서 성찰기술과 실제 적용 모두에 대한 다양한 이정표를 달성하게끔 하는 것이다. 학생 수준에서 잠재적 궤적은 다음과 같다.

For trainees, the best approach to developing reflective skills may be a longitudinal integrated curriculum with different mileposts in terms of both reflective skills and application contexts as the learner moves through their professional program. At the student level,with for example, one potential trajectory might 

• 비판적 성찰의 요소를 이해 begin understanding the components of critical reflection, 
• 이들 요소를 학습전략/임상관련기술에 적용하는 능력을 시범보여주며, 전임상 시기에 연습할 수 있게 함
  move to demonstrating the ability to apply those components to learning strategies and/or clinically relevant skills which can be practiced in the preclinical years such as leadership or teamwork, then 
• 비판적 성찰을 임상실습과 임상추론에 적용함
  apply critical reflection to clinical practice and clinical reasoning, and 
• 수련기간의 발달에 대해서 마지막으로 비판적으로 성찰함 
  finally critically reflect on their development over the course of the training period.

성찰 교육 과정을 성찰하기

Ti p 12 Reflect on the process of teaching reflection

당신이 가르치는 기술을 실제로 적용하라

Practice the skills you are teaching

피드백을 받을 수 있는 사람을 찾아라. 구조화된 접근법의 피드백 사용한다면, 그 사람으로 하게끔 당신의 성찰에 대해서 코멘트 할 때 그 포멧을 사용하게끔 하라

Identify someone from whom to seek feedback. If you will take a structured approach to feedback, have that person use your format to comment on your reflection.

그리고나서 당신의 성찰연습을 다시 점검하고 더 효과적으로 수정하며, 잠재적 오류를 회피할 수 있게끔 하라.