Curriculum Maps : 교육과정의 구성요소간의 관계를 보여주는 수단

The situational model, 

which emphasises the importance of situation or context in curriculum design

Example of a curriculum map from the students' perspective. 

Each of the boxes representing the elements of design can be broken down into further units

and each new unit can be related to the others 

to illustrate the interlinking of all the components of the curriculum

ABC of learning and teaching in medicine. Curriculum design.

이론에서 실천으로 (From Theory to Practice)

(1) Adult Learning Theory

성인학습 - 다섯 가지 가정 (Andragogy — five assumptions about adult learning)

 - 성인은 독립적이고 스스로 결정을 내린다. 

Adults are independent and self directing

 - 성인에게는 축적된 많은 경험이 있고, 학습에 있어 이것은 풍부한 자원이 된다.

They have accumulated a great deal of experience, which is a rich resource for learning

 - 학습의 가치는 일상생활에서 요구되는 상황과 통합되는 것에 있다.

They value learning that integrates with the demands of their everyday life

 - 과목 중심적인 접근보다는, 즉각적이고 문제 중심적인 접근에 관심을 갖는다.

They are more interested in immediate, problem centred approaches than in subject centred ones

 - 외부적 동력보다 내적 동기에 의해서 학습한다.

They are more motivated to learn by internal drives than by external ones

(2) 자기주도적 학습(Self-directed Learning)

 - 학습자가 가르침과 배움을 구성하는 것의 통제권을 갖는다.

Organising teaching and learning so that learning is within the learners’ control 

 - Philip Candy 

- 100 traits associated with self direction

- ability to be...

methodical and disciplined; 

logical and analytical;

collaborative and interdependent; 

urious, open, creative, and motivated; 

persistent and responsible; confident and competent at learning; 

reflective and self aware.

(3) 자기효능감(Self-Efficacy)

- Albert Bandura : 자기 자신의 대처능력에 대한 판단에 따라 어떤 행동을 할 것인가가 달라진다.

people’s judgments of their own ability to deal with different situations is central to their actions

- 자기효능감이라고 불리는 이와 같은 판단은 정확할 수도 있고 틀릴 수도 있지만 다음의 네 가지 정보에 의해 달라진다. 

중요한 순서대로 나열하면 다음과 같다.

(1) 성과, 성취 : performance attainments, 

(2) 다른 사람 관찰 : observations of other people, 

(3) 언어적 설득 : verbal persuasion, 믿을 만한 사람으로부터 칭찬을 들으면 도움이 된다.

(4) 생리적 상태 : physiological state, 스스로의 불안감이나 초조함을 자신의 약점이 아닌 기대와 흥분으로 재해석 할 수 있어야 한다.

자기효능감 - 교수의 역할 (Self efficacy—roles for the teacher)

 - Modelling or demonstration

 - Setting a clear goal or image of the desired outcome

 - Providing basic knowledge and skills needed as the foundation for the task

 - Providing guided practice with corrective feedback

 - Giving students the opportunity to reflect on their learning

(4) 구성주의(Constructivism)

 - 구성주의

 - 구성주의의 기본 아이디어는, 학습자들은 그들이 원래 알고 있던 지식으로부터 새로운 지식을 "구성"해 나간다는 것이다. 이 이론은 학습자를 "수동적" 대상보다 "능동적" 주체로 본다. 

(5) 반성적 실천(Reflective Practice)

 - 반성적 실천에 대한 이론의 발전에는 주로 Donald Schön가 기여(attributed to)하였다.

 - 그는 전문가가 되기 위한 준비과정동안 얻은 이론적 지식이 실세 상황의 "지저분하고 불확실한(messy, indeterminate) 상황에는 잘 적용되지 않을 수 있다고 하였다. 

 - Schön 은 전문가들이 '자동적으로 수행(행위, 실천, 진료)를 하는 것을 professional “zones of mastery” 라 불렀다. 이것은 areas of competence 라고 할 수 있다.

 - 기대하지 못했던 상황이나 사건이 벌어지면 두 종류의 반성(Reflection)이 일어난다. 

하나는 "reflection in action"이다. (행동 중 반성). 이는 즉각적으로 일어나며 현재와 과거의 경험을 계속적으로, 창의적으로 적용시킴으로서 학습해나가고 발전해나가는 과정이다. 익숙하지 않은 사건이 일어나고 있는 동안에 이뤄지는 논리적 추론 과정이다. 

두 번째는 "reflection on action"이다. (행동 후 반성). 이는 조금의 시간이 지난 후 일어나며, 지난 상황에서 어떤 일이 일어났고(what happened), 그러한 의도치 않은 상황이 일어나게 된 이유는 무엇이고(what may have contributed to the unexpected event), 내가 취한 행동은 적절했는가(whether the actions taken were appropriate), 그리고 미래에 어떠한 영향을 줄 것인가(how this situation may affect future practice)에 대한  사고 과정이다. 

Reflection in action

ABC of Learning and Teaching in Medicine

Applying educational theory in practice.

Learning and Instructional Development Centre at Simon Fraser University, Burnaby, British Columbia, Canada. dkaufman@sfu.ca

Early Fund Raising

• 의학교육의 비용이 치솟는 동안, 1910년 이전의 시기에, Medical School들이 그저 손을 놓고 있었던 것은 아니다. 1910년경 의학교육을 위한 확고한 재정적 기반을 마련하기 위한 움직임이 시작되었고, 비슷하게 미국 스타일의 Medical philanthropy 또한 그 형태를 갖추기 시작하였다.
• Harvard등의 의학교육의 개혁에 앞장섰던 학교들은 fund raising에도 앞장서서 나섰다.
• 비슷하게, U of Penn.도 1877년 개혁과 함께 프로그램을 위한 기부금 모집에 나섰다.
• 1880년대와 1890년대에 일부 학교들은 (1)독지가(philanthropist)들의 도움으로 재정적 위기를 약간씩 완화해 나가기 시작했다.
• 비교적 초기에 재정 지원을 받은 또 다른 학교로 Bellevue Hospital Medical College가 있는데, Andrew Carnegie는 $50,000를 이 학교에 기부했다. Carnegie의 이러한 기부는 Bellevue hospital이 받게 될 다른 기부의 서곡이기도 했다.
• Cornell과 Harvard는 가장 뛰어난 fund-raising의 성공사례를 만들어냈다.
• 1890년대 중반, Harvard Medical School은 이미 그 시설을 넘어설 정도로 커져서 새로운 facility를 절실히 필요로 하는 상황이 되었다. JP Morgan, John D Rockefeller, CP Huntington의 미망인 등이 큰 돈을 기부했는데, 이들은 의학연구의 발전에 크게 감명받았다고 하였으며, 이러한 Harvard에 대한 기부를 통하여 좋은 이미지도 쌓았다.
• Medical School official들의 사업가적 기질은 Fund-raising의 성공에 큰 기여를 했고, 자선가들의 입장에서는 진정으로 의학의 발전을 돕고자 한 면도 있으나, 그들은 대중에게 좋은 이미지를 구축할 수도 있었다. 무엇보다 그들을 악덕 자본가라고 생각했던 대중들로부터 그들의 부나 지위 등을 정당화할 수 있었다. 이들의 기부는 charity 라기보다는 philanthropy였다.
• 초기의 medical philanthropy는 체계적으로 이뤄지지 않았다. 이 시기의 Medical School들은 그들의 필요에 따라서 donor를 찾아 다녔다. 이러한 모습은 자연과학의 fund raising과 비슷했고, 이것은 그들의 '순수의 시대' 였다. 지원은 산발적으로 이뤄졌기 때문에 아직 누구도 그들이 지원을 통해서 연구의 방향을 좌지우지하고자 한다고 생각하지 않았다.
• 1910년 이전의 세대에서 Medical School은 다른 중요한 fund의 source를 찾았는데, 바로 (2)university affiliation이었다.
• 그러나 university affiliation을 맺는다고 해서 의학교육의 재정 문제가 자동으로 해결되는 것은 아니었다. 1910년에 의학교육은 이미 대학이 관여할 수 있는 수준에서 가장 돈이 많이 드는 교육이었다.
• "Medical School이 대학의 숨통을 쥐어짤 수도 있다"
• 그럼에도 1910년 진정한 의미의 University Medical School이 된 Medical School들은 그렇지 않은 Medical School들에 비해서 확실한 재정적 이득을 보고 있었다. 또한 대중들은 각 Medical school의 faculty가 어떻든 이와는 무관하게 그저 Nonuniversity Medical School에 그다지 호의적이지 않았다.
• 1900년대 초반, 높은 수준의 비용으로 인해 independent school이 university school과 더 이상 경쟁하기 힘든 상태가 되었다. Non-University Medical School은 서로 동맹, 연합을 하든지, 아니면 사라지든지 하는 상황이 되었다.
• 그렇지만 1910년 이전에 여전히 재정 지원의 부족은 큰 문제였다는 사실을 다시 한 번 상기할 필요가 있다. 강력한 University Medical School조차도 예외는 아니었다. 불안감은 팽배해 있었다.
• 또한 초기의 medical funding의 특성상 의학교육보다 의학연구에 대한 핸디캡이 더 컸다.
• Medical School들은 건물이나 교육 시설에 대한 자금을 모집하는 데에는 비교적 성공적이었지만, salaries, endowments, 연구시설을 위한 자금 모집은 그렇게 성공적이지 못했다. 또한 연구라는 것 자체가 아직 그렇게 번영한 상태가 아니었다.
• 재정적 한계로 인해서 의학교육의 발전에도 불구하고 academic medicine의 미래는 여전히 불안해 보였다.
• 그럼에도 medical philanthropy가 터져나올 수 있는 여러 요건들은 상당히 발전하고 있었다. 전반적인 교육의 수준이 높아졌으며, elite medical school이 전세계적으로 인정받기 시작했고, 대중들이 이러한 것을 인정하고 있었고, 미국의 전례없는 부의 축적이 진행중이었다. Philanthropist가 늘었고, 대학이 강해졌으며, 공공보건에 대한 관심이 증가했다. 환경은 무르익었고, catalyst만이 필요한 상황이었다.

Chapter 7. Financial Woes

• 19세기 후반의 의학교육자들은 곧 현실적 어려움에 닥치게 되었다. 의학교육에 들어가는 비용이 상당했던 것이다.
• Medical School이 받은 기부금은 $500,000 정도였는데, 반면 신학대학은 $18,000,000 정도였다.
• 의학교육에 드는 비용도 장난이 아니었는데, 의학연구에 드는 비용은 더 컸다.
• Salaries, stipend, lab 운영자금 등등.
• 1910년 상황
• 제대로 된 의학교육 : ~1/2 of Medical Schools
• 제대로 된 의학연구 : <25개 Medical Schools
• 의학교육에 필요한 여러 가지 자원들이 1880년대 중반에 상당히 성장했지만, 자금의 유입만은 의학교육이나 의학연구를 뒷받침 할 만큼 충분하지 않았다.
• 가장 최고 수준의 학교들조차 실험실의 과밀화로 고생하였고, 중간 이하 수준의 학교에서는 더 심하였다.
• 하고자 하는 의지(intent)가 없는 것은 전혀 아니었고, 단지 돈이 제한 요소였을 뿐이다.

The Rising Costs of Medical Edcucation

• 1870년대의 의학교육은 저렴했다.
• 필요한 교수자의 수도 적었고, 공간은 작아도 괜찮았으며, 필요한 기구 및 도구는 거의 없었다.
• 교수법에 있어서 Personalized method가 도입되면서 Medical School에 financial demand가 생겼다. 이러한 종류의 교육은 돈이 많이 드는 일이었다.
• 개혁 초기부터 의학교육에 필요한 비용의 상승은 많은 야심에 찼던 Medical School까지 불안하게 만들고 있었다.
• 1870년대와 1880년대의 비용은 그래도 적은 편이었다. 그러나 이후 해가 지나면서 의학교육에 들어가는 비용은 엄청나게 치솟았다.
• 비용에 대한 Flexner의 계산은 University Medical School이라는 특정한 일부 Medical School에 대한 것이었지만, 사실 다른 방법도 가능했다. 이론적으로 좋은 교육은 'practical school'을 통해서 할 수도 있는 것이었다. 이런 학교들이 필요로 하는 비용은 더 적을 것처럼 보이기도 한다. 하지만 문제는 이렇게 practitioner에 대한 training만 하는 학교들조차 재정적인 부담이 컸다는 사실이다.
• 이렇게 의학교육의 비용이 상승하는 동안에도 수업료(tuition fee)는 그만큼 오르지 않았다. 일반적으로 학교들은 학생 수를 제한해서 personalized instruction이 지켜지고 있는 듯한 인상을 주고자 했다.
• Tuition이 거의 오르지 않았다는 사실은 딜레마를 가중시켰다. 괜찮은 의학교육을 위해 드는 비용은 fee로만 확보할 수 있는 돈보다 세 배는 컸다.
• 1880년대 이후 많은 faculty들이 새로운 시설을 짓고 운영 자금을 대기 위한 펀드를 모집하면서 많은 Medical School의 재정적 상황은 좋아졌다.
• 그렇지만 20세기 초반 Medical School들이 필요로 하는 비용을 대기에는 여전히 한참 부족했다.
• 상위 10개의 학교들조차 그들이 하고자 하는 목표를 이루기에는 자금이 부족했다.
• 자금의 부족은 의학교육자들을 무척 좌절시켰다.
• "할 수 있는 내에서 최선을 다해야 하는 것이 지금 우리의 상황이다"
• 모든 학교가 자금 문제로 고민했던 것은 아니다. Ch4에서 언급한 것처럼 학교별 차이가 상당했다.
• 학교의 열망이 클수록, 그들이 가진 불안감도 더 컸다. 사실상 모든 Tier 1~ Tier 5의 학교가 끊임없이 고민과 좌절에 부딪혔다.
•  1900년대 초에, 심지어 최고의 학교들조차 자금의 부족을 호소했다.
• "만약 적절한 지원이 이뤄지지 않는다면 학교는 점차 퇴보하게 될 것이다"
• Elite Medical School중에서 Columbia의 상황이 가장 좋지 않았다.
• 1903년, school official들은 구체적으로 어떤 것이 필요한지를 언급하였다. 5년 뒤, 새로운 입학 요건이 도입되었지만 자금의 부족으로 실제적으로 어떠한 진전이 이뤄진 것은 아니었다.
• 이런 문제는 Tier 3의 학교들도 마찬가지였다. 재정적 무능력에 대한 불평은 끊이지 않았다.
• Tier 4, Tier 5 학교에서도 재정적 문제로 Standard를 향상시키고자 하는 시도는 좌절되었다. 이 학교들의 목표는 훨씬 낮았음에도 불구하고, 그들도 비슷한 수준의 실망을 겪을 수 밖에 없었다.
• 재정적 난관은 흑인 Medical College에서 더 심각했다. Black school은 더 많은 지원이 필요했음에도 독지가들에게 무시당하기 일쑤였고 Jim Crow(흑인 차별 정책)으로 인해서 상황은 더 악화되었다. WWI 이후 북부의 학교들은 흑인 학생을 받았지만, 막상 병원에서는 인턴으로 고용되지 못하고 거절당하는 일이 흔했다.
• 1900년대 초반에, 많은 문제들이 아직 해결되지 않은 상태였고, 대부분은 돈이 없는 것이 문제였다. 깊은 불만족이 faculty 사이에서 만연했다. 

보스(Boss)와 리더(Leader)

(출처 : http://imgur.com/Sm3blE2) 

 "리더쉽은 카리스마 있는 소수의 몇몇만 갖추고 있는 것이어서는 안된다.

리더쉽이란 평범한 사람들이 그들 자신들로부터 최고의 것을 만들어내는 과정이다"

"Leadership is not the private reserve of a few charismatic men and women. 

It is a process that ordinary people use 

when they are bringing forth the best from themselves and others"

(출처 : Ludmere, K. M. "Time to Heal." (1999). p. 394)

(출처 : http://linked2leadership.com/2009/01/26/seeking-feedback/)

• 의학교육의 연구 주제로 Feedback seeking behavior를 다루기 시작한 것은 비교적 최근의 일이다.
• Organizational and social psychology에서는 제법 오래된 주제.

• Feedback을 찾는 동기는 다음과 같은 것들이 있다.
• Motives are shaped by personal characteristics, situational circumstances, and perceived benefits and costs.4,5

• Bok et al
• Fatigue, accessibility of supervisor, safety of the learning environment가 영향을 미친다.
• 피드백에 대한 불안감이나 주저함은 피드백에 대한 안좋은 경험이 있어서 그런 것일 수도 있다.
• 학생들은 supervisor가 good communicator이거나 supervisor와 student가 오랜 시간 같이 일한 적이 있을 때 더 feedback을 찾는다.

• Pilgrim EAM
• Trainee는 performance에 대한 feedback이 어떨지 걱정한다.
• 그러나 이러한 fear는 feedback이 효과적인 학습과 competence 증진에 도움이 된다고 느낄 때 극복될 수 있다.
• 피드백 제공자는 관찰과 피드백에 대한 계획을 주도적으로 세운다거나 롤모델의 역할을 함으로서 피드백에 대한 두려움을 극복할 수 있게 도움을 줄 수 있다.
• self-reflection은 피드백을 받기 전에 facilitative effect가 있다.
• (A somewhat similar effect emerged in our research, in which we found a facilitative effect from self-reflection on performance prior to receiving feedback.)

• 피드백을 받은 사람은 그 feedback의 beneficial effect를 완전히 이해하지 않았더라도 그 feedback을 진행해야 한다. 즉 feedback의 processing이야말로 교육적 개입이 효과를 발휘할 수 있게 만들어주는 타겟이다.
• Apparently(듣자하니), recipients need to process feedback before they are ready to assimilate its beneficial effects for learning, performance and practice. Feedback processing thus may be a fruitful target of educational interventions.

• Feedback provider도 중요하다.
• Crommelick et al
• 리더십 스타일은 조직심리에서 가장 많은 관심을 받은 분야 중 하나이다.

• FEEDBACK PROVIDER와 SEEKER의 관계가 FEEDBACK SEEKING에 긍정적인 영향을 줄 수 있다.

How can medical education benefit from the evidence on learners seeking and using feedback?

(출처 : http://startistics.com/2011/06/8-the-serpent/)

- 아스클레피우스의 지팡이(staff)와 헤르메스의 지팡이(Caduceus)의 차이 -

The following chart lists the approved specialty and subspecialty certificates in which the ABMS Member Boards can offer certification.

(출처 : http://www.abms.org/who_we_help/physicians/specialties.aspx)

(출처: http://history.library.ucsf.edu/theme_photo5.html)

Commentary: Understanding the Flexner Report

Flexner의 입장

• 의학적 실증주의(Medical positivism)
• 플렉스너는 의학을 일반적 생물학 법칙을 따르는 실험학문이라 했다.
• Flexner described medicine as an experimental discipline governed by the laws of general biology.
• “It [the human body] is put together of tissues and organs, in their structure, origin and development not essentially unlike what the biologist is otherwise familiar with; it grows,  reproduces itself, decays, according to general laws.”1(p53)
• 입학 요건 강화(Rigorous entrance requirements)
• 플렉스너는 "이렇게 대충대충 잘 교육받지도 못한 학생을 뽑아서는 실험실 교육과 임상실습 교육이 불가능하다"라고 했음.
• A medical school, Flexner wrote, “cannot provide laboratory and bedside instruction on the one hand, and admit crude, untrained boys on the other.”1(p22)
• 과학적 방법론(The scientific method)
• 플렉스너가 말한 '과학적 방법'이란 어떤 아이디어를 정교한 실험으로 검증하여 정확한 사실(fact)를 밝히는 것이다.
• Flexner pointed out that the scientific method of thinking applied to medical practice. By scientific method, he meant the testing of ideas by well-planned experiments in which accurate facts were carefully obtained.
• “The practicing physician and the ‘theoretical’ scientists are thus engaged in doing the same sort of thing, even while one is seeking to correct Mr. Smith’s digestive aberration and the other to localize the cerebral functions of the frog.”1(p92)
• 행동에 의한 학습(Learning by doing)
• "교육학적 측면에서, 근대 의학은 다른 모든 과학과목과 같이 '직접 해보는 것'이어야 한다. 학생은 단순히 보고, 듣고, 암기하기만 해서는 안 된다"
• “On the pedagogic side,” he wrote, “modern medicine, like all scientific teaching, is characterized by activity. The student no longer merely watches, listens, memorizes; he does.”1(p53) Flexner’s scorn for didactic instruction pervaded the report.
• 연구(Original research)
• Original research was a core activity at Flexner’s model medical school.
• “Research, untrammeled by near reference to practical ends, will go on in every properly organized medical school; its critical method will dominate all teaching whatsoever.”1(p59)
• To Flexner, the best teachers were usually “men of active, progressive temper” engaged in research; those uninterested in solving problems tended to be “perfunctory teachers.”1(p56)

Flexner report에 대한 오해와 진실

Flexner 전에는 미국 의학교육에 아무 일도 변화도 없었다? No!

• 이미 그 이전부터 변화는 시작되고 있었다.
• Myths concerning Abraham Flexner abound. The most common myth is that little or nothing had happened in American medical education until Flexner arrived on the scene.

Flexner는 scientific medicine만 강조했다? No!

• Flexner는 "과학만으로 전문가적 진료의 기반을 다질 수 없다. 임상을 하는 사람은 통찰력(insight)와 공감능력(sympathy)가 있어야 한다." 라 했다.
• The report itself has frequently been misunderstood. Because of its strong emphasis on scientific medicine, it has often been accused of ignoring the doctor–patient relationship and the humane aspects of medical care. Exactly the opposite was the case.
• Science, Flexner wrote, was “inadequate” to provide the basis of professional practice The practitioner needs “insight and sympathy,” and here specific preparation is “much more difficult.”1(p26)
• He wrote in 1925, “Scientific medicine in America—young, vigorous and positivistic—is today sadly deficient in cultural and philosophical background.”7(p18)

예방의학(Preventive medicine)의 중요성을 무시했다? No!

• "의사의 역할은 개인적/치료적 이라기보다는 사회적/예방적 이어야 한다."
• Another common misperception is that the report denigrates the importance of preventive medicine “the physician’s function is fast becoming social and preventive, rather than individual  and curative.”1(p26)

빡빡하고 뻣뻣한 커리큘럼의 시초다? No!

• "엄격한(iron-clad) 커리큘럼으로서 의학교육을 향상시키고자 하는 것은 전적으로 실수다."
• Many have faulted the Flexner Report for fostering a crowded, inflexible curriculum Medical schools, he argued, must be trusted “with a certain amount of discretion.”1(p76) He believed that “the endeavor to improve medical education through iron-clad prescription of curriculum or  hours is a wholly mistaken effort.”1(p76)

의학교육 개혁의 Final document일까? No!

• "이 보고서의 해결책은 현재와 그리고 길어야 30년 정도의 가까운 미래에 대한 것일 뿐이다"
• Contrary to widespread popular opinion, the Flexner Report was not envisioned by its author as a final document. “This solution,” he wrote, “deals only with the present and the near future,—a generation, at most.

배울 점

He was uncompromising in his view that medicine is a public trust and that the profession and its educational system exist to serve.

These values, he argued, are timeless, regardless of the professional and social circumstances of the moment.

By and large, medical educators since his time have taken this message to heart. We certainly have done our best work in pursuit of this goal. An unswerving commitment to excellence and service—this was and continues to be Flexner’s gift to medical education and the medical profession.

Commentary: Understanding the Flexner report.

Department of Medicine, Washington University School of Medicine in St. Louis, St. Louis, Missouri 63110, USA. kludmere@dom.wustl.edu

(출처 : http://www.physiciansweekly.com/remediation-attrition-surgery-residents/)

임상에서 힘들어하는 전공의(resident, 레지던트)에게 어떻게 해줘야 할까?

- 그저 똑같은 것을 한번 더 가르치는 것은 이제 그만!! -

• Remediation for struggling learners: putting an end to ‘more of the same’
• Cleland et al :
• 많은 remedial intervention에 있어서 이론적 근거가 없다. 그냥 '같은 것'을 '더' 주는 것 뿐이다.
• Control-value theory에서 말하는 바와 같이 어려움을 겪는 학생을 빨리 찾아내서 remediation을 일찍 제공하는 것이 underperforming undergraduate가 저조한 결과=>나쁜 피드백=>낮은 자기효능감=>동기 저하의 반복되는 사이클을 겪으며 underperforming doctor가 되는 것을 막는 방법이다.

• Mitchell C, 2013
• 성과가 낮은 의사들이 자신들을 평가할 평가자를 고를 기회가 있을 때, 더 점수를 잘 줄 것 같은 사람을 고르는 maladaptive learning strategy를 익힌다.

• Audetat et al : clinical reasoning difficulty를 겪고 있는 레지던트에게 제공되는 remedial action은 residency에 대한 구조적인 측면(일의 양을 줄여주는 것 등)이었지, 그 difficulty의 근원에 대한 구체적인 진단에 따른 것이 아니었다.
• Hesketh et al : 훌륭한 임상 선생님에게는 적절한 접근법 역시 필요하다.

• The Department of Family and Emergency Medicine at the University of Montreal의 사례
• 레지던트 보충(remediating)교육을 하는 선생님들을 지원하기 위한 전략을 개발(Developed a multidimensional strategy to support clinical teachers in remediating residents.)
• This strategy consists of four prongs:
• 기관적 차원의 과정 도입 : implementing institutional procedures with regard to remediation plans and followup;5,6
• 선생님들에게 개념틀(conceptual framework)과 실제적인 이론(empirical finding)제공 : introducing clinical teachers to conceptual frameworks and empirical findings from the literature through accessible and targeted papers;
• 임상추론 과정에서 겪게 되는 다양한 여러움들에 대한 진단 및 개입방법에 대한 가이드 제공 :  developing a guide to the diagnosis and remediation of different types of clinical reasoning difficulty,7
• 교수자 중심의 교수개발 프로그램 제공 : providing teacher-centred faculty development.
• Altogether these strands amount to no less than a cultural8 and organisational change,9 which should help clinical teachers to act effectively, based on wellgrounded educational scripts,10 with a strong sense of ‘being

clinical educators’,11 which ultimately should improve outcomes for learners.

• 비록 remediation 후에 더 나아지지 않았더라도, trainee가 프로그램에서 exclude되는 과정을 촉진시키기만 한 것으로도 그것은 성공했다고 볼 수 있다. Underperforming learner를 계속 놔두는 것은 clinical teacher를 지치게(wearing down)한다.
• Struggling learner는 struggling teacher를 유발한다.

• Faculty development가 learners in difficulty에 관한 문제에서 중요하다.

Remediation for struggling learners: putting an end to 'more of the same'.

(출처 : http://blog.questionmark.com/webinar-using-the-angoff-method-to-set-cut-scores)

배경 : 교육을 시킬 때, '인정해줄 수 있는(합당한, acceptable)' 수준의 역량에 대한 기준을 세워야 한다. 이러한 '기준을 정하는 것'에 있어 지난 30년간 Angoff method라는 focus-group approach가 널리 활용되어 왔다. Angoff method는 도입하기가 쉽고 약간의 훈련을 하면 초심자도 활용할 수 있다. 

Kick-off 질문

 - 시험 응시자가 최소한의 역량을 갖췄는지를 어떻게 알 수 있을까?

 - 시험에서 '커트라인(passing score)' 이란 무엇일까?

 - 당신이 정한 커트라인(passing score)를 법정에서 변호할 수 있겠는가?

타당성/신뢰성

 - 다음의 두 가지 기준을 갖춰야 법적으로 변호가능한(legally defensible) 시험이라 할 수 있다.

 (1) Validity(타당성) : 학생들이 알아야 한다고 생각하는 내용을 테스트하는가 (시험문제가 학습목표와 맞아야(align))

 (2) Reliability(신뢰성) : 시험이 일관된 결과를 내도록 되어있는가 (같은 학생에게 반복적으로 그 시험을 보게 하더라도 같은 결과가 나와야)

"“…keeping the hypothetical ‘minimally acceptable person’ in mind, one could go through the test item by item and decide whether such a person could answer correctly each item under consideration.” 

“… ask each judge to state the probability that the ‘minimally acceptable person’ would answer each item correctly.”

Angoff Method

 - Angoff Method는 "최소한의 자격을 가진 응시자(minimally acceptable person)"이 특정 문제를 맞출 확률(how often)이 얼마나 될지를 정하는 과정이다.

 - 일정 패널의 전문가들이 "최소한의 자격을 가진 응시자"가 특정 문제를 맞출 가능성을 추정하고, 그 추정치에 대한 평균치를 구하고, 그 평균치로 커트라인을 정한다. 

 - 다음과 같은 단계로 이뤄진다.

1. 평가자 선정(Select the raters.)

2. 시험 응시(Take the assessment.)

3. 문항 평가(Rate the items.)

4. 평가 검토(Review the ratings.)

5. 커트라인 결정(Determine the cut score.)

(출처 : https://www.questionmark.com/us/seminars/Documents/webinar_angoff_handout_may_2012.pdf)

참고 : 기준선 정하기