(출처 : http://www.mikethearchitect.com/2012/02/its-not-about-complexity-its-about-simplicity.html)

19세기 물리학에서 다뤘던 고전적인 단순성과 예측가능성의 모델보다 근래에 나온 더 복잡한 구조들이 교육학적 맥락을 더 잘 묘사한다. 모든 것을 단순화시키려는 노력은, 모든 것이 서로 상호작용할 때 그 어떤 것도 '단순하지 않다'라는 문제가 있다.

현실적인 관점에서, 이 복잡성은 교육학에서의 흔한 문제를 해결하기 위한 의미있고 단순하며 일반화가능한 해결책은 근본적으로 불가능하다는 것을 말해준다. 한 교육적 영역과 다른 영역은 환경이 다르고, 맥락이 다르고, 교수-학생 관계가 다르고, 간섭하는 요소들도 달라서 서로 다른 맥락에서 예측을 한다는 것 자체가 의미가 없다.

"우리는 서로 비슷하거나 다른 아홉 개의 학교에서 이 연구를 환자 중심적 학습 환경에 대한 연구를 하고자 했다. 연구 결과는 우리가 던진 질문보다 더 복잡한 현실만을 보여줬다." 현실은 복잡하다. 19세기 물리학을 따라서 복잡한 세계를 단순하게 만들려고 하다가는 다양성의 아름다움을 놓치게 될 것이다.

교육 커뮤니티가 암암리에 받아들인 두 번째 과학의 필수요소는 '단순함'이다.

A second, equally important imperative that our community has implicitly adopted in its model of science is the imperative of simplicity.

이러한 특징은 Bryson이 "물리는 궁극적인 단순함에 대한 연구다"라고 했던 것처럼, 초기 물리학 모델에서 가장 두드러지게 나타난다.

This process is nowhere more deeply systematised than it is in the early models of science in physics. As Bryson commented: ‘…physics is really nothing more than the search for ultimate simplicity.’10

그러나 물리학조차 '단순함'의 계속 따르지는 못했다. 20세기에 원자보다 작은 수준으로 사고의 전환이 이뤄지는 과정에서 특히 그러했으며 Gino Segre는 이를 "물리학의 혼의 투쟁"이라고 불렀다.

It is worth noting, however, that physics itself has not necessarily followed this path of simplicity for some time. During the 20th century, there occurred a major shift in thinking within physics that evolved with the developing field of subatomic physics. It was a shift so fundamental that Gino Segre` dubbed it ‘a struggle for the soul of physics’.20

이러한 과정에서 물리학의 기본적인 요구사항은 단순함으로부터 불확실성으로 옮겨갔다. 리차드 파인만의 말에서 잘 드러난다. "한 철학자가 "과학이란 같은 조건에서 같은 결과를 내는 것이다" 라고 말한 적이 있다. 하지만 사실 그렇지 않다. 매번 같은 조건을 구성해두어도 어느 구멍에서 전자를 발견할지 예측하는 것은 불가능하다."

Through the discovery of these and other phenomena, the basic imperative of physics shifted from the construct of simplicity to a construct of uncertainty. This new understanding of physics was perhaps best captured by Richard Feynman, who wrote: ‘A philosopher once said, ‘‘It is necessary for the very existence of science that the same conditions always produce the same results.’’ Well, they do not. You set up the circumstances, with the same conditions every time, and you cannot predict behind which hole you will see the electron.’21

이러는 동안 거시 물리학의 세계에서는 카오스 이론이 등장하기 시작한다. 초기 상태에서 매우 짧은 거리만 벗어나도 대단히 예측불가능하다는 것이다. 이러한 카오스 시스템은 기본적으로 불안정하고 초기 상태에 대단히 민감해서 '동요(perturbation)의 기하급수적 증가'로 나타난다. 

Meanwhile, in the world of macro physics, the concept of chaos theory was being evolved to explain how certain dynamic systems can be highly deterministic (i.e. they have a clear and simple set of rules to describe their behaviour), but still be highly unpredictable just a short distance out from their initial state.22 These chaotic systems are inherently unstable because of their extreme sensitivity to initial conditions, which manifest as an ‘exponential growth of perturbations’. In short, for such systems, the simplifying assumption that ‘error’ cancels out simply does not hold. Rather ‘error’ multiplies, so the most minute deviations at the initial state manifest as massive deviations in a very short time.

이러한 '최근의' 물리학의 움직임은 교육학 영역과 유사성 갖는다.

The discoveries and descriptions found in these more ‘recent’ movements in physics have a ring of familiarity in the education domain.

19세기 물리학에서 다뤘던 고전적인 단순성과 예측가능성의 모델보다 근래에 나온 더 복잡한 구조들이 교육학적 맥락을 더 잘 묘사한다. 모든 것을 단순화시키려는 노력은 모든 것이 서로 상호작용할 때, 그 어떤 것도 '단순하지 않다'라는 문제가 있다.

These more complex constructs may be better descriptions of education contexts than the classic models of simplicity and predictability that were the organising principles of 19th century physics. The problem with trying to define everything simply is that when everything interacts, nothing is simple. 

따라서 '가정을 단순화'하고자 하는 환원주의의 목적은 달성할 수 없는 목표이다. 대신 Bryson은 '우리가 가질 수 있는건 기껏해바야 우아한 혼란일 뿐이다' 라고 했다. 아마 이것이 우리가 기대할 수 있는 최선일 것이다.

So the goal of reductionism by way of ‘simplifying assumptions’ may be a chimera. Instead, as Bryson concluded about physics, ‘…so far all we have is a kind of elegant messiness’.10 And perhaps this elegant messiness is the best we can hope for

현실적인 관점에서, 이 복잡성은 교육학에서의 흔한 문제를 해결하기 위한 의미있고 단순하며 일반화가능한 해결책은 근본적으로 불가능하다는 것을 말해준다. 한 교육적 영역과 다른 영역은 환경이 다르고, 맥락이 다르고, 교수-학생 관계가 다르고, 간섭하는 요소들도 달라서 서로 다른 맥락에서 예측을 한다는 것 자체가 의미가 없다.

From a practical perspective, this complexity probably indicates that meaningful, simple, generalisable findings that address common problems in education are fundamentally unachievable.14 Environmental differences between one education domain and the next, between one education context and the next, between one student–teacher dyad and the next, and even between one interaction in a student–teacher dyad and the next may involve a set of unique perturbations sufficient to render cross-context predictions meaningless.

Howell은 'Context는 줄일 수 없는 공변량이다' 라고 했다. 이는 Haidet 등의 논문에서 잘 강조되어 있다. "우리는 서로 비슷하거나 다른 아홉 개의 학교에서 이 연구를 환자 중심적 학습 환경에 대한 연구를 하고자 했다. 연구 결과는 우리가 던진 질문보다 더 복잡한 현실만을 보여줬다." 현실은 복잡하다. 19세기 물리학을 따라서 복잡한 세계를 단순하게 만들려고 하다가는 다양성의 아름다움을 놓치게 될 것이다.

Howell suggested that ‘context is the irreducible covariate’.23 This was highlighted wonderfully in the conclusions of a paper by Haidet and colleagues, who wrote: ‘We conducted this study to ask whether patient-centred learning environments at nine schools were substantially similar or different, both in strength and character. Our results indicate a more complex reality than the question would suggest.’24 The world is a complex and complicated place. By adopting the imperative of representing this complex and complicated world simply, in an emulation of 19th century physics, we have failed to represent the beauty and richness of variation and context.

우리가 단순하고 일반화가 가능한 해답을 얻기 위해 이 복잡함을 무시한다면, 복잡성을 잘 설명할 수 있는 방법을 만들어 낼 기회도 놓치는 것이다.

And we have missed the opportunity to evolve methods by which we can represent this complexity well, choosing instead to dismiss it as noise in our eagerness to achieve simple, generalisable solutions.

It's NOT rocket science: rethinking our metaphors for research in health professions education.

(출처 : http://aveneca.com/yesno.html)

과도하게 근거만을 추구하게 되면 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.

이렇게 되면 결국 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버리며, 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.

이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 더 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 

교육을 연구하는 사람들에게 '가설 검증 패러다임'은 대단히 실용적인 방향으로 발전해서, 연구의 목적이 '노출(exposure)과 결과(outcomes) 사이에 타당한 연결고리를 만드는 것'이 되었다. 특히 큰 범위에서 '근거중심의학'의 범주 안에 들어있다고도 볼 수 있는 의학교육에 있어서는, 이와 같은 목적은 어떤 교육학적 개입 방법의 효과에 대한 근거를 요구하는 방향으로 더 나아갔다. Eva의 말을 빌리자면 "효과가 있다는 근거"를 찾는 것이라고도 할 수 있다.

Yet, in the hands of education researchers, the hypothesis-testing paradigm developed in a highly practical direction,13 and the approach came to be defined less by the epistemology (the elaboration of causal theories through hypothesis testing) and more by the methodology by which the epistemology was enacted (the randomised control trial).14 With this shift, the goal of research in this tradition was reinvented as a much more practical desire ‘to establish credible links between exposures and outcomes’.15 Particularly in medical education, which has been functioning for some time in the larger context of the evidence-based medicine movement, this goal evolved further into a demand for evidence of the efficacy for education interventions, which, again as Eva has suggested, has been equated with ‘proof that something works’.9 

많은 교육 프로그램 개발자들에게 있어서, 이렇게 증거를 요구하는 것은 프로그램 평가를 '총괄평가'의 특성을 갖도록 했을 뿐만 아니라, 그 개입방법이 실제로 효과가 있었는가(worked)에 대해서만 집중을 하게 만들었다. '총괄평가'를 하는 전형적인 접근 방법은 아래와 같다.

For many programme developers, this imperative of proof has led to summative models of programme evaluation and to an almost exclusive focus on the question of whether the intervention ‘worked’16 (i.e. whether those who received the intervention improved on a predetermined outcome measure). One implication of this summative approach to programme evaluation is that a typical process of education innovation looks something like this:

1 identify a content area that needs to be taught;

2 develop a teaching module to match the content and implement the module;

3 test to see if it ‘works’;

4 try to figure out what went wrong;

5 tweak the design and delivery;

6 test to see if it works now (if it does not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the content area can be taught in this way.

프로그램 개발에 대한 이와 같은 접근 방법의 결과는 프로그램 수정이 총체적인 데이터 수집을 기반으로 이뤄지는 것이 아니라, 우선 도입한 후 사후 짐작을 바탕으로 이뤄진다는 것이다. 따라서 프로그램은 기껏해봐야 차선의 수준에서 개선이 이뤄지며, 더 흔하게는 종합적이고 지속적인 개선이 이뤄지기도 전에 폐기되기 일쑤이다.

The result of such an approach to programme development is that any iterative modifications made to the programme are based on post hoc guesses rather than on systematically collected data. Thus, programmes are, at best, improved in a suboptimal way and, more often, are abandoned before they have a chance to mature effectively through systematic and sustained innovation.17 

더 심각한 것은 프로그램이 '효과가 있든' 아니면 버려졌든, 우리는 효과가 있는지에만 집중을 했기 때문에 그 결과로부터 아무것도 배우지 못한다. 

More importantly for the science of education, regardless of whether the programme ultimately ‘works’ or is abandoned, we don’t learn anything meaningful from these efforts because we are more focused on whether a programme works than on why it does or doesn’t and the implications of its ‘success’ or ‘failure’ both for our  understanding of learning and, through this understanding, for future education practices.

교육 프로그램 개발자만이 이렇게 증거를 따지고 드는 것이 아니다. '가설 검증'의 전통을 바탕으로 이론을 연구하는  연구자들도 이론이 일반화될 수 있고 적용가능한지에 대한 검증을 하는 대신 증거만 만들어내고자 한다. 이러한 식으로 이론적 연구를 하는 사람들은 안타깝게도 앞서 프로그램 개발자들이 밟았던 전철을 그대로 밟는다. 

Interestingly, the limitations of having adopted an imperative of proof are not restricted to the developers. Even for those who focus on the study of theory in the hypothesis-testing tradition, there has been some gravitational pull towards producing proof of a theory rather than a test of its applicability and generalisability. Thus, for many who attempt to engage in theoretical work in the context of this imperative, a distressingly similar road to theory ‘development’ can be travelled:

1 identify a data pattern expected from the theory;

2 develop a study to demonstrate that result;

3 run the pilot subjects to see if the experimental manipulation ‘works’;

4 if it does not, try to figure out what went wrong;

5 tweak the materials and instructions;

6 test to see if it works now (if not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the theory is plausible.

이 과정에서, 우리는 종종 확증편향에 빠지게 되고, 가지고 있는 데이터를 설명할 수 있는 다른 요소를 찾거나, 더 시간을 들여서 깊이 들여다보고자 하지 않는다. 다시 한번, 우리는 그 이론이 작동하는 조건만을 찾으려고 들기 때문에 아무것도 배우지 못한다. 그 이론이 언제 작동하고 언제 작동하지 않는지, 또는 더 넓은 이해를 바탕으로 성공 / 실패에 담긴 함의가 무엇인지를 알아내는 것에는 관심을 갖지 않았기 때문이다.

In the process, we often fall prey to the confirmation bias (i.e. if our results are predicted by our theory, then our theory must be right)13 and spend little time looking deeper into what else might explain our data or what else might be going on in our dataset. But again, importantly for the science of education, we don’t learn anything meaningful from the ultimate result because we are more focused on finding the conditions that prove our theories than we are on when they do or don’t work and the implications of the ‘success’ or ‘failure’ of our studies for our broader understanding of the theories we are exploring.

따라서 과도하게 근거만을 추구할 때에 지나치게 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.

Thus, by having adopted too completely the imperative of proof for determining the quality and value of our research efforts, we have brought about a general movement towards a ‘decision-oriented’ model of education research.17 Rather than dwelling on the questions of what is going on, we jump straight to the issue of whether it worked. We keep tweaking when the answer is ‘No’, but are satisfied as soon as the answer is ‘Yes’.

그 결과로 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버려서 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.

As a result, the information we share with the larger education research community through the talks we give and the studies we publish tends to feel more like a ‘show-and-tell’ exercise than an engaging and challenging contribution to the community’s understanding of learning processes and education practices.

이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 다만 증거에 대한 요구가 알게 모르게 우리를 통과/실패의 이분법적인 가치만을 가장 좋은 '근거'로 생각하도록 만드는 것이다. 

From the perspective of improving our education science, therefore, there is always a better question than ‘Did it work?’ and there is always a better answer than ‘Yes’. Yet the imperative of proof that underlies much of this work implicitly and explicitly values these dichotomous pass ⁄ fail questions as representing the highest form of ‘evidence’, creating one of the gravitational pulls that shape much of the work carried out in the field.

It's NOT rocket science: rethinking our metaphors for research in health professions education.

(출처 : http://www.amee.org/index.asp?tm=23)

교육에 대한 연구는 어떻게 가르쳐야 하는가에 대한 논쟁을 해소시키는 역할과 실제로 교육적 향상이 있음을 입증하는 역할을 할 수 있어야 한다. 또한 전통을 축적, 확립하여 오래된 지혜가 일시적인 유행에 의해 흔들리지 않으면서도 교육적인 발전을 이룰 수 있어야 한다.

Education research should be capable of ‘…settling disputes regarding educational practice, …verifying educational improvements, and … establishing a cumulative tradition in which improvements can be introduced without the danger of a faddish discard of old wisdom in favour of inferior novelties’

Stanley JC, Campbell DT. Experimental and Quasi-experimental Designs for Research. 1966.

2008년 1월, Robert Slavin은 이렇게 말했다. "교육의 역사를 통틀어, 교육 프로그램은 '근거'보다는 이데올로기, 유행, 정치, 마케팅에 따라서 바뀌어왔다. 근거 중심의 정책을 펴는데 가장 중요한 것은 복제가능한(replicable) 교육 프로그램에 대해서 과학적으로 타당하고, 해석가능한 연구를 수행하는 것이다"

그의 주장이 최근에 나온 것이긴 하지만 새로운 것은 아니다. 사실, 이미 40년 전 Campbell과 Stanley는 교육에 관한 연구는 "새롭기만 하고 열등한 것이 오랜기간 축적된 지혜를 위협하지 않는 선에서 발전이 이뤄질 수 있도록" 할 수 있어야 한다고 주장했다.

근거중심의 교육과 그 근거라는 것이 무엇인가를 밝히려는 노력은 오래 전부터 있어왔다. Tom Russell은 1999년 그의 책 "The No Significant Difference Phenomenon"에서 "이미 10년 전부터 나는 기술이 교육을 향상시킨다는 근거를 모으기 위한 연구를 해왔다. 내가 내린 놀라운 결론은, 엄청난 수의 연구가 있지만 그 대부분은 유의미안 차이를 보여준 것은 거의 없다는 사실이다" 라고 했다. 즉, 교육자들은 스스로 난제를 만들었다. 별다른 향상을 이뤄내지 못했다고 결론을 내거나, 그렇지 않으려면 스스로를 위해서 세운 이 목표를 위해 수행한 연구들의 가치에 대한 의문을 제기해보아야 한다.

의학교육 분야 역시 이 문제로 고심하고 있다. 연구를 하는데 있어서 무언가 잘못되어 가고있고, 이에 대한 우려를 표하는 사람들도 있지만, 정확히 무엇이 문제인지를 짚어내지 못하고 있다. 연구를 위한 과학적 모델이 있지만 이 모델을 따르려는 노력에도 불구하고, 과연 달성하려는 목표를 향해 제대로 가고 있는지, 우리가 달성하려는 목표가 옳은 것인지에 대한 확신이 없다.

이와 같은 문제에 대한 다양한 관점이 있다. 방법론적 관점에서는 여러 연구가 교육과정에 대한 개입과 장기적인 성과를 효과적으로 연결짓지 못한다는 우려가 있다. 또 어떤 사람들은 사람들은 광범위한 교육적 실험은 무용지물이며, 교육의 진보는 '여러 개의 작은, 잘 통제된, 여러 실험실에서 이루어지는, 개입 요소의 약간의 변조(variation) 속에서도 반복적으로 증명되는' 연구에 의해서 이뤄진다고 주장한다.

여러 대중들의 논쟁은 교육에 있어서 '좋은'연구란 무엇인가에 대한 논쟁과 연결되어 있다. 이것은 자연과학에서 말하는 '타당한' 연구에 대한 은유(metaphor)이기도 하다. 그리고 이것은 두 가지 특징을 가진다.

첫 번째는, 전통적인 자연과학의 '가설검증'이란 프레임이다. 이는 '증거에 대한 요구(imperative of proof)'라고도 할 수도 있다.

두 번째는, '궁극적인 단순함을 추구하는 것(ultimate search for simplicity)' 이다. 이는 '단순함에 대한 요구(imperative of simplicity)'라고도 할 수 있다.

이 두 가지 요구가 합쳐져서 의학교육에 '과학'이라는 것이 생겨났고, 단순하고, 일반화될 수 있는 '근거'를 제시하는 것이 그 목적이 되었다.

의학교육도 점차 자연과학의 필수요소(imperatives)를 연구의 목적으로 삼게 되면서, 이는 의학교육 연구의 아젠다에 영향을 주게 되었다. 

종종 이러한 영향은 매우 노골적으로 의학교육연구의 '기준(standard)'를 확립할 것을 요구하고 있다. 

또 가끔은 매우 소소한 부분에 영향을 줘서 의학교육 저널들은 다른 사회과학 저널들과 달리 논문의 길이를 훨씬 더 제한하고 있다. 

이렇게 노골적이든, 소소하게든, 종합적으로 봤을 때 자연과학에서 차용한 기준이 영향을 주고 있는 것 만큼은 분명해보인다.

따라서 우리 의학교육 커뮤니티가 연구의 기저에 깔려있는 '필수요소'를 어떻게 해석하고 받아들이고 있는지 조사해볼 필요가 있다. 여기서는 '교육의 과학'에 대해서 다르게 생각해 볼 수 있는 프레임을 제시하고, 이를 바탕으로 어떻게 우리가 좀 더 발전적으로 대처해갈 수 있을가를 이야기해보고자 한다.

또한 본격적으로 들어가기에 앞서서, 이러한 우려가 단지 '양적 연구'에만 해당되는 것은 아님을 밝히고자 한다. Lingard가 말한 것처럼 질적 연구까지도 이 분야에 팽배해있는 인식론적인 영향으로부터 자유롭지 못하다. 단순화(simplification)에 대한 압박에 있어서 특히 더 그렇다.  따라서 양적 연구 패러다임에 대해서만 비판을 하고자 하는 것은 아니며, 단지 인식론적 힘이 미치고 있는 영향을 보여주기 위한 사례로서 사용하고자 하는 것이다.

It's NOT rocket science: rethinking our metaphors for research in health professions education.

(출처 : http://www.psmag.com/health/evidence-of-a-need-for-change-4241/)

근거중심의학(EBM)이 학부 의학교육(UGME)에 도입된지는 20년이 지났지만, 많은 의사와 레지던트들은 실제 진료에 근거를 활용하는 지식이나 기술이 부족하다. EBM은 의학적 의사결정을 하는데 있어서 가장 최신의 근거를 신중하게 사용하는 것으로서 의료 과오를 줄이고, 개별화된 진료를 향상시키며, 최선의 진료를 하는 것과 연결된다.

Although evidence-based medicine (EBM) has been included in undergraduate medical education (UGME) for more than 20 years,1 many physicians and residents lack the knowledge and skills to incorporate evidence into practice.2 EBM is the judicious use of the best current evidence in making decisions about the care of individual patients3 and has been linked to reduction of medical errors, promotion of individualized care, and increased application of best practices.4,5 

EBM의 개념이 1991년 도입된 이후로, 전세계 의과대학에서는 이를 빠르게 받아들였다. EBM을 할 수 있는 역량(Competence)은 이제 보건의료 관련 면허를 발급받기 위해서는 반드시 필요하다.

Since the concept of EBM was introduced in 1991,5 it has been adopted by medical schools worldwide. Competence in EBM (also known as evidence-based practice) is now required by many health profession organizations for licensing and certification purposes.6

많은 의과대학이 EBM을 교육과정에 도입하고 있으나, 표준화되어있지 않다.

Today most medical schools include EBM in their curricula,6,7 but its implementation is not standardized.8–10

여기서는 의과대학 학생들의 EBM기술을 향상시키기 위한 교육적 이니셔티브를 집중적으로 다뤄보고자 한다.

We conducted this literature review to characterize educational initiatives targeting the improvement of medical students’ EBM skills

보건의료에 미치는 영향과 관련된 제언

Implications for health care and related recommendations

환자 중심적 진료

Patient-centered care. 

2010년 법안에 따라서 정부는 상호 합의된, 근거중심 의사결정을 내리는 의사와 환자에게 돈을 지원한다. 학생들이 환자의 상황에 맞춰서 임상적 질문을 던지고, 그 근거를 환자 진료에 어떻게 적용해야 할지를 가르치는 것은 많지만, 그 근거들을 놓고 환자와 함께 상의(토론)하는 방법을 가르치는 훈련은 없다. 우리는 학생들이 환자와 근거를 공유하여 의사결정을 내리는 것을 연습할 기회를 주어야 한다.

In the Patient Protection and Affordable Care Act of 2010, the United States committed funding to support patients and clinicians in making shared, evidence-based decisions.53 Although a handful of included interventions7,8,16,28,29,33 required students to generate clinical questions based on their patient encounters and contemplate how they might apply evidence to patients’ care, none included training on discussing evidence with patients. We suggest that medical educators consider how to provide opportunities for students to engage in sharing evidence with patients to facilitate decision making activities.

환자들이 근거의 공급원(bearer)가 되어가는 시나리오에 맞춰 준비하는 프로그램도 없었다. 최근의 연구에서 의사들은 "환자들이 인터넷에서 정보를 가져와 상의를 하는 것에 엄청난 불안감을 느낀다"라고 밝혀진 바가 있다. 이 부분에 있어서 좀 더 성숙한 자세가 필요하다. 환자가 이런식으로 정보를 가져올 가능성이 점차 높아지는 만큼, 학생들은 환자로부터 받은 정보를 평가하고, 생산적인 대화를 통해서 학생과 의사가 그 정보에 대해 심사숙고하고, 필요한 경우 환자 진료에 포함시키는 것을 연습해야 한다.

The related scenario of the patient as the bearer of evidence was also absent from the reviewed interventions. Recent research has demonstrated that physicians “experience considerable anxiety in response to patients bringing information from the internet to a consultation,”54 which suggests that this is an area ripe for improvement. As it is probable that patients will increasingly bring information to appointments, we recommend that medical educators train students to evaluate the evidence retrieved by patients and to engage in productive conversations in which the student and patient can reflect on the information and, if appropriate, integrate it into the patient’s care.

전자의무기록

Electronic health records. 

대부분의 개입방법이 어떻게 전통적인 정보원(PubMed 등)에서 자료를 찾는가를 다루고 있지만, 전자의무기록으로부터 정보를 모으는 방법은 다루고 있지 않다. 전자의무기록은 점차 널리 퍼지고 있고, 정보를 제공하고 경고를 띄움으로서 중요한 임상적 질문을 하도록 하는 식으로 의료의 질을 향상시키고 있다.

Although all of the reviewed interventions included instruction on how to search the literature using traditional resources (e.g., PubMed), none addressed how to access information via electronic health records (EHRs). EHRs are becoming increasingly prevalent in medical practice, and their capabilities are improving with regard to delivering information and prompting clinical questions within the workflow via alerts and “infobuttons.”55 

따라서 이렇게 발전하는 전자의무기록을 활용할 수 있게 해주는 EBM훈련이 필요하다. 

Educators therefore need to ensure that EBM training accommodates these evolving resources. For example, they may need to shift emphasis from PubMed search skills to information management skills, such that students learn to manage or triage point-of-care information presented within EHRs. Additionally, educators should seize the opportunity to use EHRs to facilitate EBM teaching.

전자의무기록의 사용은 활용가능한 정보의 종류를 확장시켜준다. 어려운 케이스가 생겼을 때 기존의 환자 정보를 근거로 치료 방침을 결정하는 방식이 지금은 '새로운' 방식이지만, 이러한 전자의무기록의 활용이 점차 많아질 것이다. 

The increasing use of EHRs may also expand the types of available evidence. Recently, a physician team at Stanford was temporarily stymied by the lack of published evidence related to the treatment of a complicated pediatric case. However, by querying the EHR system, they identified a cohort of similar patients and analyzed outcomes data to make an informed treatment decision.56 Although this is currently considered a “novel” process, such use of EHR data is likely to become increasingly prevalent.

Evidence-Based Medicine Training in Undergraduate Medical Education: A Review and Critique of the LiteraturePublished 2006-2011.

Settings, learner levels and instructors, teaching methods, and covered skills differed across interventions. Authors writing about EBM interventions should include detailed descriptions and employ more rigorous research methods to allow others to draw conclusions about efficacy. When designing EBM interventions, educators should consider trends in medical education (e.g., online learning, interprofessionaleducation) and in health care (e.g., patient-centered care, electronic health records).

(출처 : http://www.psmag.com/health/evidence-of-a-need-for-change-4241/)

근거중심의학(EBM)이 학부 의학교육(UGME)에 도입된지는 20년이 지났지만, 많은 의사와 레지던트들은 실제 진료에 근거를 활용하는 지식이나 기술이 부족하다. EBM은 의학적 의사결정을 하는데 있어서 가장 최신의 근거를 신중하게 사용하는 것으로서 의료 과오를 줄이고, 개별화된 진료를 향상시키며, 최선의 진료를 하는 것과 연결된다.

Although evidence-based medicine (EBM) has been included in undergraduate medical education (UGME) for more than 20 years,1 many physicians and residents lack the knowledge and skills to incorporate evidence into practice.2 EBM is the judicious use of the best current evidence in making decisions about the care of individual patients3 and has been linked to reduction of medical errors, promotion of individualized care, and increased application of best practices.4,5 

EBM의 개념이 1991년 도입된 이후로, 전세계 의과대학에서는 이를 빠르게 받아들였다. EBM을 할 수 있는 역량(Competence)은 이제 보건의료 관련 면허를 발급받기 위해서는 반드시 필요하다.

Since the concept of EBM was introduced in 1991,5 it has been adopted by medical schools worldwide. Competence in EBM (also known as evidence-based practice) is now required by many health profession organizations for licensing and certification purposes.6

많은 의과대학이 EBM을 교육과정에 도입하고 있으나, 표준화되어있지 않다.

Today most medical schools include EBM in their curricula,6,7 but its implementation is not standardized.8–10

여기서는 의과대학 학생들의 EBM기술을 향상시키기 위한 교육적 이니셔티브를 집중적으로 다뤄보고자 한다.

We conducted this literature review to characterize educational initiatives targeting the improvement of medical students’ EBM skills

Data extraction and full-text review

To facilitate our full-text review of articles, we created a modified version of the Best Evidence in Medical Education (BEME) data extraction tool for systematic reviews.17 This was available to all of us online via the Qualtrics18 survey tool and enabled us to collect information on 

• educational settings (classroom, clinical, online),

• study participants: instructor type (e.g., physician, librarian) and learner level (preclinical, clinical, both),

• EBM skills covered (four traditional steps13 plus recognizing a knowledge gap and evaluating the change in practice), and 

• teaching methods used.

We used Qualtrics18 to generate summary reports and descriptive statistics to characterize the educational interventions

Educational settings

These 20 studies presented a global sample of interventions and included 7 (35%) from the United States, 2 (10%) each from the United Kingdom and Thailand, and 1 (5%) each from Australia, China, Czech Republic, Iran, Japan, Jordan, Malaysia, Nigeria, and Pakistan

Study participants

Learner levels. 

Interventions targeted medical students at all years of study. 

Six interventions (30%) were aimed at preclinical students, 

whereas 12 (60%) focused specifically on clinical students

Instructors. 

We were not able to determine the instructor’s profession from the descriptions provided in 8 (40%) of the included studies, including the online-only intervention.30 

All 12 (60%) of the articles that provided this information identified physicians as instructors, and more than half of these interventions (n = 7) also included collaborating librarians,21,26,28,32 medical educators,35 business school faculty,29 or nurses and pharmacists.25

EBM skills addressed

Each study described an intervention that addressed a combination of EBM skills: 

recognizing a knowledge gap (n = 4; 20%), 

asking a clinical question (n = 18; 90%), 

searching for literature (n = 18; 90%), 

appraising evidence (n = 17; 85%), 

applying evidence to patient care (n = 13; 65%), 

and evaluating the change in practice (n = 1; 5%).

Teaching methods

Five (25%) of the articles described a one-time educational intervention, such as a three-hour workshop designed to improve clerkship students’ clinical question formulation and literature search skills.31 

Twelve (60%) included a series of interventions occurring over a single year.

Using Khan and Coomarasamy’s20 three-level hierarchy of EBM teaching and learning methods, we determined that

8 (40%) of the 20 interventions used level 1 (interactive, clinically integrated), 

8 (40%) used level 2 (interactive, classroom-based or didactic, but clinically integrated), and 

4 (20%) used level 3 (didactic, classroom-based, or standalone) methods.

Discussion

이제 EBM을 하지 못하면 대중들로부터 역풍을 맞게 되었다. 

따라서 의과대학에서 EBM에 대한 기본적인 훈련을 받는 것이 중요하다.

Physicians’ failure to engage in EBM has repercussions for the health of individuals and populations.4,5 It is therefore essential that medical students receive foundational training in EBM. To provide medical educators with an overview of current EBM training, which has become a common topic covered in medical education,36 we reviewed 20 recent studies describing a range of educational interventions taught in a variety of settings and aimed at students at all levels of UGME.

학부 의학교육에 미치는 영향과 제언

Implications and recommendations for UGME

EBM을 가르치는 시기

Timing of EBM instruction. 

EBM을 가르치는 가장 이상적인 시기에 대한 근거는 부족하다. 하지만 이 리뷰에서는 EBM교육이 대부분 임상실습을 도는 시기에 시행된다는 것이 다시 한번 확인되었다. 이 시기를 선택하는 논리적 근거는 임상실습의 환경과의 연계성이 훈련의 효과를 높일 것이라는 생각 때문이다. 하지만, 점차 더 일찍 임상 경험을 하는 쪽으로 추세가 변하고 있고, EBM도 preclinical year의 환경에 맞춰서 더 일찍 가르쳐야 할 것이다.

There is little evidence as to the most efficacious timing for EBM instruction.37 Yet, our review confirms earlier findings that most EBM educational interventions take place in the clinical years of medical school.38,39 This timing is generally based on the rationale that the clerkship setting enhances the clinical relevance of the training.40 However, the trend toward providing students with early clinical experiences41 may provide opportunities for introducing EBM earlier, in the context of patient care in the preclinical years.

우리는 EBM을 임상경험의 초기에 가르칠 것을 권한다. 그 과정에서 학생들은 임상환경에을 처음 접하더라도 불확실성에 잘 대처할 수 있는 뼈대(framework)과 자기효능감을 가질 수 있을 것이다.

We suggest that medical educators consider integrating EBM instruction into early clinical experiences, as doing so may increase students’ self-efficacy and provide a framework that helps students deal with the uncertainty of being new to the clinical setting.

장기적이고 지속적인 EBM훈련

Longitudinal EBM training. 

EBM훈련에 반복적으로 노출되는 경우가 흔했지만, 장기적이고 지속적인(longitudinal) 교육과정을 갖춘 경우는 별로 없었다. 대부분은 짧고 집중적으로 교육되었으며, 이러한 압축된 교육환경에서는 EBM skill을 학생의 발달에 맞춰서 가르치기가 힘들다.

Although multiple exposures to EBM training were common in the studies reviewed, longitudinal curricula were lacking. In 75% of the included interventions, medical students received EBM training on more than one occasion, a practice that has been linked generally with increased learning.42 Yet most of the interventions were delivered over short, intensive time periods. The compressed nature of these learning opportunities limits medical educators’ ability to successively build EBM skills across levels of student development. 

나선형 교과과정에서 학습자는 여러 차례 반복적으로 서로 다른 수준의 개념에 노출됨으로써, 앞서 했던 경험을 바탕으로 새로운 경험을 쌓아간다. 우리는 EBM 훈련과정을 이러한 나선형 교과과정식으로, 모든 단계의 UGME에 도입할 것을 권한다.

In a spiral curriculum43—a format that has been adopted to teach some components of medical education—learners are provided multiple, successive exposures to a concept at different levels of their development so that each encounter builds on the previous encounter.44 We suggest that integrating EBM training as a spiral curriculum across all levels of UGME may be an effective model.

다직업군적 접근법

Interprofessional approach. 

의학교육의 추세가 전문직업군간 교육을 권장하고, 여러 보건의료 전문직이 함께 근거중심 진료를 하는 방향으로 가고 있기 때문에 의학교육도 전문직업군간 접근을 시도해야 한다.

We identified only one intervention that included both medical students and learners from other health professions.25 Given the trend in medical education toward recommending the use of interprofessional education (IPE)45 and the adoption of evidence-based practice by a spectrum of allied health professions, we encourage medical educators to consider taking an IPE approach to EBM instruction.

또한 다양한 전공의 교육자를 포함시킬 것과 더불어, 이 때 교육 환경적 측면에서 교실 셋팅을 벗어나는 사고를 해 볼 것을 권고한다. (다른 전공의 전공자가 가장 자신의 교수능력을 잘 발휘할 수 있는 환경의 활용)

We recommend that medical educators consider including instructors from a variety of disciplines and think beyond the classroom setting when integrating multidisciplinary teachers.

능동적 온라인 학습 환경

Active and online learning environments. 

최근, Prober와 Heath는 "의사를 가르치는 방법을 바꿀 때다"라고 하며, 강의 중심의 형태에서 온라인 학습을 중심으로 교실에서는 사례 학습과 같이 더 많은 상호작용을 유도하는 방식으로 바꿔야 한다고 주장했다.

Recently, Prober and Heath47 declared, “It’s time to change the way we educate doctors,” and advocated a shift from a lecture-based format to an active learning approach that blends online learning with more interactive classroom activities, such as case studies.47 

의과대학생들에게 EBM을 가르치는 것에 있어서 이미 인터엑티브한 교수방법, 온라인 교육이 사용되고 있다. 온라인 형식을 활용하여 수업시간의 압박을 줄이고, 제한된 교수자원을 더 확대하고, 스케쥴의 한계를 극복하고, 학생들을 더 많이 임상 현장으로 보낼 수 있다.

We found that EBM interventions for medical students are already using interactive teaching methods and online learning. Three interventions28,30,32 employed an online format to decompress classroom time, extend the reach of strained faculty resources, mitigate scheduling difficulties, and/or reach students at diffuse clinical sites.

지식의 공백

Gaps in knowledge. 

마지막으로 의학교육자들은 의사들이 스스로에 대한 평가를 통해, 특정한 상황에서 자신의 지식이나 기술이 부족할 수도 있다는 것을 인지하도록 해야 한다.

Finally, medical educators have dedicated much attention to the physician’s ability to self-monitor, that is, to recognize the limitations of one’s skill and knowledge to act in a specific situation.49,50

이러한 지식의 공백을 인지하는 것은, 그렇게 함으로써 EBM과정을 더 촉진시키고, 의사들로 핵심적인 질문을 던져 그 다음 단계를 진행할 수 있도록 해주기 때문에 중요하다.

Being able to identify awareness of a knowledge gap is critical, as doing so acts as the fuel that ignites the EBM process and prompts the physician to ask clinical questions and proceed through the subsequent steps

우리 리뷰와 여러 연구에 따르면 의사들은 임상적 의문을 가졌을 때, 그 사실(의문을 가졌다는 사실)을 인지하는 것에 약점을 보인다.  따라서 우리는 EBM훈련을 통해 이러한 지식의 공백을 인지하는 기술을 익힐 것을 권고한다.

On the basis of our review findings, and research showing that physicians tend to be weak in recognizing when they have clinical questions,52 we suggest that all EBM training should cover the essential skill of recognizing a knowledge gap.

Evidence-Based Medicine Training in Undergraduate Medical Education: A Review and Critique of the LiteraturePublished 2006-2011.

Settings, learner levels and instructors, teaching methods, and covered skills differed across interventions. Authors writing about EBM interventions should include detailed descriptions and employ more rigorous research methods to allow others to draw conclusions about efficacy. When designing EBM interventions, educators should consider trends in medical education (e.g., online learning, interprofessionaleducation) and in health care (e.g., patient-centered care, electronic health records).

(출처 : http://psychcentral.com/news/2008/09/12/train-young-physicians-on-emotional-intelligence/2927.html)

정서지능(EI)는 스스로의 감정에 대해 인지하는 능력과 다른 사람의 감정을 인지하는 능력, 그리고 그것을 적절히 다루는 능력을 포괄한다. Payne은 공포, 고통, 욕망에 대한 EI를 분석하여 개인지능(personal intelligence)라는 용어로서 논의했다. 

Emotional intelligence (EI) is refers to an individual’s awareness on his or her own emotions, together with an awareness of the emotions in others and the ability to manage them and act appropriately. The term is usually attributed to Payne [1] who explored EI with respect to fear, pain and desire, and it was discussed in terms of personal intelligences [2] at a similar time. 

정서지능은 "자신과 타인에 대한 감정을 정확히 평가하고 표현할 수 있는 능력, 자신과 타인의 감정을 통제할 수 있는 능력, 그리고 동기부여, 계획, 성취을 위해 감정을 활용할 수 있는 능력에 대한 종합적인 기술" 이라고 정의되기도 한다. 이러한 개념은 그 후 IQ 또는 직장에서의 우수한 수행능력과 연결되기도 했다.

A robust explanatory framework as defined as “a set of skills hypothesized to contribute to the accurate appraisal and expression of emotion in oneself and in others, the effective regulation of emotion in self and others, and the use of feelings to motivate, plan, and achieve in one's life.” [3]. The concept was then linked to IQ and superior performance at work [4-6].

EI를 측정하기 위한 도구는 EI를 어떠한 특질(trait)나, 능력(ability)로 개념화한다. 특질로서의 EI(Trait EI)는 개인적 성격의 다섯 가지("Big Five")요소들과 연결된다 

Neuroticism, Agreeableness, Openness, Extraversion, and Conscientiousness

Instruments for measuring EI include those that conceptualize EI as a trait [7], and as an ability [8,9]. Trait EI strongly correlates with the “Big Five” personality traits (Neuroticism, Agreeableness, Openness, Extraversion, and Conscientiousness) [10]. 

TEIQue는 네 개의 요소로 구성되어 있다. Petrides와 Furnham은 Trait EI와 Ability EI를 구분하는 근본적인 것은 측정에 대한 접근법이라고 하였다. Trait EI는 자기기입식 설문지로 측정되며, Ability EI는 정답과 오답이 있는 시험으로서 측정된다고 하였다.

The Trait Emotional Intelligence Questionnaire (TEIQue) [11] is composed of four factors (well-being, self-control, emotionality and sociability). Petrides and Furnham [7,11] proposed that the primary basis for discriminating between trait EI and ability EI is the measurement approach and not theoretical domains. The trait EI is measured through self-reported questionnaires, whereas ability EI should be measured through maximum performance tests with correct and incorrect answers.

이 연구 결과는 TEIQue-SF(Short Form)의 측정이 아시아 의과대학생에게 적절하게 활용될 수 있음을 보여준다. 정신건강 워크숍은 의과대학생들의 EI를 발달시키는데 도움이 되었고, 성별이나 국적에 따른 약간의 차이가 있었다. 정서 인지의 즉각적 효과는 특히 남학생들과 비일본인 그룹에서 두드러졌다. 장기적인 효과는 여학생들과 일본인에서 두드러졌다. 일본 여학생들은 정서(emotionality)에 대해서 특히 민감(conscious)했다. 정서 기반(emotion driven) 의사소통 훈련은 학생의 EI발달에 장기적으로 영향을 줄 것이다.

This study found the measurement of TEIQue-SF is appropriate and reliable to use for Asian medical students. The mental health workshop was helpful to develop medical students’ EI but showed different results for gender and nationality. The immediate impact on the emotional awareness of individuals was particularly significant for male students and the non-Japanese group. The impact over the long term was notable for the significant increase in EI for females and Japanese. Japanese female students were more conscious about emotionality. Emotion-driven communication exercises might strongly influence the development of students’ EI over a year.

Expressing one's feelings and listening to others increases emotional intelligence: a pilot study of Asian medical students.

This study found the measurement of TEIQue-SF is appropriate and reliable to use for Asian medical students. The mental health workshop was helpful to develop medical students' EI but showed different results for gender and nationality. The immediate impact on the emotional-awareness of individuals was particularly significant for male students and the non-Japanese group. The impact over the long term was notable for the significant increase in EI for females and Japanese. Japanese female students were more conscious about emotionality. Emotion-driven communication exercises might strongly influence the development of students' EI over a year.

(출처 : http://dartmed.dartmouth.edu/fall12/html/back_to_basics/)

의학교육자들은 인지심리학, 교육심리학과 관련된 이론들을 찾아서 어떠한 학습후 행동(post-learning activities)의 특성이 기억의 장기보존(long-term retention)이나 지식의 전달(transfer of knowledge)에 어떤 정보를 줄 수 있는가를 연구해왔다.

Medical educators increasingly look to related disciplines, particularly those of cognitive and educational psychology, to inform the critical nature of post-learning activities with respect to, for example, long-term retention and the application or transfer of knowledge.

자기설명(self-explanation)이나 시험 강화 학습(Test-enhanced learning)과 같은 학습 기술들의 적절성이나 효과성을 다룬 연구들이 있다. Larsen등은 TEL이 SE와 비교하여 기억의 장기보존에 어떠한 영향을 주며, 두 방법을 혼합했을 때 효과는 어떠한지를 연구했다.

Research has aimed to investigate the appropriateness and efficiency of several learning techniques, such as self-explanation (SE) and test-enhanced learning (TEL). In this issue of Medical Education, Larsen et al.1 investigate how TEL compares with SE with regard to long-term retention and explore the added value to be gained by combining the two learning methods.

시험은 대개 평가를 위해 활용되지만, 정보의 보존을 더 높여줄 수 있고 이를 시험효과(testing effect)라고 한다. 기억의 인출(retrieval)은 이 효과의 핵심 기전이며, 기존의 지식에 대한 접근 경로를 더 강화시킨다.

Tests are usually used for assessment, but they can directly influence learning by promoting better retention of information, a phenomenon known as the testing effect.2 Retrieval, presumed to be the central mechanism mediating the effect, is seen as an active process that strengthens the pathway to the given knowledge.

기억의 인출은 지식을 능동적으로 재구성함으로써, 자기 모니터링(self-monitoring)을 하게 되고, 특정 기억을 반복하도록 하는 것으로 알려져있다.

It has been suggested that retrieval may involve the active reconstruction of knowledge3 and may induce targeted rehearsal through self-monitoring.4

또한 기억의 인출에 더 많은 노력을 쏟을수록 학습에 대한 효과도 더 높다.

it has been noted that the more ‘effort’ students put into the retrieval process, the more effect it has on learning.2,5

자기설명은 어떤 학습자료가 주어졌을 때 스스로에게 설명을 함으로서 이해를 높이는 것이다. 이 과정에서 추론을 하거나 정보간 고리를 만들면서 지식의 재구조화가 일어나고 학습자는 더 일관성있고 통합된 학습을 하게 된다. 자기설명의 긍정적 효과는 다양한 영역에서 보여진 바 있고, 피드백이 없는 상태에서도 효과가 있다고 밝혀져 있다. 자기설명의 이러한 효과는 자기설명에 대한 훈련이 되어 있을 때나 추가적인 단서가 주어질 때 더 효과적이다.

Self-explanation involves generating explanations to oneself while working through given learning material with the purpose of deepening one’s understanding.6,7 As a result of the generation of inferences, or the creation of new links between pieces of information or prior knowledge, and monitoring, knowledge restructuring takes place, allowing the learner to build a more coherent and integrated representation that facilitates the transfer of learning.6 The positive effect of SE on learning has been shown in various domains and even in the absence of specific content feedback. The effects of SE are increased when students are trained to self-explain8 and by the addition of prompts and cues.9 

의학교육에서 자기설명은 임상실습 기간에 익숙하지 않은 케이스에 대한 진단 수행능력에 도움이 되나, 이미 익숙한 케이스에는 별 도움이 안 되는 것으로 나타났다. 자기설명이 강력하긴 하나, 장기적 효과는 알려져 있지 않다.

In medical education, SE has been shown to have beneficial effects on students’ diagnostic performance on unfamiliar cases during clerkships, but not on familiar ones.10 Despite the robustness of SE, its long-term effects are unknown.

의학의 전문가는 지식을 기반으로 하지만, 단순히 오랜 시간동안 지식을 축적하는 것 이상이다. 의사는 생의학적 지식과 인과관계에 대한 설명, 임상 지식, 질병에 대한 지식들의 상호 네트워크를 구성해서, 질병과 임상표현에 대한 일관된 심적 표상(mental representation)을 가지게 된다.

Medical expertise is knowledge-based, but is much more than an accumulation of retained knowledge over time. It is characterised by complex networks in which biomedical knowledge and causal explanations, clinical knowledge, illness scripts and instances are interconnected and form coherent mental representations of diseases and clinical presentations.11 

의사는 단순히 지식을 적용하거나 기존의 해답을 활용해서 문제를 푸는 사람이 아니다. 더 중요한 것은 지속적으로 변하는 환경과 개별 환자의 특성에 맞춰 해답을 적용하는 것이다. 이는 우수한 의과대학 학생들에게조차 엄청난 양의 학습을 필요로 하며, 다양한 효과적인 학습 기술을 필요로 한다.

Clinicians not only apply knowledge and solve problems using existent solutions, but, more importantly, adapt solutions to the ever-changing context and uniqueness of each patient.12 This represents a tremendous learning challenge, even for highly selected medical students, and thus a variety of effective learning techniques are welcome.

Larsen 등은 의학교육에 있어서 TEL과 SE이 상호 보완적인 역할을 한다는 것에 덧붙여서 이것들의 장기적인 효과를 언급했다. 저자는 TEL과 SE가 합해지면 교육 성과에 엄청난 효과를 낼 수 있다는 것을 보였다.

Larsen et al.’s study1 adds to the evidence for the long-term effects of TEL and SE in medical education, in addition to providing insight into their abilities to complement one another, despite their differences. The authors observed that TEL and SE combined produced the greatest impact on the educational outcome

실제로 학생들은 '시험에서 답을 할 수 있는 것은 학습자료에 있는 지식을 충분히 갖추고 있다는 것을 의미하지만, 반드시 이해의 수준이 높은 것은 아니다' 라고 말했다. 이것은 SE가 익숙하지 않은 환경에서는 효과적이나 익숙한 환경에서는 그렇지 않다는 연구결과와 일치한다고 볼 수 있다.

In fact, students commented that ‘the ability to answer the question on a test indicated that they had sufficient knowledge of the material and giving an explanation did not add significantly to their understanding’.1 This is in line with previous studies showing that SE works when it is used in unfamiliar but not in familiar contexts. 10

의학교육자로서 우리는 학생들이 목적의식이 있는 학습을 하고, 지식을 실습할 수 있는 기회를 주고, 활용할 수 있는 자원을 효과적으로 사용해야 한다. 그러기 위해서 우리는 우리가 가진 형성평가에 TEL을 효과적으로 할 수 있는 요소들이 포함되도록 만들어야 한다. 시험은 반복적으로, 자주, 일정 기간을 두고 이뤄져야 한다.

As medical educators, we should pursue endeavours that provide purposeful learning and practice retrieval opportunities 

for students, and use available resources efficiently. To do so, we can revisit our formative assessment practices and make sure they incorporate the critical elements that make TEL so effective. Testing should be repeated, frequent and spaced over time. 

또한 시험은 효과적인 기억의 인출과 긍정적 피드백 작용을 하도록 만들어져야 한다. 의학교육자들은 실기시험과 자기설명을 활용할 수 있도록 해야 하며, 효율성이 낮은 강조(highlighting) 반복해서 읽기(rereading), 요약하기(summarising)등의 사용은 지양해야 한다.

It should include production tests that require effortful retrieval on the part of students and provide feedback. Medical educators should promote the use of practice testing and self-explanation and discourage the exclusive use of techniques that have proven to be of low utility, such as highlighting, rereading and summarising.13

선생님으로서, 우리는 TEL과 SE에 더 익숙해져야 하며, 학생들이 학습방법에 대한 조언이 필요하다면 같이 이야기할 수 있어야 한다. 이들 두 기술을 활용하는데는 복잡한 기술이나 학습자료가 필요한 것이 아니다.

As teachers, we should become familiar with TEL and SE, and should be able to engage in discussions with students and to give advice on learning and study habits when it is required. The implementation by students of these two techniques does not necessarily require advanced technologies or complex materials, and they can be relatively easy to use. 

Back to basics: keeping students cognitively active between the classroom and the examination.

(출처 : http://www.kirkpatrickpartners.com/OurPhilosophy/TheKirkpatrickModel/tabid/302/Default.aspx)

손에 쥔게 망치밖에 없으면, 모든 문제가 못으로 보인다. - 에이브러햄 매슬로

I suppose it is tempting, if you only have a hammer, you tend to see every problem as a nail - Abraham Maslow (1966)

'도구의 법칙'이라 불리는 위 명제는, 망치의 문제를 말하려는 것이 아니라, 망치에 대한 우리의 과도한 의존성을 지적하는 것이다. 이 개념은 근래의 보건의료 교육에 대한 프로그램 평가에 적용될 수 있을 것이다. 결과중심의(outcomes-driven) 커크패트릭 4단계 모형은 보건의료 교육 프로그램을 평가하는데 주로 사용되는 모델이다.

Known as the law of the instrument, the metaphor does not cast a poor light on the hammer, but on our over-reliance on it. This concept is currently applicable to the field of programme evaluation in health care education. Currently, the four-level, outcomes-driven Kirkpatrick model is the dominant model used to evaluate health care education programming.

그러나 우리는 이 한계가 뚜렷한 모델에 과도하게 의존하고 있다. 여기에 대해서 우리는 "이 커크패트릭 모형을 발전시켜야 할까? 아니면 우리의 '도구상자', 즉 우리의 사고를 더 확장시켜서 어떻게 복잡한 프로그램이 의도한(또는 의도치 않은) 결과를 야기하는지를 이해하도록 노력해야 할까?" 라는 두 가지 질문을 모두 해볼 필요가 있다.

However, we have become over-reliant on this limited outcomes-driven model, which leads to the query; are we to continue to improve our use of Kirkpatrick (build better hammers) or do we expand our thinking, and thus our ‘toolbox’, to understand how complex programmes work to bring about both intended and unintended outcomes?

지금까지 보건의료 교육 프로그램을 평가하기 위한 모형은 수백가지가 있었지만, 네 단계를 모두 평가하는 것이 여전히 프로그램 평가의 기준처럼 생각되고 있다.

To date, the model has been used to evaluate hundreds of health care education programmes and the measurement at all four levels is still considered the reference standard in programme evaluation.2

커크패트릭이 원래 그러한 의도로 만든 것은 아니겠지만, 이 모델은 기본적으로 인과관계를 상정한다는 한계가 있다. 각 단계의 성과가 소위 '더 높고 가치로운' 단계를 예측할 수 있다는 인과관계를 가정하는 한, 이 모델은 문제가 있다. 최근의 조직개발과 관련한 연구 결과를 보면 3단계의 성과는 훈련 그 자체보다 외부적 요인에 의해서 더 잘 예측된다는 결과가 있다.

Although not Kirkpatrick’s original intent, the model’s shortcomings lie in its conceptualisation as causal; that outcomes at each level can predict outcomes at the so-called ‘higher and more valuable’ levels. With this conceptualisation, the model is flawed. Recent work in the field of organisational development found that changes in Level 3 outcomes were better predicted by factors external to the training itself.3

이 모델의 한계점은 이미 잘 알려져있기 때문에, 그것을 발전시키기 위한 노력이 끊임없이 있었다는 사실도 전혀 놀라울 것이 없다. 1단계에서는 반응(reaction)보다는 동기와 참여(motivation and engagement)를 측정해야한다는 점, 1단계를 측정하는 방법이 향상될 여지가 있으며, 3단계 측정은 행동(behavior)보다는 수행능력(performance)라는 점 등이다.

Challenges with this model have been known for some time, so it is perhaps not surprising that efforts continue to improve it; arguing that Level 1 should measure motivation and engagement rather than reaction,4 methods to measure Level 1 can be improved1 and Level 3 should measure performance rather than behaviour.5

또한 이 모델을 변형한 모델도 많다.

Furthermore, variations of the model are countless

하지만 모델을 개선시키거나 적용시키려는 노력에도 불구하고 최고 단계의 성과를 측정하기 위한 노력은 여전히 엇갈린다.

Despite efforts to improve or adapt this model, our attempts to measure outcomes at the highest levels are mixed at best.6

의학교육 분야에 대한 최근의 담론은 왜 이것이 이러한지를 보여준다. 의학교육 프로그램과 그 프로그램이 수행되는 시스템은 너무 복잡하고, 그래서 의학교육 연구에 대해서는 이러한 복잡성을 반영할 수 있는 새로운 패러다임이 필요하다는 것이다.

A recent conversation in the field of medical education can shed light on why this is. It has been argued that medical education programming and the system in which it lives is complex and that we need to consider alternative paradigms in medical education research that reflect that complexity.7

1950년대에 스푸트니크호의 발사에 따라, 미국 정부는 전(全) 시스템적 교과과정의 개혁을 시도했고, 이 새로운 교과과정의 평가를 의무적으로 수행하도록 했다. 그러나 이와 같은 결과중심적 평가에 대한 노력이 실패하면서, 1960년대에 수행 평가(practice evaluate)에 대해 새로운 생각을 하게 된 분수령이 되었다.

In response to the launch of the Sputnik satellite in the 1950s, the US Government engaged in system-wide curriculum reform and created legislation that mandated the evaluation of this new curricula. 9 The failure of these outcomes-driven evaluation efforts to generate information that was useful for curriculum developers contributed to a watershed decade in the 1960s around new ways to think about and practice evaluation. 

이 때 등장한 프레임이 프로그램의 과정(process)와 성과(outcome)을 같이 측정하는 것이다. 이 프레임에서는 어떻게 프로그램이 관찰된 성과를 유발시켰는지를 조사함으로써, 이해관계자들이 평가와 프로그램 개발을 포괄하여 프로그램에 대한 의사결정을 내릴 수 있게 도와주었다.

Frameworks emerged that measured both a programme’s processes and outcomes, examined how the programme worked to bring about observed outcomes and helped stakeholders make decisions about their programmes by seamlessly interweaving evaluation and programme development. 10 

프로그램 평가에서 '복잡성'에 대한 개념은 1990년대에 와서야 등장했다. Michael Patton은 "만약 인과관계 라는 것이 '모기와 모기에 물린 자국'의 관계라면, 프로그램 평가에 대한 우리의 사고는 귀인(행동의 변화가 프로그램에 의한 것인가?)에서 기여(우리가 지금 보고있는 결과에 대해서 이 프로그램은 무슨 역할을 했는가?)로 바뀌어야 한다.

The concept of complexity in programme evaluation emerged in the 1990s. Michael Patton, an advocate of complexity thinking in programme evaluation, argues, if ‘causality is the relationship between mosquitos and mosquito bites’, then our questions in the field of programme evaluation need to shift from questions of attribution (‘can we attribute behaviour change to our programme?’ or ‘did we meet our intended outcomes?’) to questions of contribution (‘what role did our programme play in the outcomes that we are noticing?’).

여기서 주장하는 것은 커크패트릭 모델을 더 이상 사용하지 말자고 하는 것도 아니고, 도구상자에서 망치는 빼버려야 한다고 말하는 것도 아니다. 오히려 반대로, 더 나은 망치를 만들고 어떤 도구를 사용해야하는지 이해하자는 말이다.

This is not a plea to do away with the Kirkpatrick model, or advocating that any toolbox should do away with a hammer. On the contrary, it is about building a better hammer and understanding when you need to use one in the first place.

커크패트릭 모델은 프로그램개발의 시작 단계에서는 효과적으로 사용될 수 있다. 하지만 여기에만 의존하는 것은 다양한 이해관계자가 얽혀 있는 프로그램에 못할 짓을 하는 것이다.

The Kirkpatrick model can be used effectively at the start of a programme’s development, but to rely on it solely to render judgement is doing a disservice to the value programmes have to their diverse stakeholders

'이것 또는 저것'이 아니라 '이것과 저것' 이라는 말의 정신을 되살리자면, 우리에게 중요한 것은 프로그램 평가를 발전시키는 것이지, 더 나은 망치만 만들거나, 더 나은 도구상자만 만드는 것이 아니다.

In the spirit of the quote ‘it’s not either/or but both/and’, what is important to the evolution of programme evaluation is not only building a better hammer, but building a better toolbox.

A better hammer in a better toolbox: considerations for the future of programme evaluation.

(출처 : http://beckerexhibits.wustl.edu/wusm-hist/modern/)

기술이 발전하면서 학생들은 직접 수업시간에 출석하지 않고도 교육과 교육 자료를 받을 수 있게 되었다. 강의녹화기술(lecture-recording technology)는 세 가지를 기록한다.

(1) 음성

(2) 파워포인트 슬라이드와 같은 시각자료

(3) 교수자

이렇게 기록된 내용은 의과대학 1학년과 2학년 학생들이 자기 컴퓨터나 스마트폰으로 볼 수 있도록 팟캐스트와 같은 자족적(self-contained) 학습모듈로 제공된다.

Advances in classroom technology enable students to obtain educational material without actually attending standard didactic teaching sessions (i.e., lectures). Lecture-recording technology captures up to three channels: (1) the audio content of the lecture, (2) a digital picture of the visual display, usually PowerPoint (Redmond, Washington) slides, and in some cases, (3) a video recording of the lecturer. The three channels of the lecture capture can be processed into a self-contained learning module (commonly called a podcast) that viewers—in this case first- and second-year medical students— can play back on a personal computer or other digital device.

학생들은 매 과목마다 얼마의 시간을 투자할 것인지 스스로 결정할 수 있고, 이 덕분에 학생들은 관심사에 따라 과목마다 서로 접근 방법과 장소를 다르게 결정할 수 있다. 미국의 많은 의과대학들은 이러한 강의녹화기술의 영향력을 인식하여 학생들이 강의를 선택적으로 출석할 수 있도록 하고 있다.

Students have control over the amount of time they spend on any one subject, and this approach also allows them to focus on different subjects in different ways and places. Many medical schools in the United States have recognized the impact of lecture-capture technology and have responded by making student attendance at lectures optional.1

강의녹화기술은 기존의 방식과 비교해서 학생의 학습에 대해 의미있는 차이를 보이지 않았으나, 일부 연구들은 학생들 사이에서 이러한 방법이 제법 인기가 있음을 보여준다.

Research on lecture-capture technology has generally shown no significant impact on student learning when compared with traditional methods; however, some studies suggest that lecture-capture technology is quite popular among students.2–4

가장 흔한 교수들의 우려는 청중을 잃는 것이다. 특히 교수들은 출석률이 낮아지면 교수자와 학습자간의 상호작용이 감소하여 결국 강의의 효과성이 떨어지고, 교수자의 자율권이 감소할 것을 우려한다.

The most common faculty concerns reported to date relate to the loss of an audience. Specifically, faculty fear that low attendance and reduced student–teacher interaction will have an impact on the efficacy of their teaching performance and give them less autonomy in their approach to teaching.5

학생들의 강의평가에 대한 연구는 1920년대부터 이뤄져왔다. 1970년대는 "학생 평가 연구의 황금기"라고 불릴 정도였다. 지난 90년간 연구자들은 교수자의 강의를 평가하는 데 있어서 학생들은 신뢰도와 타당성이 높은 자료원이라는 것을 지속적으로 보여줬다. 그러나 연구자들은 동시에 강의평가결과에 교란요인으로 작용할 수 있는 것들도 밝혀냈는데, 강의실의 크기, 강의의 수준, 학생의 기대 학점, 과목 등이 그것이다.

Research on student evaluations of college teaching is abundant, dating to the 1920s and the work of Remmers6 and colleagues from Purdue University.7,8 This rich history of evaluations includes the 1970s era, which education researchers termed “the golden age of research on student evaluations.”7 Over the past 90 years, researchers have consistently demonstrated that students serve as valid and reliable assessors of faculty teaching performance in college classrooms and lecture halls; however, investigators have also identified various factors that occasionally confound student evaluation results, including class size, level of course, the student’s anticipated grade in the course, and the subject matter or discipline.6–8

우리는 과연 학생의 출석률 또한 교란변수로 작용할 것인가가 궁금해졌으며, 특히 이 연구에서는 OSUCOM 의예과 수업을 들은 학생들을 대상으로 수업에 출석한 학생과 팟캐스트나 다른 보조학습자료로 수업을 들은 학생을 비교했다.

we wondered whether students’ attendance at the lecture might be a confounding factor in their evaluations of faculty. Specifically, the purpose of this study was to compare how students who attended class versus those who relied solely on podcasts and other supplemental learning materials evaluated lecturers in the preclinical medical school curriculum at the Ohio State University College of Medicine (OSUCOM).

팟캐스트와 같이 완전히 강의 그 자체를 제공하는 자료를 활용하더라도, 사람과 사람간의 상호작용은 강의에 출석함으로서 생겨나고, 따라서 개개인의 학습에 미치는 영향이 다를 수 있다.

The person-to-person interaction that develops through the attendance of a traditional didactic lecture may have a different effect on individual learners compared with the reliance on other materials, even if that material includes a complete podcast of the lecture itself.

기존 연구들은 비디오로 녹화된 강의가 학생들이 학습하는데 있어 일정 수준의 가치가 있음을 보여준 바 있다.  학생들의 흥미와 녹화된 강의를 활용하고자 하는 의지에 따라서 학습 습관에 차이가 있을 수 있으나, 강의평가가 이러한 사실을 증명한 적은 없다(not necessarily borne that out). 

다른 연구에서는 수업 외적인 학습자료가 있더라도, 그것을 얼마나 활용하느냐가 실제로 강의에 출석하는 것에는 별로 영향을 주지 않는다는 것도 보여진 바 있다. 또한 학생들의 수행능력에도 영향을 주지 않았다. 우리의 연구 결과도 비슷한 결과를 보여주고 있는데, 비록 의학과2학년 때 약간의 감소는 있었지만 대부분의 학생들은 여전히 강의에 잘 출석하고 있었다.

Previous studies have indicated that students find value in using video-recorded lecture material to learn.2–4 Although students’ interest and willingness to use video-recording technology may have potential ramifications on learning habits, student surveys have not necessarily borne that out.2 Other studies have suggested that despite the availability of external learning material, their use has not had a large impact on actual attendance in formal lecture hall venues9,10 or on student academic performance.3,11 Our data appear similar in that the majority of students still attend lectures, though there may be a small decline in attendance during the Med-2 year (data not shown).

우리 연구에서는 강의에 출석한 학생들이 팟캐스트로 강의를 들은 학생들보다 통계적으로 유의하게 더 높은 점수를 줬다.

We found that students who attended lectures in person rated lecturers significantly higher than those who viewed podcasts of them.

이 결과는 각 학과장들이 승진이나 테뉴어를 결정할 때 강의평가를 어떻게 활용해야 할 것인가에 시사하는 바가 있다. 예를 들어서 동일하게 4점을 받았더라도, 주로 강의실 강의를 한 교수와 팟캐스트 강의를 한 교수를 동등하게 보아서는 안된다는 것이다.

This finding has ramifications on how department leaders should assess lecturers and on the role evaluations should play in determining promotion and tenure. For example, two different faculty each rated a “4” on a 5-point scale by students would not be truly equivalent if one faculty was judged primarily by students who listened to a podcast lecture and the other by students attending a mandatory lecture in person. In turn, department leaders should not assess each of these faculty members in an equivalent manner.

우리 연구에서 한 교수가 통계적으로 아웃라이어(outlier)였는데, 여기에 대한 고찰이 더 필요하다.

The statistical outlier responsible for the significant interaction between faculty degree background (MD versus PhD) and year in medical school (Med-1 versus Med-2) deserves further elaboration.

이 교수는 다른 수업과는 달리 수업에 앞서서 완전히 다 작성된 수업 노트를 제공하지 않는다. 대신 중요한 제목만 적혀있고 많은 공란이 있는 노트를 나눠줘서 강의를 하는 동안 만들어진 강의록들을 넣을 수 있게 하였다. 이 교수는 파워포인트도 사용하지 않으며, 대신 강의시간에 보고, 듣고, 기록하는 내용이 학생의 학습에 중요하다는 철학을 가지고 있다.

He does not, in advance of the lecture, provide students with complete notes like those they receive in other sections of the course. Instead, they receive pages with the major headings (the topics that will be covered) and plenty of blank space on which they can copy the notes the lecturer produces (and provides via overhead projection) as he lectures. He uses no PowerPoint slides. Rather, his philosophy is that hearing, seeing, and writing the lecture material at the same time contributes to retention and aides student learning.

이 통계적 아웃라이어를 제거하고 나면 강의에 출석 여부에 상관없이 학생들의 강의평가 점수는 PhD와 MD사이에 차이가 없었다. Preclinical medical student의 강의평가는 기초과학 내용이 임상과학 내용과 잘 연결이 되어 있을 때 더 높아진다는 연구결과가 있다.

Once we removed the data related to the statistical outlier, we found that students tended to rate clinical faculty (those with MDs) higher than the basic scientists (those with PhDs), regardless of whether they had or had not attended lectures. This phenomenon may reflect the nature of the content delivered by these lecturers, or it could be a subconscious, or even conscious, display of content favoritism. Previous studies of preclinical medical students’ evaluations of their courses have suggested that basic science material, when well integrated with the clinical sciences, can have a significant, positive impact on student evaluations of lecturers.11

또한 우리의 연구에서는 학점이 출석과는 관련이 없지만, 학점을 무엇을 받았느냐가 강의평가 점수와 연관이 있음을 보여주고 있다.

Our results also showed that class grade has a significant impact on how students evaluate faculty, though grade does

not relate to attendance.

이전의 연구에서 더 높은 학점을 받은 학생이 강의평가를 더 제때제때 하고 교수자의 교수능력에 대해서 더 실질적인 코멘트를 해 주는 것으로 나타난 바 있다.

Previous studies have suggested that students who receive higher grades tend to complete their faculty evaluations in a more timely manner and offer more substantive comments about the lecturers’ performance.12

교수들이 학생에 의해서 평가를 받을 때, 학생들의 출석여부가 고려되어야 할 필요가 있다. 이는 교수에 대한 평가가 승진이나 테뉴어 심사에 적용될 때 특히 더 중요할 것이다. 특정한 교수자-학습자 관계에 촛점을 맞추기보다 강의가 강의실의 수업을 넘어서까지 효과를 미치는 것에 집중하는 것이 의과대학 교육의 질을 높이는데 더 도움이 될 것이다.

When faculty are being evaluated by students, the students’ attendance at in-person teaching events needs to be taken into account. This accounting may be of particular importance when faculty are being evaluated by promotion and tenure committees. Focusing instead on specific teacher–learner relationships and their effectiveness outside the classroom may prove to be a better gauge of medical educator quality.

The Impact of Lecture Attendance and Other Variables on How Medical Students Evaluate Faculty in a Preclinical Program.

Students' attendance at lectures, year, and class grade, as well as lecturer degree, affect students' evaluation of lecturers. This finding has ramifications on how student evaluations should be collected, interpreted, and used in promotion and tenure decisions in this evolvingmedical education environment.

(출처 : http://www.massgeneral.org/education/internship.aspx?id=38)

멘토쉽은 의학(의료)전문가를 양성하는데 있어서 매우 중요하다.

Mentorship is a key component of professional development in the field of academic medicine

비공식적(informal)멘토링이 있고, 공식적(formal) 멘토링이 있다.

Informal mentoring occurs spontaneously, as mentors and mentees form a successful relationship built on shared interests and interpersonal chemistry.1 Formal mentoring develops around a systematic infrastructure that aims to replicate the effect of informal mentoring.1

멘토링을 활용하는 정도는 사람마다, 기관마다 차이가 있어서 19%와 84%까지로 다양하다. 1966년부터 2002년까지의 연구를 분석한 리뷰 논문에서 의과대학생과 의사들을 위한 멘토링 프로그램은 수련 기간이 종료되고부터는 점차 줄어든다고 보고된 바 있다.

The prevalence of mentoring in academic medicine varies: Between 19% and 84% of clinical faculty members reported currently working with a mentor in a recent review.2 A review of the literature from 1966 through 2002 that describes mentoring programs for medical students and doctors suggests that mentoring becomes less common once formal training is complete.3

이 논문의 목적은 (1)지난 리뷰논문 이후로 발표된 논문을 찾고 (2)그 논문들에서 다룬 멘토링 프로그램의 목적과 핵심 요소들을 정리하고 (3)각 모델과 요소에 따른 장점을 요약하고자 하는 것이다.

Specifically, our aims were (1) to identify articles published since the last review on this topic (i.e., articles published between 2000 and 2010) that describe models for mentoring programs for physicians in practice, (2) to describe the objectives and core components of these programs, and (3) to summarize the relative benefits of each model and their elements

Mentoring models

일곱가지 멘토링 모델이 있다.

Dyad : 1대1. 가장 전통적인 형식

Peer : 동료. 비슷한 나이, 경험, 등수(rank)의 멘토.

Facilitated Peer : 시니어 멘토에 의해서 관리되는 Peer cohort

Speed : 멘토와 멘티가 멘토링 관계를 맺기에 앞서서 10분간의 짧은 시간동안 하는 것

Functional : 특정 프로젝트에 대한 멘토링

Group : 그룹

Distance mentoring : 원거리

Seven mentoring models were described in the reviewed articles: dyad, peer, facilitated peer, speed, functional, group, and distance mentoring. The traditional dyad, pairing a mentee with a more senior or more experienced mentor, was most common and was the only model in place for nine programs.5–7,9,10,17,18

Dyad 모델의 변형으로 functional mentoring과 speed mentoring이 있다.

Variations of the dyad model, functional mentoring and speed mentoring, were also described. 

The functional mentor was paired with a mentee to provide guidance for a specific project.15

Speed mentoring was a one-time event with mentees and mentors paired for 10-minute periodsto initiate mentoring relationships.14

피어 멘토링 모델만을 사용한 논문도 있다. 이 중 한 연구에 참여했던 멘티들은 Top-down형식의 멘토링이 아니어서 좋았다고 응답했으며, 다른 연구에서는 피어 멘토링에는 투자해야 할 것은 시간과 헌신적인 자세 뿐이라는 사실에 만족해했다.

Two articles described the use of only the peer mentor model, through which groups of individuals similar in age, experience, and rank mentor one another.11,19 Mentees in one of these studies favored that program development did not occur in a topdown fashion.19 The other group felt that peer mentoring is especially beneficial in areas with fewer resources because peer support requires nothing more than time and commitment.11

로컬 멘토가 부족한 점을 다른 기관의 시니어 멘토와의 협조를 통해서, 즉 피어 멘토링과 원거리 멘토링을 활용하여 극복한 사례도 있다. 또 다른 연구에서는 일대일, 피어, 원거리 멘토링을 혼합한 방법을 사용하기도 한다.

One program overcame the scarcity of local mentors by collaborating with a senior mentor at another institution, a combination of peer and distance mentoring.16 Another employed dyadic, peer, and distance mentoring with the mentees supported by a peer mentor (i.e., a colleague close in academic rank to the mentee), a local mentor (i.e., a medical faculty mentor from the same institution as the mentee), and a distance mentor (i.e., a mentor from outside the mentee’s institution).12

Program objectives

멘토링 프로그램의 목적은 다양했는데, 특정한 목적에 따라 디자인 된 것도 있었고, 좀 더 종합적인 목적에 따라 디자인 된 것도 있었다. 가장 흔한 목적은 다음과 같다.

(1) 전문성과 직업 개발 professional or career development,5,7–9,11,12,16,17 

(2) 학문적 영역 academic success,6,8,10,13 

(3) 네트워킹 networking,6,7,10,14,16,19,20 and 

(4) 교수 잡아두기 faculty retention.10,12

Program objectives varied widely. Some programs were designed to meet specific needs, and others were designed to be more comprehensive. The most common global objectives of mentoring programs were (1) professional or career development,5,7–9,11,12,16,17 (2) academic success,6,8,10,13 (3) networking,6,7,10,14,16,19,20 and (4) faculty retention.10,12

Program components

이 리뷰는 성공적인 공식적 멘토링 프로그램의 요소들을 밝히기 위해서 수행되었다.

We undertook this review to determine the components that build successful, formal mentoring programs. The term “formal” in this context indicates that the articles described a recognized infrastructure for mentoring

일곱 개의 핵심 요소들은 아래와 같다.

Although the 16 articles varied in the degree to which they described systematic components, we identified seven key components across multiple programs as detailed below.

Mentor preparation. 

준비된 멘토

As an element of organizational readiness, several programs addressed mentor preparation.5,9,10,12,18 Llewellen-Williams and colleagues12 developed a Mentor Readiness Inventory and found that mentors desired both retraining to enhance their teaching skills and instruction on, specifically, how to mentor.

Planning committee. 

멘토링 설계 위원회

Several programs were overseen by a team or committee.10,15,17,18 Committee members included faculty15,17 and “senior department managers.”17 Committee responsibilities included pairing mentees and mentors,15,18 program oversight and design,17 program monitoring and intervention as needed,15 evaluation and data interpretation,17 and assurance of program effectiveness.17

Contracts. 

계약 및 계약서

Several programs drew on written mission statements or contracts.5–7,10,11,13,16

Pairing mentors and mentees.

멘토와 멘티 짝짓기

Of the 10 programs with paired mentee–mentor dyads, 4 allowed mentees to choose their mentors,6,9,10,17 rather than the more traditional pairing of mentors and mentees by an external party. Most mentees chose mentors within their own academic section or department.17

Mentoring activities.

멘토링 활동

A minority of reviewed programs were structured around a single activity, such as speed mentoring14 or group mentoring sessions during a national professional conference.20

정기적인 미팅이 가장 흔한 형태의 멘토링 활동이었다.

Regular meetings between mentors and mentees or among peer mentors were the most common mentoring activity.

Formal curricula for mentees.

멘티를 위한 공식적 커리큘럼

A formal training element for mentees was described as part of three programs.11,13,15 Curricula topics included career development,11,15 research,11,13,15 teaching,11,15 and clinical practice.15

Program funding and participant compensation.

참여에 대한 보상

The funding for mentoring programs came from both external5–10 and internal10–12,19sources.

Evaluation and outcomes

멘토링 결과를 평가한 프로그램을 보면, 대부분은 멘티로부터 자료를 수집했으며, 일부는 멘토에게 자료를 수집했다. 데이터 수집은 수로 설문조사로 이루어졌고 면접이나 포커스 그룹 인터뷰 등도 사용되었다.

Of the programs that evaluated results, most gathered data from mentees6–8,13–19; fewer also collected data from mentors.6,10,14,15,17,18,20 Data collection was predominantly by survey,7,8,10,13–18,20 though program leaders also used participant interviews6,8 and focus groups6,18,19 as means of collecting data

Barriers to program development

멘토링의 장애물에 대해서 언급한 논문의 저자들은 거의 없었다. 정해진 시간이 없는 멘토링 프로그램에서는 대부분의 멘티들이 멘토의 시간 여유 부족을 가장 큰 문제로 꼽았다. 정해진 시간이 없는 것은 프로그램 구성이나 멘토 모집에 장애물로 작용한다.

The authors of the articles we reviewed seldom mentioned barriers to developing mentoring programs. In a mentoring program with no protected time, most mentees felt that mentors’ lack of time was detrimental to the program.18 Lack of protected time was also identified as a barrier both to program organization6 and to mentor recruitment.20

Integration with previous research

Buddeberg-Fischer와 Herta의 리뷰에서는 학생 뿐만 아니라 의사를 대상으로 한 멘토링도 포함되어 있다. 의사에 대한 멘토링은 교수개발로부터 출발하였다. 우리가 밝힌 것은, 일부 멘토링 프로그램이 여전히 교수개발 프로그램에 속한 형태로 남아있긴 하지만, 지금은 독립적인 형태의 멘토링 프로그램을 지원하는 경우가 많다.

Buddeberg-Fischer and Herta’s3 review of the mentoring literature between 1966 and 2002 included programs for physicians—both in practice and in training—as well as medical students. They found that mentoring for physicians emerged from faculty development programs; our review revealed that, although some mentoring programs remain embedded in faculty development programs, institutions now support and implement independent mentoring programs as such

우리의 리뷰에 따르면 일대일 멘토링이 남아있고, 가장 흔히 사용된다. 전통적인 일대일 멘토링에서 멘티가 멘토를 고를수 있게 하는 것은 상당히 좋은데, 이같은 "윗사람 관리(managing up)"는 멘티를 더 주도적으로 만들어서 멘토링이 좀 더 성공적으로 이루어질 수 있게 한다.

In our review the dyad mentoring relationship remains, as it was in the last 35 years of the 20th century, the most frequently described model. Allowing mentees to choose mentors in the traditional dyad model is highly valued.15,21 In the business world, this practice of “managing up” has encouraged mentees to take control of the mentoring relationship which helps ensure mentee success.21

이 리뷰에 따르면 멘토는 멘토로서 역할을 훈련받게 된다. 지난 리뷰에는 이러한 훈련 프로그램이 거의 없었다. 하지만 지난 리뷰나, 이 리뷰의 한계점은 대부분 연구들이 기술적(descriptive)이고, 지역적(local)이며, 주관적(subjective)이고, 입증이 어렵고(unvalidated), 그리고 표준화된 평가 형식이 없다는 것이다. 이러한 문제로 인해서 개개의 프로그램에 따른 멘토링 프로그램의 성과를 평가하기가 어렵다.

Our review indicates that mentors are now trained to perform their role in some programs; such training was completely absent according to the last review. A weakness noted previously2,3 and persisting through the articles we reviewed is that reported results remain mostly descriptive, local, subjective, unvalidated, and without standardized evaluative metrics, such that no conclusions can be made regarding the effect of individual program components on mentoring outcomes.

Implications for medical practice

멘토의 수가 제한적인 상황에서는 전통적인 일대일 방식보다는 peer 또는 facilitated 모델이 효과적일 수 있다. 멘토링 프로그램에 대한 적절한 지원은 성공을 위해 필수적이며, 시간적으로 제한되거나 정해진 시간이 없는 상황은 멘토링 프로그램에 장애물로 작용한다. 멘토링 프로그램을 위한 정해진 시간이 있는 프로그램에 참여했을 때, 그 참가자들은 기관(조직)이 멘토링을 제대로 하고 있다고 받아들인다. 또한 계약서를 작성하는 것은 멘토링 관계를 좀더 확고하게 만들어서 mission statement를 사용하거나 signed agreement를 활용하는 것이 멘토링 관계에 책임감을 높이는데 도움이 된다.

In settings with limited mentors, peer and facilitated models help extend available resources and benefit more mentees than would be possible with the traditional dyad model. Adequate support for the mentoring program is a key ingredient to success because sustaining mentoring activities without support is difficult.10 Limited or unprotected time was often cited as a barrier to program development. Participants with protected time viewed this commitment from their institutions as a sign of acceptance for mentoring.15 Lastly, although other reviews have noted that contracts may make the mentoring relationship inflexible,22 the use of mission statements to set boundaries and of signed agreements to enforce accountability to mentoring relationships may be helpful.5–7,10,11,13,16

Going forward

멘토링 프로그램에서 가장 어려운 것은 평가이다. 대부분은 주관적이고, 특정한 주제에만 집중하고 있으며, 로컬 프로그램에 대해서 단기적 성과만 보고 있다. 기관간 연구를 촉진하고, 연구를 더 일반화 시키기 위해서는 표준화된 기준이 필요하다. 이러한 목적에서 Berk 등은 멘토링 관계를 평가하기 위한 설문지를 만들었다.

Program evaluation for the most part, however, remains largely subjective or focused on specific, local program aims and short-term results. Standardized metrics would facilitate cross-institution research and enhance generalizability. To this end, Berk and colleagues25 developed two questionnaires to comprehensively assess the mentoring relationship by evaluating behavioral characteristics of the mentor as well as the characteristics and outcomes of the mentoring relationship

또한 멘토링이 장기적으로 영향을 미친다는 점을 고려하면, 장기적 성과를 조사하고 보고하는 시스템이 필요하다.

Additionally, given the likely longitudinal effects of mentoring on individuals’ careers, examining and reporting longterm outcomes is essential.

Mentoring programs for physicians in academic medicine: a systematic review.

(출처 : http://admissions.berkeley.edu/selectsstudents)

지난 수십년간, 각 의과대학은 AAMC의 지원을 받아 

의과대학 지원자를 평가하는 기준틀을 확장시키는 작업을 해왔다. 

이러한 노력의 결과로 "holistic review"라는 이름으로 2003년 미국 대법원의 배서를 받았다. 

"고도로 개인화된, 개개 지원자의 파일을 전인적으로 평가함으로써 

지원자가 다양한 교육적 환경 속에서 어떠한 기여를 할 것인가를 판단할 수 있다."

이러한 접근법 하에서 의과대학은 

"각 지원자가 나름의 강점, 성과, 특징을 가지고 눈에 띄는 기여를 할 수 있을 것인가를 평가한다"

학부GPA, MCAT점수, 봉사단체에서 리더십 역할 등과 같은 각각의 요소들은 

지원자의 전체적인 포트폴리오/지원자 정보의 맥락에서 평가된다.

2003년 holistic review를 도입한 BUSM은 구조화된 면접, 

교수와 스텦 교육, 데이터의 체계화된 분석 등을 활용하여 

인식하고 있는, 그리고 인지하지 못하고 있는 편견을 최소화시킨다.

이렇게 선발된 학생들은, 문화적/언어적/인종적/민족적으로 이전에 그렇게 선발되지 않은 학번보다 더 다양했으며,

 GPA와 MCAT점수를 기준으로 봤을 때, 학업적으로도 동등한 수준으로 준비되어 있었다.

Modern medicine has been characterized by rapid and accelerating progress in biomedical sciences as the foundation for clinical practice. In 1910, the Flexner Report established these sciences as the core of medical education.1 

Admissions committees at U.S. medical schools have, for the past century, focused their attention largely on predictors of success in the foundational science curriculum, relying heavily on academic performance in the biologic and physical sciences and scores on the Medical College Admission Test (MCAT) in selecting applicants for medical school

Over the past decade, individual medical schools, supported by the Association of American Medical Colleges (AAMC), have been working to expand the frame of reference for evaluating applicants for medical school. These efforts have come together under the “holistic review” rubric endorsed by the U.S. Supreme Court in 2003: “highly individualized, holistic review of each applicant’s file, giving serious consideration to all the ways an applicant might contribute to a diverse educational environment.” Under such an approach, a school “seriously considers each ‘applicant’s promise of making a notable contribution to the class by way of a particular strength, attainment, or characteristic — e.g., an unusual intellectual achievement, employment experience, nonacademic performance, or personal background.’”3

The AAMC Holistic Review Project has defined holistic review in medical school admissions as “a flexible, individualized way of assessing an applicant’s capabilities by which balanced consideration is given to experiences, attributes, and academic metrics . . . and, when considered in combination, how the individual might contribute value as a medical student and future physician.” 4

Each factor, be it the undergraduate grade-point average (GPA), the MCAT score, or the leadership roles assumed in volunteer service organizations, is evaluated in the context of the complete portfolio of information available about the applicant. That is, a given level of accomplishment for one applicant may look very different in the context of another applicant with a different life story.

In 2003, the Boston University School of Medicine (BUSM) became one of a number of U.S. medical schools to launch a systematic transition from a traditional admissions model based largely on the review of academic metrics to a comprehensive, holistic review process. It was a slow and deliberative transition, but by 2008, changes in the BUSM admissions program were clear and substantial, and the effects were evident in the entering class of 2009.

The table shows one such tool: a list of desirable traits for physicians matched with the elements of applicant data that reveal or predict those traits. Direct measures of these traits are often unavailable, so proxies are used. Holistic review is an information-hungry process;

The BUSM program uses structured interviewing, rigorous training of participating faculty and staff, and systematic evaluation of data elements, all of which minimize the influence of conscious and unconscious bias. 

Since BUSM became engaged in holistic review, the profile of its entering class has changed dramatically 

Students are culturally, linguistically, racially, ethnically, and demographically more diverse than previous classes, and according to the standard measures of undergraduate GPA and MCAT score, they are at least as well prepared academically

Holistic review--shaping the medical profession one applicant at a time.

PMID:

 

23574032

 

[PubMed - indexed for MEDLINE] 

Free full text

(site : http://chicagomedicaltrainingcenter.org/usmle/usmle-step-2-cs/)

시험에 드는 비용과 그 투자 수익률(ROI)을 고려하면 USMLE step 2 CS는 그 존재 가치가 낮고, 

따라서 없애는 것이 나을 수도 있다.

98%의 미국과 캐나다 응시자가 USMLE step 2 clinical skills (CS) 시험을 첫 번째 응시에 통과한다. 

또한 한 번 떨어진 사람들 중에서도 91%는 두 번째 응시에 합격한다. 

따라서 두 번 이상 떨어지는 사람은 1000명중 1.8명에 불과하다.

한 해에 17852명의 응시자가 있다고 할 때, 

두 번째 시험에서도 떨어지는 응시자는 그 중 단 32명 뿐이다. 

응시자 중 아무도 응시료를 내기 위한 대출을 받지 않는다고 하더라도, 

한 명의 '재수 실패자(double failure)'를 골라내기 위해서 드는 비용은 635,977달러에 달한다.

비슷한 논리로, "그러면 모든 USMLE 시험이 다 필요없는 것 아니냐" 하는 사람도 있지만, 

USMLE Step 2 CS만이 Pass/Fail로 결정된다. 나머지 시험은 정량적 결과를 제공한다.

또한 "모든 사람이 응시료를 내기 위해 대출을 받는 것은 아니지 않느냐" 라고 할 수도 있지만, 

여전히 이 시험을 보기 위해 돈을 내는 것에 대한 '기회비용'이 존재한다. 

돈이 자기 주머니에서 나가든, 대출을 해서 내든 근본적 차이는 없다.

미국이나 캐나다 의과대학을 졸업한 학생은 98%가 첫 번째 응시에서 이 시험을 통과하나, 

그 외의 외국 의과대학을 졸업한 학생은 79%만이 통과한다. 

따라서 이 시험이 미국이나 캐나다 외의 외국 대학 졸업 학생을 대상으로 해서는 의미가 있을 수 있다.

Efforts to minimize the regulatory and administrative burden in U.S. health care have never been greater.

One regulatory domain that deserves greater scrutiny in this context is medical licensure

For example, the National Board of Medical Examiners (NBME) and the Federation of State Medical Boards (FSMB) mandate the purchase of four licensing products by medical students and resident physicians over the course of their training.

This three-step series of examinations is known as the United States Medical Licensing Examination (USMLE) and is jointly administered by the NBME and FSMB.

Given the pass rates among examinees and the exam’s cost, we believe that Step 2 CS provides a poor return on investment and little appreciable value to the U.S. health care system — and should therefore be eliminated.

Under the assumption that the average physician takes 15 years to pay off medical student debt, compounded interest would increase the aggregate annual cost of the Step 2 CS to $56.4 million.

If that were the case, given a standard inflation discount rate of 3%, the 15-year cost of the exam would be $36.2 million annually in 2012 dollars.

Ninety-eight percent of U.S. and Canadian examinees pass Step 2 CS on their first attempt.1 Examinees who must repeat the exam have a 91% pass rate, so the fraction of test takers who fail more than once is 1.8 in 1000.

Of 17,852 examinees taking the exam in a given year, we predict that only 32 per year would not pass the exam on a repeat attempt. Even if no examinee had to use a loan to pay for the exam, the cost of identifying a single “double failure” would be $635,977;

Some might interpret this analysis as suggesting that all written licensing exams should be eliminated, since all USMLE exams have relatively high initial pass rates (94% or higher for all M.D. candidates from U.S. or Canadian medical schools).1 However, in contrast with Step 2 CS — which is ultimately graded on a pass or fail basis — the remaining USMLE examinations externally report quantitative data on examinees’ performance relative to their peers.

Others may question the assumptions behind our calculations, noting that not every examinee borrows money to pay for

the test. Although this is a fair critique, the fact remains that money spent on the exam is no longer available to the examinee and so represents an opportunity cost of taking the Step 2 CS exam. This opportunity cost exists whether the exam is paid for out of pocket or with loans and serves as the rationale for compounding of interest.

One purpose of licensing exams is to identify insufficiently trained examinees in order to prevent them from practicing medicine, at least until appropriate remediation is undertaken. Step 2 CS has the potential to achieve this objective by identifying examinees who have difficulty communicating with patients, because English-language proficiency is one of the three skills tested.3 Indeed, the pass rates of examinees from North American medical schools are markedly different from those of examinees from international medical schools: 98% of U.S. and Canadian examinees have passed on their first attempt, whereas only 79% of those who attended medical schools outside the United States or Canada have done

so.1 

To paraphrase a quip often attributed to Everett Dirksen: a million here, a million there — pretty soon, you’re talking real money.

The Step 2 Clinical Skills exam--a poor value proposition.

(출처 : http://www.directortom.com/director-tom/2008/10/10/does-your-companys-video-have-a-mismatch-problem.html)

지난 수십년간, 미국내 의사의 공급(의사 수)은 너무 적었다가, 너무 많아졌다가, 

다시 너무 적은 상태로 오락가락 하고있다. 

2006년, 의사 수가 부족할 것이라는 경고가 있었고 

AAMC는 그 후 10년간 의과대학에서 선발하는 학생을 30% 늘릴 것을 권고하였다.

그러나 더 많은 의사를 양성하고자 하는 것에 있어서 또 하나의 장애물이 있다.

레지던트 숫자는 늘어나지 않았기 때문에 

늘어난 의대 졸업생 전부를 수용하지 못하게 된 것이다. 

For generations, the supply of practicing physicians in the United States has swung from too small to too large and back again. In 2006, alarmed about a growing physician shortage, the Association of American Medical Colleges (AAMC) recommended that medical school enrollments be increased by 30% over the next decade

But there’s another barrier to creating enough practicing physicians: there are insufficient residency posts to accommodate all these medical graduates.

After two decades (1980 to 2000) when the number of U.S. medical school graduates remained steady (about 16,000 annually), a burst of activity has led to the expansion of existing medical schools, the development of new ones, and rapid growth of colleges of osteopathy. 1 In 2002, there were 125 U.S. medical schools; today, there are 141, and about one third of the recent growth in enrollment derives from new schools.

Indeed, federal funding is a key factor limiting the number of GME positions, which, in contrast to medical school seats, has increased remarkably slowly — at an annual rate of 0.9% from 2001 through 2010.2 

Medicare is the primary supporter of GME programs

Efforts by the AAMC and its allies to persuade Congress to increase Medicare GME support — funding an additional 15,000 positions — were thwarted during the debate over the Affordable Care Act (ACA).

For the 2009–2010 academic year, 27 states still had more GME positions than they had undergraduate medical and osteopathic students to fill them

Many of the remaining states are rural, small, or both and have limited GME capacity; 

Among the large states with too few GME training positions, Florida and Texas face major challenges: between them, they have developed four new medical schools in the past decade but have added very few advanced training posts.

On a national level, the American Academy of Family Physicians (AAFP) argues that the administration’s cut to Medicare

GME funding could imperil family- medicine residency programs.

Given enrollment growth, it may soon be impossible for all graduates of U.S. medical and osteopathic colleges to secure GME slots unless there is a sizable increase in the number of training positions. Currently, there are 117,604 residency- training posts accredited by the Accreditation Council for Graduate Medical Education. In the 2013 main residency match, according to the National Resident Matching Program, 25,463 positions were filled with 17,119 graduates of U.S. medical schools, 6307 graduates of international medical schools (2706 U.S. citizens and 3601 non-U.S. citizens), 2019 graduates of colleges of osteopathic medicine, 14 graduates of Canadian schools, and 4 from Fifth Pathway programs.5

The large cohort of international medical-school graduates who seek U.S. training positions every year will be in even greater jeopardy.

N Engl J Med. 2013 Jun 19. [Epub ahead of print]

The Residency Mismatch.

(출처 : http://www.golocalise.com/en/studios)

의료분야에 있어서 (기관이나 사람에 따라) 질적 차이가 크다는 것과 

의료진이 근거중심 진료를 잘 따르지 않는 것은 잘 알려진 문제이다. 

더 많은 교육을 하는 것은 이들 문제의 해결책이 되지 못한다. 

지식은 이미 충분하나, 실제로 이행하는 것에서 뒤쳐지기 때문이다. 

여기서는 의료 과정을 비디오 녹화하는 기존의 기술을 이용함으로써 

의료의 질이 향상될 수 있다는 것에 대해 이야기하고자 한다.

IN MEDICINE, THE PROBLEMS OF WIDE VARIATIONS IN quality and poor compliance with evidence-based care are well known. More education is not the solution for these problems. Knowledge is abundant, but implementation of knowledge often lags. This Viewpoint explores whether use of an existing technology, video recording of medical procedures, can improve quality of care.

Although the World Health Organization’s hand washing declaration and aggressive global awareness campaign has been long established, behavior change among health care workers remains a persistent struggle

The concept of measuring quality for learning is not a proposal to rewire hospitals and install cameras, but rather, a consideration that many applicable activities and procedures are already video based

At Indiana University, Rex et al2 decided to use the recording feature of colonoscopy video equipment to address the long-standing problem of quality variations in colonoscopies

The researchers then informed the gastroenterologists that their procedures were being video recorded and peer reviewed. Following the announcement, mean inspection time during colonoscopy increased by 49% and quality of mucosal inspection improved by 31%,2 suggesting a substantial improvement in quality because of the Hawthorne effect.

Peer review of videos can also enhance existing quality improvement efforts.3

better inform morbidity and mortality conferences

exportability of video files can facilitate external review

In addition to reviews triggered by patient harm, video recording also offers a valuable opportunity for coaching. In the same way that athletes learn from coaches when jointly watching videos of past games, physicians can also learn from their performance by viewing with a coach.

Developing independent coaching networks will require an investment by hospitals, professional physician associations, and a new infrastructure, but the potential reward of improving procedure quality and safety may be substantial.

According to the 2012 Institute of Medicine Best Care at Lower Cost report, unnecessary medical care may account for as much as 30% of US health care expenditures.5

Transparency through video recording in medicine may help to decrease waste in health care through increased accountability.7

Even for appropriate procedures, saving a video of the procedure could be valuable for future physicians when treating a patient

Patients also appear to support the idea of having their procedures recorded. In one study in which 248 patients were asked if they would be interested in receiving a video of their procedure, 81% said yes and 61% were willing to pay for it.8

Video recording of procedures also might help address the chronic problem of disruptive behavior in medicine. In a study of 50 hospitals, 86% of nurses and 47% of physicians reported witnessing disruptive behavior by physicians and nurses.9

There are, of course, some important boundaries to video recording for quality improvement. Patients must be informed that their medical procedure will be recorded and given the option to decline. If they opt to receive a copy of their procedure video, they should be properly informed about what to expect so that the known imprecisions intrinsic to medical procedures that are within the standard of care do not cause false alarm.

In the new era of data storage, the adoption of video recording to improve quality and safety should be more widely implemented. Based on early observations, this approach also could help drive quality improvement to the next level.

The power of video recording: taking quality to the next level.

Department of Surgery, Johns Hopkins University School of Medicine, Baltimore, MD, USA. mmakary1@jhmi.edu

(출처 : http://www.residencysecrets.com/2013/05/28/the-next-accreditation-system-its-impact-on-feedback-evaluation/)

"기본적으로 역량중심 교육과정과 지금까지 해오던 방식의 차이점은, 

여기서 '역량'이라는 단어가 의미하는 바가 대중의 요구, 그리고 더 나은 의료 결과라는 점입니다. 

따라서 의사는 이러한 것을 실제로 할 수 있어야 하기 때문에

각 임상과는 이 목표를 어떻게 달성할 수 있을 것인가를 생각해야 합니다. 

또한 학생들이 질문하는 방법을 익히고, 연구 논문을 읽는 방법을 익히는데 도움을 줄 교수들도 필요합니다. 

이는 단순히 강의를 해주는 것이 아니라 '어떻게 생각해야 하는가'를 가르치는 것입니다."

"학생들은 이것이 환자중심적 의료로의 변화라는 것을 이해해야 합니다. 

의료전달체계가 빠르게 변호하고 있기 때문에 우리 의사들은 사고를 유연하게 가져가야 할 필요가 있습니다. 

앞으로는 학생을 선발할 때도 

그 학생의 학문적 능력 뿐만 아니라 

좋은 의사가 되기 위해 필요한 자질에 대해서도 눈여겨 봐야 할 것입니다."

“Basically, the difference between competency-based education and the way we have always done it is that competency means that what the public needs, good health outcomes, is what a physician should actually be able to do, and each specialty has to decide how to achieve this,And we need faculty members who can help students learn how to ask questions or read a research article. It’s not about giving them a lecture but teaching them how to think.”

“For the student, this is not just about change, but it focuses greater attention on patient-centered care,” Aschenbrener said. “With the rapid changes seen today in the health care delivery system, we need physicians with cognitive flexibility. As for admitting students into medical school,we need to continue paying attention to academic ability, but we also need to consider the other attributes that make a good physician.”

MEDICAL RESIDENCY PROGRAMS are about to undergo substantial changes in the ways the physicians of tomorrow are trained. 

Beginning in July, the Accreditation Council for Graduate Medical Education (ACGME) will implement the Next Accreditation System to oversee training residents in 7 specialties

The aims of the new system are to “enhance the ability of the peer-review system to prepare physicians for practice in the 21st century, to accelerate the ACGME’s movement toward accreditation on the basis of educational outcomes, and to reduce the burden associated with the current structure and process-based approach” (Nasca TJ et al. N Eng J Med. doi:10 .1056/NEJMsr1200117 [published online March 15, 2012]).

The ACGME was founded in 1981 when the graduate medical education environment faced 2 major stresses: 

Variability in the quality of resident education 

and the emerging formalization of subspecialty education.

Acknowledging the new stresses, the ACGME pushed for the Next Accreditation System. Under this approach, each medical residency program accredited by the ACGME will have to demonstrate that its residents have the core competencies and clinical skills to provide quality patient care and the ability to respond to ongoing developments in health care delivery.

To measure such competencies, each specialty is developing educational milestones

Changes in resident training mean changes in the teaching of medical students as well

“Basically, the difference between competency-based education and the way we have always done it is that competency means that what the public needs, good health outcomes, is what a physician should actually be able to do, and each specialty has to decide how to achieve this,And we need faculty members who can help students learn how to ask questions or read a research article. It’s not about giving them a lecture but teaching them how to think.”

“For the student, this is not just about change, but it focuses greater attention on patient-centered care,” Aschenbrener said. “With the rapid changes seen today in the health care delivery system, we need physicians with cognitive flexibility. As for admitting students into medical school,we need to continue paying attention to academic ability, but we also need to consider the other attributes that make a good physician.”

Residencies roll out new training system.

(출처 : http://blogs.nature.com/naturejobs/2012/10/17/challenging-the-integrity-of-scientist)

의사들의 진실성(integrity) 교육을 위한 프로그램이 부족한 현실을 해결하기 위해서는 

광범위한 이해관계자들을 포괄하는 해결책이 나와야 할 것이다. 

이 사안는 환자와 사회가 의사집단에 주는 신뢰와 직결되기 때문에 

의사들의 프로페셔널리즘과 윤리에 대단히 중요한 문제이다. 

지불제도의 개혁은 진실성과 인센티브에 대한 지형(landscape)을 변화시킬 것이나, 

의사들의 바른 인식을 대체할 수는 없다. 

연방정부와 주정부도 중요한 이해관계자이지만, 

공공 및 개인의 의료, 환자, 그리고 의사 자신을 지켜내기 위해서는

의학교육, 면허기관, 전문의 인증 등의 분야의 리더들이 함께 힘을 합쳐서 

문제에 대한 인식을 충분히 공유할 수 있도록 노력해야 할 것이다. 

ABOUT 18% OF THE US GROSS DOMESTIC PRODUCT is consumed by health care—more than that of any other industrialized country—and that number is expected to increase to 20% by 2020

Program integrity—a term frequently used by payers for program losses due to inefficiencies, inappropriate payments, or exploitation—spans the spectrum of waste, abuse, and fraud, which divert health care dollars from the provision of patient care. Waste alone may account for 30% of overall health care costs.1

At the most basic level, documentation and billing are not performed well by many physicians and physician offices

The effects can be substantial. The Centers for Medicare &Medicaid Services (CMS) Comprehensive Error Rate Testing (CERT) process identified an overall Medicare fee-forservice error rate of 8.6% of payments for 2011, amounting to nearly $30 billion.3

While defensive medicine is frequently cited as a driver of overutilization, incentives in the fee-for-service payment structure are motivating factors as well.5

This relationship exists for physicians even within the same specialty

Incentive-driven behavior is not just limited to the performing of tests, but also extends to abuse and “gaming” of payment differentials

Numerous studies have documented upcoding of encounters to increase revenue, particularly in certain specialties.7

Factors leading incentive-driven behavior to cross a line into abuse and fraud are complex.

Currently, there are few opportunities for program integrity education. CMS does not mandate such education to participate in Medicare and Medicaid. To our knowledge, no state medical board requires program integrity education for licensure and no specialty board requires it for board certification.

Voluntary instruction is reaching some students and new physicians. According to a 2010 OIG survey of all 160 US medical schools and 660 institutions sponsoring GME programs, only 44% of schools and 68% of institutions offered any instruction in program integrity.9 More than 90% of respondents reported that they would like the government to provide educational materials. In response, OIG developed a booklet titled “A Roadmap for New Physicians: Avoiding Medicare and Medicaid Fraud and Abuse” and a presentation to support didactic learning.

Providing educational opportunities is just a first step in raising awareness

Residency and fellowship training are likely the best times for physicians to learn about program integrity given the practical nature of GME training and the immediacy of independent practice

States generally require physicians to certify that they have completed CME during licensure renewal. States could specify that a certain amount of CME be earned in program integrity.

Each specialty board requires physicians to demonstrate knowledge and competence in professionalism and  systems-based practice in order to claim diplomate status

Addressing shortcomings in program integrity education will require a comprehensive solution across numerous stakeholders. This issue is central to medical professionalism and ethics because it speaks directly to the trust placed in the medical profession by patients and society. Payment reformswill no doubt alter the program integrity landscape and shift incentives, but they will not supplant the need for physician awareness. While federal and state governments are vital participants, leaders in medical education, licensure, and specialty certification would ideally work together to ensure that all physicians have sufficient awareness to safeguard public and private health care programs, patients, and themselves.

Educating physicians about responsible management of finite resources.

(출처 : http://www.medscape.com/viewarticle/727993)

졸업후교육(GME)의 질적 향상을 위해서는 

그 대학병원이 추구하는 진료의 질과 안전과 가치의 핵심적 부분으로서 

레지던트와 펠로우 수련 과정을 포용하는 리더십이 필요하다.

미국 의료의 질과 안전 향상에 대한 대중의 요구에 부응하려면, 

의료기관들은 시스템 기반의 진료의 질 향상(systems-based improvement in patient care)을 위해

 어떻게 해야 하는지를 인지할 수 있는 의료진을 훈련시켜야 한다.

CLER(Clinical Learning Environment Review, 임상 학습환경 평가)프로그램을 통해서 

ACGME는 미국의 대학병원을 비롯한 교육병원들이 진료의 안전, 질, 가치를 발전시키기 위한 

가장 효과적인 방법을 찾아내서 도입할 수 있도록 할 것이다.

MORE THAN A DECADE AFTER THE INSTITUTE OF Medicine reported problems with the quality and safety of US health care,1,2 formal training of the health care workforce in quality and patient safety is still inadequate

The AHA report identified deficiencies in newly trained physicians in...

systems-based practice, 

communication skills, 

and the ability to work within teams.

The Accreditation Council for Graduate Medical Education (ACGME) recognizes the public’s need for a physician workforce capable of meeting the requirements of the rapidly evolving health care environment. This effort dates to the late 1990s, when the ACGME, collaborating with the American Board of Medical Specialties, established 6 core competencies creating a framework for attaining the skills needed for the modern practice of medicine

The next step in the evolution of resident physician training is the Next Accreditation System (NAS), which is now being implemented by the ACGME. The NAS emphasizes outcomes instead of processes for resident learning.

The Clinical Learning Environment Review (CLER) program is the first component of the NAS5 to be operationalized nationally. 

The CLER program identifies US teaching hospitals’ efforts to engage residents in 6 focus areas: 

patient safety; 

health care quality, including reduction in health care disparities; 

transitions in care; 

supervision; 

duty hours and fatigue management and mitigation; 

and professionalism.

Site visitors gain knowledge about residents’ engagement in the 6 focus areas through group meetings and visits in clinical service areas.

At the end of the visit, the site visit team provides the institution with feedback and a written report soon thereafter.

With time, the aggregated experience regarding institutional performance in these areas will shape future ACGME accreditation requirements. Early experience with CLER visits revealed numerous interesting improvement projects and some efforts in the education and training of residents and fellows in the 6 focus areas.

High-quality graduate medical education requires the executive leadership of teaching hospitals to recognize and embrace resident/fellow training as an integral part of organizational initiatives to enhance quality, safety, and value in patient care.

Given the broad public need and mandate to improve the quality and safety of medical care in the United States, the future workforce must be trained to recognize opportunities for improvement and actively engage their health care organizations to implement systems-based improvements in patient care.

Through its CLER program, the ACGME seeks to engage US teaching institutions in identifying and implementing the most effective quality improvement strategies that focus on the safety, quality, and value of care

The clinical learning environment: the foundation of graduate medical education.

(출처 : http://www.mayo.edu/research/centers-programs/pediatric-research-center/overview)

소아과학이라는 학문을 발전시켜온 원동력은

'내일의 아이들은 오늘의 아이들보다 건강할 것이다'라는 비전이다. 

그러나 지난 30년간 소아의 질병과 건강에 대해 연구하는 사람은 점차 줄고 있다. 

왜 그럴까?

ACADEMIC PEDIATRICS IS MOTIVATED BY A VISION 

wherein the children of tomorrow are healthier than those of today. 

ACADEMIC PEDIATRICS IS MOTIVATED BY A VISION wherein the children of tomorrow are healthier than those of today. The physician-scientist is uniquely well positioned to create and translate discoveries into care.

Since the 1980s, the percentage of physicians dedicating significant components of a professional life to research has declined from approximately 5%to 1.5%.1

Despite more trainees, the population of physician-scientists is aging and the absolute number is declining.2 In 1980, 25% of research program grants were awarded to physicians older than 50 years, compared with 50% at present.1

Holes in the Pipeline

Decreasing resources for research compromises the research pipeline. 

Federal and foundation dollars are increasingly constrained.

Medical schools and clinical departments seem unwilling or unable to support unfunded research by early-career clinician-scientists.

Requirements for resident and fellow education may further compromise the development of physician-scientists. For example, Accreditation Council for Graduate Medical Education requirements now mandate engagement in “quality assurance” programs and continuity clinics, irrespective of career path

Aspiring physician-scientists are generally at a disadvantage when competing with PhD scientists for grant funding. A research trainee with an MD degree has just 2 years of incompletely protected research training during fellowship. Trainees recognize this competitive disadvantage

The high percentage of women in pediatrics is arguably the most distinctive factor in developing the next generation of physician-scientists. 

Indebtedness is a significant obstacle to the development of physician-scientists.6

Tenure standards that require immediate academic productivity are problematic,7 especially given the compressed research training of most clinician-scientists. The expectations and process for promotion and tenure are often unknown to trainees.

Lack of sufficient institutional infrastructure, including financial resources and mentoring, further dampens enthusiasm for a research career.8 

Proposed Pipeline Patches

To develop physician-scientists, it is imperative that departments, children’s hospitals, and medical schools explicitly acknowledge the importance of physicians with fluency in the language of discovery and the capacity to translate discoveries into clinical medicine. There is no substitute for this recognition. Fundamentally, creation and retention of the next generation of physician-scientists also will require

(1) a respectful and family-friendly workplace that includes flexible work hours, promotion clocks, and family support policies; 

(2) responsibilities that promote a sense of fulfillment and success, with greater than 75% dedicated research time and complementary clinical work; 

(3) promotion tracks that recognize both individual and teambased science; 

and (4) mentorship that is diverse, multigenerational, and multidisciplinary.

Conclusions

Development of the pediatric physician-scientist pathway can be facilitated by relatively straightforward and resource-efficient investments. Motivating even this relatively modest investment demands explicit acknowledgment of the value of the clinician-scientist. Children will be well-served when more children’s hospitals and pediatric departmental resources are focused on creation, retention,and promotion of the engine that has powered their growth and increasing prominence—ie,physician-scientists creating and translating knowledge into care.

Creation and retention of the next generation of physician-scientists for child health research.

Department of Pediatrics, Stanford University School of Medicine, 701 Welch Rd, Bldg B, Ste 310, Stanford, CA 94305, USA. cornfield@stanford.edu

(출처 : http://medicinex.stanford.edu/2011/12/01/a-patient-patient-sarah-kucharski-writes-about-life-with-fibromuscular-dysplasia/)

절대로 그 옛날 시절에 수련을 받던 레지던트보다 

지금의 레지던트가 의사라는 직업의 임무에 덜 충실하다고는 생각하지 않는다. 

하지만 '책임'이라는 것이 마치 빠른 속도로 회전하는 회전문과 같을 때, 

돌봄(caring)의 정의는 바람직하지 않은, 그리고 우리가 의도하지도 않은 방향으로 변질될 수 있다. 

만약 그러한 위험이 존재한다면, 우리는 이것에 대해 이야기 해볼 필요가 있다.

We are certain that today’s trainees are not a whit less dedicated to their professional mission than those of an earlier era were at their best,8 but we cannot help wonder whether the very definition of caring changes in undesirable and unintended ways when responsibility becomes a rapidly revolving door. If that risk exists, it warrants conversation.

1970년대에 레지던트를 하는 것은 비교적 간단한 일이었다. 치료의 방법이 단순했고, 정보는 면대면 대화나 전화를 통해서, 노트나 편지를 통해서 전달되었다. 의사는 팀으로 일했고 모든 팀원은 한 병동에 대해 공동의 책임을 졌다.

FOR PHYSICIANS WHO WERE RESIDENTS IN THE 1970S (like we were), it was a simpler era for care. 

- A relatively small number of medications were available for treatment and prevention of illness

- Information was exchanged by synchronous face-to-face and telephone communication or by written notes and letters.

- Physicians and surgeons worked in teams, whose members shared responsibility for the territory of specific patient wards

무엇보다 레지던트들은 한 환자가 입원을 하는 순간부터 퇴원을 할때까지 전 과정에 대한 책임이 있었다.

Residents showed their investment in the well-being of patients by taking responsibility for them during the full length of time those patients were hospitalized, starting with their admission.

그러나 2013년, 대학병원 입원환자에 대한 의료는 변화되었다. 여러가지가 있지만, 주치의가 빠르게 순환해서 종종 1주나 2주면 바뀌게 된다.

In 2013, inpatient medical care in teaching hospitals is different: far more complex, more intense, and, simply put, faster. The arsenal of diagnostic tests, medical therapies, interventional technologies, and health care professionals is much larger. Attending staff have shorter rotations, often 1 or 2 weeks.

For good reasons, resident work schedules have fewer total and consecutive hours.

Team schedules seem less synchronized, and turnover of members seems more frequent

처음에 입원을 담당한 의사가 그 환자의 최종 결과까지 책임지지는 않는다.

The length of time a single physician bears responsibility for a patient may be as short as a few hours. The inevitable result is an increase in the proportion of time a hospitalized patient is cared for by physicians who neither initiated a care plan nor will be responsible for (or perhaps even aware of ) the final outcome.

Communication patterns are now fundamentally different from those of the earlier era, due to technological progress in electronic and mobile communication

The electronic health record (EHR) has pulled both the resident and attending physicians’ focus toward the computer instead of the patient,2 and the contemporary EHR has become a series of often unrelated notes.3

속도의 변화, 복잡성의 변화, 반복되는 업무교대가 미치는 영향에 대해서 따져볼 필요가 있다.

It is worth asking what the effects of such speed, complexity, and continual handoffs may be on the perspectives of the physicians involved—both for trainees and attending physicians

이러한 해결책으로 팀을 구성하는 것도 한 가지 방법이나, 레지던트의 반복적인 교대가 개인에게 미치는 영향은 팀에게도 동등하게 적용될 수 있다.

One remedy is an effective clinical team, which can and does help mitigate the risks of rapid turnover and diffused responsibility. However, the same dynamics that can erode an individual’s mastery of patient histories can also impair teamwork. Changing team members every 2 weeks, or even more often, can confound the best intentions of the workforce.

지난 날을 미화시키려고 하는 것은 아니다.하지만 '책임' 과 '돌봄'의 의미가 무엇인지 고민해볼 필요는 있을 것이다.

These observations should not be interpreted as advocating a return to the imaginary “good old days” of everyother- night on call and brutally long working shifts; these conditions bred hazards and wrong lessons of their own. Nor should anyone ignore the importance of improving handoffs in patient care, which have now become crucial to excellence. 1 But perhaps, in this relay-race era of rapid turnover, it would be worthwhile for teachers and trainees together to examine explicitly what the profession means by the notions of “responsibility” and “caring”when a trainee’s touch time with a single patient may be bounded in minutes or hours (not weeks or months), and when an attending physician may come and go from the hospital ward faster than the patient.

만약 시니어, 주니어, 레지던트가 최선의 노력을 다하고 있음에도 제대로 된 caring이 이뤄지고 않다고 느낀다면, 시험적으로 몇몇 변화를 시도해 볼 수 있다.

If senior physicians, younger attendings, and current residents are concerned about coming up short on caring despite their best efforts, some changes may be worth testing systematically.4

more studies could be undertaken to determine whether rotations for residents and attending physicians should be lengthened or better synchronized.5 Methods of reducing stress that leads to burnout could be developed that might enable rotations to be lengthened, including reducing the need for onerous, duplicative, and usually useless  documentation by both attendings and residents.6

other solutions will be needed to increase the sense of longer-range responsibility. For example, both attendings and trainees could systematically receive follow-up on patients about whom they had made decisions.

We are certain that today’s trainees are not a whit less dedicated to their professional mission than those of an earlier era were at their best,8 but we cannot help wonder whether the very definition of caring changes in undesirable and  unintended ways when responsibility becomes a rapidly revolving door. If that risk exists, it warrants conversation.

Teaching physicians to care amid chaos.

(출처 : http://www.childrenshospital.org/cfapps/research/data_admin/Site2231/mainpageS2231P0.html)

소아 연구(Child health research)는 건강과 의료에 관한 지식을 발전시키기 위한 좋은 모델이다. 

소아 연구와 관련한 최근의 문제들로부터 우리는 

소아의 건강과 질병의 변화하는 양상에 어떻게 대처해야 하는지, 

소아의 질병의 영향이 단순한 생존의 문제를 넘어 

장기적으로 어떠한 영향을 미치는지에 대해 생각해 볼 수 있다. 

변화하는 소아 연구의 환경에 대응하기 위해서는 

혁신적인 파트너십이 필요하고, 

소아 연구 분야의 잘 훈련된 연구자들이 필요하며, 

새로 등장하는 기술을 잘 활용할 수 있어야 한다. 

또한 강력한 사회적 힘(societal force)와 연계하여 괴팍한(fractious) 정치적 환경 속에서도 

연구의 우선순위를 어린이들의 이익을 증진시키는 것에 둘 수 있어야 할 것이다.

Child health research at its best provides a model for the advancement of knowledge to improve health and health care. The challenges confronting pediatric research reflect the need to respond to the changing milieu of child health and disease and to look beyond survival to consider the longterm consequences of pediatric health and disease. This transition will require innovative partnerships, a cadre of welltrained investigators interested in child health, and creative use of emerging technologies. It will also require linkage of research priorities to larger societal forces and a renewed commitment to advancing the interests of children in an increasingly fractious policy world.

DESPITE A REMARKABLE RECORD OF ACCOMPLISHments, the pediatric research community faces mounting evidence that the nature and scope of current research are inadequate. The Editorial “Challenges to Excellence in Child Health Research,” by Zylke et al,1 casts this paradox in sharp relief by summarizing a series of articles suggesting that the quality and number of pediatric research studies lag behind research focused on adults.

A variety of technical challenges specific to child health research have been identified.2,3 Of central concern is the relative rarity of serious child health problems, which reflects the success of prior research and public health interventions to reduce traditional threats of acute, infectious diseases. 

Moreover, improved medical and surgical therapies have transformed important conditions that were once fatal in early childhood into more manageable chronic conditions. However, for many chronic childhood illnesses, etiology is still unclear and therapies are suboptimal.

The shift in the epidemiology of childhood illness away from acute infectious diseases to chronic illness and acute injury highlights the need to develop novel research strategies. 

Currently funded pediatric research networks could provide a strong foundation for expanded collaborative protocols. 

For example, the National Institute of Child Health and Human Development Neonatal Research Network could be enhanced by expansion of clinical sites and longer-term outcome studies.4

Although this technical guidance is helpful, the true promise of this effort will be its ability to generate functioning, international collaborations and the financial support such initiatives require. Moreover, the expansion of electronic health records and the development of bioinformatics to integrate health information and biologic specimens create an environment in which every patient is a potential research participant and each can benefit from the contributions of others

At the same time, a continual pipeline of young basic, clinical, and public health scientists interested in advancing child health is needed.

Excellent examples of successful public and private programs that should be expanded include the National Institutes of Health (NIH) Pediatric Scientist Development Program, the Robert Wood Johnson Clinical Scholars Program, and training programs associated with the NIH Clinical and Translational Science Awards.

The transition in child health research must also confront the powerful influence of market forces in shaping research priorities. 

Although private sector contributions to pediatric research remain important, these investments are dwarfed by funding dedicated to adult diseases. 

Government initiatives (ie, the Orphan Drug Act, the Best Pharmaceuticals for Children Act, and the Pediatric Research Equity Act) have provided special financial or regulatory incentives to develop pediatric drugs and devices for small or orphan markets.7

New perspectives about pediatric origins of adult disease, social determinants of health, and long-term effects of early exposures and interactions suggest that the poor health of children (reflected in rates of prematurity, obesity, behavioral and developmental problems, etc) can be a harbinger of poor adult health.8

Collaboration will be central to strengthening child health research, with openness to unique partnerships. For example,improvements in child health are important to the health insurance industry.

In large measure, health policy is now synonymous with cost containment and when cost containment becomes the focus, child health issues are quickly marginalized

Pediatric and other community leaders need to continue to push an agenda for children that includes attention to child health research. Children are the poorest segment of US society and have a limited political voice. Moreover, poverty has never been more heavily concentrated in childhood than it is today.

Child health research at its best provides a model for the advancement of knowledge to improve health and health care. The challenges confronting pediatric research reflect the need to respond to the changing milieu of child health and disease and to look beyond survival to consider the longterm consequences of pediatric health and disease. This transition will require innovative partnerships, a cadre of welltrained investigators interested in child health, and creative use of emerging technologies. It will also require linkage of research priorities to larger societal forces and a renewed commitment to advancing the interests of children in an increasingly fractious policy world.

The transformation of child health research: innovation, market failure, and the public good.

(출처 : http://blog.tedmed.com/?p=2736)

(출처 : http://www.uclahealthcareers.org/career-areas/non-clinical-roles)

"위대해지는 것을 두려워하지 마십시오."

Introduction

의학 분야에 있어서 의사의 역할은 진화해왔으며, 점차 다양해지고 있고, 다른 학문의 분야와 융합되어감으로써 임상의학의 양상도 변화하고 있다. 그 결과 일부 국가에서는 임상의사 외의 다른 진로를 희망하는 의과대학 학생들의 비율이 점차 증가하고 있다.

The physician’s role has evolved and diversified as the field of medicine becomes more convergent with other disciplines and the landscape of clinical practice changes [1]. Consequently, the proportion of medical school graduates who pursue careers other than full-time clinical practice has increased in some countries [2]

인구학적 특성이나 개인의 성격이 임상과 선택과 관련이 있다는 연구 결과가 있으며, 진로의 종류에 대한 생각도 임상과 선택에 영향을 준다. 개인적 특성 외에도 임상실습이나 튜터링을 하는 동안 학생이 어떠한 경험을 하는지도 진로 선택에 영향을 준다. 더 나아가서 생활습관이나 수입과 같은 외적 요소들고 임상과 선택에 영향을 준다고 연구된 바 있다.

Some studies show that student demographics and characteristics are associated with their specialty choice [3-7]. Medical students’ orientations towards career types also influence their specialty choices [8]. In addition to personal attributes, studies have found medical students’ learning experiences such as clerkships and peer tutoring have

considerable influence on their career choices [5,9-12]. Furthermore, some studies suggest that external factors such as life style and income influence a student’s choice of medical specialty [13-15].

의과대학 학생들의 진로 선택이 몇몇 국가에서 연구된 바 있다.

Although medical students’ career choice has been studied in several countries [16-18],

이 연구에서 밝히고자 하는 질문은 아래와 같다.

임상 진로와 비임상 진로를 희망하는 학생의 배경(background)에 차이가 있는가?

이 두 그룹간 의학을 공부하는 동기나 흥미에 차이가 있는가?

이 두 그룹간 의료계 직종에 대한 인식의 차이가 있는가?

이 두 그룹간 진로 계획(career plan)의 태도에 차이가 있는가?

In more detail, the research questions for the present study are:

Are there differences in background between students who intend clinical careers and those who intend non-clinical careers?

Do these groups differ in their motivation for and interest in studying medicine? 

Do these groups differ in their perceptions of medical professions?

Do these groups differ in their attitudes towards career plans?

Methods

문헌 조사를 통했고, 연구에 적용할 만한 영문으로 된 자료는 없었고 한글 자료를 사용하였다. 1990년대에 전국 의과대학 학생들을 대상으로 설문조사를 하기 위해 개발된 질문지이다.

A literature search was conducted of existing research instruments suited for the present study in both English and Korean. No research instrument was available in English, so we decided to adopt one in Korean [19] for the present study. This questionnaire was developed by Park in the 1990s for a national survey of medical students on their perceptions of medical education and medical practice.

Results

Survey respondents and their career intentions

Respondents’ motivation for and interest in the study of medicine