(출처 : http://www.glasbergen.com/?s=Dr.+Google)

점점 더 환자들이 인터넷에서 의학적 조언을 구해서 온다구. 

아무래도 살아남으려면 내 이름을 '닥터 구글'로 바꿔야 할까봐.

POC(진료현장)에서 의학적 의사결정을 위해 사용되는 자료(resource)는 기술의 발전에 따라 진화해왔다. 진료현장 의사결정에 대한 첫 번째 논문을 보면, 교과서 등의 자료가 잔뜩 담긴 'evidence cart'를 회진때 끌고 다녔다고 한다.

Resources used at the point-of-care (POC) for medical decision making have evolved with changes in technology. One of the first articles published on resource use during POC decision making in a teaching hospital described taking an “evidence cart” on rounds, containing medical textbooks and journals loaded onto a CD-ROM.1

요즘은 의학, 의료 어플이 설치되어 있고 인터넷 접속이 가능한 스마트폰과 태블릿을 사용한다.

today: smartphone and tablet technology loaded with medical applications and Internet connectivity

POC에서 사용되는 정보 자료원에 대해 관심을 가져야 하는 이유가 두 가지가 있다. 

한 가지는 임상적 의사결정에 영향을 줄 가능성이 있기 때문이다. 따라서 양질의 정확한 자료가 중요하다. 

두 번째는 대부분의 레지던트가 임상 환경에서 환자를 통해서 학습을 하게 되기 때문이다. 

Bedside에서 정보가 접근가능해지기 전에는 논문이 주된 정보원이었다. 그러나 2006년에 연구를 보면 요즘의 레지던트들은 온라인 정보를 더 많이 활용하는 것으로 나타났다. 98%의 레지던트는 UpToDate를 사용하며 44%가 온라인에서 논문을 검색하고 35%는 구글과 같은 검색엔진을 사용하는 것으로 나왔다.

There are two main reasons that we should pay attention to the information resources used by our learners at the POC. First, information resources have the possibility to affect clinical decisions; therefore, they must be of high quality and accuracy. Second, the majority of resident learning is directed by patient encounters within the clinical environment.2 Before the advent of technology for accessing information at the bedside, journals were the preferred resource for answering clinical questions.3 However, one study4 suggests that by 2006, residents were more likely to turn to online electronic resources. Ninety-eight percent of the residents in that study used UpToDate (an evidence-based, physician authored clinical knowledge database), 44% performed online literature searches, and 35% used Web-based search engines such as Google.

좀더 최근의 연구 결과를 보면80%의 주니어 의사들은 적어도 일주일에 한 번 구글 검색을 사용한다고 밝혔다. 또한 젊은 의사들은 점차 더 많이 Web 2.0 커뮤니티 를 활용하는데, 구글, 페이스북, 위키피디아 같은 것들이 그것이다. Web 2.0 자료들은 다수의 사용자가 지속적으로 자료를 업데이트하는 특징이 있다. 일반적으로 논문을 신뢰할 수 있는 자료원으로 보는 반면, 이러한 온라인 자료들에 대한 신뢰도는 조금 떨어진다.

In a more recent study, 80% of junior physicians reported using Google at least once over the course of a week.5 Additionally, young physicians are increasing their use of Web 2.0 community resources, including those available through Google, Facebook (online social network), and Wikipedia (online encyclopedia that can be edited and updated by users).5,6 Web 2.0 resources are broadly defined as those where multiple users continually update and remix data.7 Whereas educators generally consider journals a trusted resource, online resources such as Wikipedia are considered more questionable in the information they provide.6

많은 레지던트 프로그램에서는 자료에 대해서 비판적으로 평가하는 방법이라든가, 양질의 근거자료를 검색하는 방법을 가르친다. 이러한 교육에 대한 결과는 긍정적으로 나오기도 하고, 별 효과가 없는 것처럼 나온 것도 있다.

Many residency programs address this concern by having curricula in place to teach critical appraisal of the literature and how to search for quality evidence.8 The impact of these curricula on resident usage patterns has been mixed.9,10 In one study, 95% of residents participating in an evidence-based medicine (EBM) workshop accessed the primary literature through Ovid (private vendor for accessing MEDLINE database) or PubMed (free database for accessing primarily MEDLINE) only 58% in the control group. In both groups the most frequently accessed resources were summary resources such as UpToDate, MD Consult (Web-based medical resource providing synthesis of medical information), and E-medicine (online medical reference), and 56% of residents used nonmedical search engines (including Google, MSN, and Yahoo) at least once.10 A separate study demonstrated that residents were more likely to approach authoritative sources (faculty) 44% of the time to answer clinical questions at the POC, despite having prior EBM training.11

펍메드(PubMed)나 Ovid MEDLINE을 사용하는데 가장 주요한 장애물은 사용하는 것이 불편하고(inefficient), 여기서 얻은 자료를 적절하게 활용할 지식이나 기술이 부족한 것을 꼽는다.

Barriers to using PubMed and Ovid MEDLINE have included a sense among residents that this is an inefficient use of their time and that they have inadequate knowledge and skill to efficiently employ these resources.12,13

구글스칼라가 PubMed와 비교해서 의학적 자료 제목 검색이 부족한 것은 사실이나, 인터페이서는 좀 더 사용자 친화적이고 짧은 시간을 들여서도 자료를 얻기가 편하다.

Although the Google Scholar search is challenged by the absence of the medical subject headings found in PubMed, the interface is more user-friendly and may lead to information in a fraction of the time.14

앞선 연구결과들이 내과 레지던트들의 학습과 자료 탐독(reading)행태를 연구했지만, 진료현장(POC)에서 어떤 자료원을 활용할 것인가를 결정하는 요인이 무엇인지에 대한 연구는 적다.

Although prior studies have looked at learning and reading behaviors of internal medicine residents,2,4 little is known about the drivers of resource selection at the POC

속도, 신뢰성, 정보의 질, 휴대성이 가장 주요한 요소로 나왔다.

Speed, trust in the quality of information, and portability were the biggest drivers of resource selection for the participants in our study

이러한 결과는 "활용도 = 관련성 x 정확성 / 필요한 시간"이라는 공식과도 잘 맞아떨어진다.

These results are consistent with the Usefulness Equation, U = RxV/W, which describes that a physician’s goal is to find the most trusted and relevant information in the shortest time.17

우리가 한 연구에서는 레지던트들이 이미 그들이 보는 환자와 '연관된' 정보를 찾는 것이기 때문에, 정보의 관련성 요소는 이미 충족된 것으로 간주되고, 남은 요소들은 속도와 신뢰도가 된다.

In our study, the relevance is implied because residents are seeking information related to their patients at the POC. Thus, the factors left are work (speed) and validity (trust).

앞선 연구 결과는 시간이 중요한 요소임을 밝히고 있다. 그리고 이 '시간'은 레지던트들에게는 더욱 중요하다.

Prior studies have demonstrated that time is a significant factor for physicians when searching for information,12 and this seems to become an even more significant variable for residents.

65%의 전공의가 신뢰도를 PubMed나 MEDLINE을 선택하는 중요한 이유로 꼽았으며, 신뢰도가 중요한 긍정적 요소이긴 하나, 우리의 연구결과에서는 시간 이라는 요소가 중요하게 등장하였다.

Although 65% of residents listed trust as a factor leading them to select PubMed/MEDLINE as a resource, and trust was a significant positive factor, our results suggest that time factors may lead residents to choose with greater frequency resources that are both trusted and also can be accessed more conveniently and quickly

구글 검색 엔진은 위키피디아와 비슷하게 빠르지만, 신뢰도는 떨어지는 것으로 나타났고, 탐색 단계에서 주로 활용되는 것으로 나타났다. 한 레지던트는 "솔직히 말하면, 나는 잘 모르는 것에 대해서 알아보는 용도로는 구글이 빠르기 때문에 사용한다. 구글이나 구글스칼라로 방향을 잡은 다음에, 더 신뢰도 높은 자료를 찾는다"라고 했다.

Google search engine, which, similar to Wikipedia, was listed as fast but less trusted, was used mostly in the discovery phase, where residents are searching for general information about a disease or for a trusted Web site. As one resident noted, “Honestly, I just use Google for speed, for vague or unknown things, and after Google or Scholar gives me a direction to turn, I go to a more trusted source for clinical decision making.”

진단에 있어서 구글 검색의 유용성은 이미 보여진 바 있고, 우리 응답자의 42%도 진단을 하는 방법으로 구글에 증상/징후를 넣고 검색한다고 했다.

Google’s diagnostic effectiveness has been described previously,20 and 42% of our respondents reported using Google as a tool for inputting signs/symptoms of a disease to make a diagnosis

펍메드와 비교했을 때, 구글스칼라는 비슷한 검색결과(sensitivity)를 보여주나, precision에 있어서는 조금 떨어진다.

compared with PubMed searches in the literature, with Google Scholar demonstrating similar recall (sensitivity) but poorer precision than PubMed.21

구글과 UpToDate는 주요한 임상 토픽들에 대해서 근거 중심의 답변을 얻기에 용이하며, 5분이라는 시간 제한을 두면 PubMed나 Ovid에 비해서 더 정확한 편이다. 이러한 결과는, 만일 시간이 중요하다면 구글과 Uptodate가 효과적인 대안임을 말해준다.

Google and UpToDate answered evidence-based questions more quickly on major clinical topics, and more correctly within a five-minute time frame, than did PubMed and Ovid.14,22 This suggests that if time is of the essence, Google and UpToDate are effective alternatives

6S 모델은 레지던트들에게 어떻게 '쓸모있는' 정보를 검색할 수 있는지에 대한 프레임웤을 제공한다.

The “6S” model may provide a framework for how we can teach residents to find “useful” information.23

레지던트는 쏟아지는 정보에 압도당하는 일이 흔하고, 정보를 다루는 기술이 부족하므로 피라미드의 상단부터 접근하는 방식을 익혀야 한다. 

Because resident physicians may be overwhelmed by the volume of information available to them and may lack necessary information management skills, they can be trained to begin searching for evidence toward the top of the pyramid (“summaries” if “systems” are not in place), working their way down the pyramid (increasing the work) as needed to answer the clinical question (see Figure 3).

추가적으로, 구글과 같은 검색엔진은 예컨대 "고나트륨혈증에서 물 부족량을 어떻게 계산하는가?" 같은 질문에 대한 답을 얻는 용도로 활용될 수 있다.

Additionally, search engines such as Google can be used somewhat as a “system” to answer a particular question (e.g., How do I calculate a water deficit for a patient with hypernatremia?).

응답자 레지던트들이 속도와 신뢰도와 휴대성을 중요시하는 것은 분명해보인다. 제한된 시간과 과량의 정보는 특정 자료원을 활용하는 것에 있어서 가장 큰 장애물이다.

It is clear that the responding residents favored speed, trust, and portability in their resources used at the POC. Time and information overload (related to work spent) appear to be the biggest barriers to resource use, supporting the usefulness equation.17

레지던트에 대해서 어떤 정보들이 활용가능한지 뿐만 아니라, 언제 6S 피라미드의 아래 단계까지 파고 들어야 하는지, 혹은 언제 스스로 연구를 해야 하는지를 가르쳐야 한다. 또한 가능한 자료에 대해 접근해서, 효과적으로 다루는 방법도 가르쳐야 할 것이다.

We should be training our resident physicians not only about what quality information is available (the resources themselves) but also about when to delve deeper into the information pyramid and go directly to the studies themselves, as well as how to navigate to resources, manage, and be good stewards all of the information that is available.

Should We Google It? Resource Use by Internal Medicine Residents for Point-of-Care Clinical Decision Making.

(2차 출처 : http://meandmyresearch.blogspot.kr/2012/09/how-to-succeed-as-phd-student.html

1차 출처 : http://matt.might.net/articles/phd-school-in-pictures/)

의과대학에서는 인문학과 자연과학을 전공한 전임상(preclinical) 과정에 있는 학생들에게 본과3학년과 4학년 때의 임상 환경에 적응할 수 있도록 하기 위해서 환자들과의 상호작용하는 법을 가르치는 것에 많은 자원을 투자한다. 

Medical schools devote substantial resources to training preclinical students in the art and science of interacting with and evaluating patients so that students are prepared to work in the clinical environment during their third and fourth years

그러나 이러한 노력에도 불구하고 많은 의과대학 학생들은 임상 실습(full-time clinical)에 대한 긴장감이 높다.

Despite these efforts, many medical students are anxious about the transition to full-time clinical efforts.1–7

이러한 차이는 physician-scientist(의사 과학자)를 양성하는 과정에서 특히 두드러지는데, 왜냐하면 이 과정(MD-PhD)에서 학생들은 의과대학 기간 중 '고립된(siloed)' 대학원 기간을 보내게 되기 때문이다.

This gap in clinical exposure is emblematic of most training programs for physician–scientists, in which the students tend to move between the “siloed” domains of medical school and graduate school training

그 결과로, 이들은, 특히 MD-PhD 학생들은, 상당한 혼란을 겪고 자신들의 임상 술기에 대한 자신감을 잃어버리게 된다.

As a result, trainees, especially MD-PhD students, can experience confusion (“living in different worlds”) and lose confidence with respect to their clinical skills.

우리는 이러한 것에 관심을 가지게 되었다. UCSD에서 우리 학생들 중 다수가 저자 중 한명 (C.G.)에게 임상실습으로 들어가기 전에 환자를 보는 것과 관련한 기본적 스킬들을 복습하기 위해 찾아온다.

We became interested in this transition period on the basis of our experiences interacting with MD-PhD students at the University of California, San Diego (UCSD). Our students routinely approached one of the authors (C.G.), asking to attend his clinic to brush up on basic patient-care-related skills immediately before beginning their clinical rotations.

이 commentary에서 우리는 우리의 경험을 바탕으로 MD-PhD 학생들의 이행기(transition)문제에 대해 이야기해보고자 한다. 첫 번째로 MD-only 학생과 MD-PhD 학생의 경험의 차이를 논의하고, 그리고 나서 이 문제에 대해서 어떻게 접근했는지 밝힌 후, 제언으로 마무리짓고자 한다.

In this commentary, we draw on our experience identifying and addressing this transition for MD-PhD students at our own institution to call attention to this critical issue. First, we discuss the difference between MD-only students’ and MD-PhD students’ experiences with respect to the transition to clinical training. We then describe how we have approached this problem and close with recommendations for how others may wish to address these same issues

대부분의 미국 의과대학에는 MD학생들이 전임상 과정에서 임상 과정으로 들어가는 과정을 지원하는 프로그램이 있다. 주로 임상 실습을 시작하기 직전 1주일 정도의 기간이 된다.

Most U.S. medical schools offer programs to assist MD students as they transition from preclinical to clinical training.8–13 These efforts typically last about one week and occur immediately before the start of clinical rotations

일련의 교육적 수단을 동원하게 된다

임무와 관련된 것(노트 작성, 구두 발표), 관계와 관련된 것(팀에서 학생의 역할), 문화, 환자관리 세팅에서 지켜야 할 것들.

An array of educational modalities are used, focusing on the tasks (e.g., note writing, oral presentations), relationships (e.g., the student’s role on a patient care team), culture, and rules that govern patient care settings.13

그러나 단기적 혹은 장기적 관점에서 어떤 것이 가장 좋은지, 혹은 이런 방식이 효과적인지에 대한 데이터는 없다.

However, no data identify which aspects are most useful or whether these preparatory efforts are successful in either the short or long run

우리가 생각하기에, 기존의 방법들은 복합학위(dual-degree) 과정에 있는 학생들을 지원하기에 충분하지 않았기에 우리는 Reimmersion Program(RP)라는 코스를 개발하였다.

It was our opinion, supported by the views of transitioning UCSD MD-PhD students, that existing programs were not sufficient to address the deficits and concerns of dual-degree trainees. We thus developed a concise course of study, a reimmersion program (RP), that focused on skills related to typical patient encounters.

RP는 MD-PhD 학생들이 임상 훈련에 대비하는 과정이며, 22시간짜리이고 6주간 일주일에 하루(반일)씩 이뤄진다.

The RP requires 22 hours of effort from MD-PhD students preparing to transition to clinical training, and it occurs one halfday per week across a six-week period. 

신체검진 기술을 리뷰하는 시간으로 시작되고, 남은 시간은 임상 세팅에서 환자, 교수와 같이 진행한다.

지난 4년간 37명이 코스에 참여했다.

It begins with a physical exam skills review session

The remaining RP activities take place with patients and faculty in clinical settings.

Over the past four years, 37 students have participated in the RP

MD-PhD 학생은 MD-only학생들보다 종합 점수에서 더 낮았고, station별로 분석했을 때 심혈관계와 호흡기계 시험에서 낮았다. RP가 마무리되는 시점에서 95%의 MD-PhD학생들은 이 시간이 의미있었고, 후배들에게도 추천하고 싶다고 했다.

We found that the MD-PhD trainees had significantly lower overall scores (P = .01) than their MD-only counterparts. In addition, station-by-station comparison revealed that performance on the cardiovascular and pulmonary exams was lower (P = .05) for MD-PhD trainees than for MD-only students. At the conclusion of the RP, 95% of MD-PhD students reported that these efforts were a good use of their time, and all recommended that it be offered to future students.

우리가 RP를 개발하기 위해서 들인 노력은 full-time 임상 수련을 이제 막 시작하려고 하는 MD-PhD 학생들의 준비를 돕는 것에 대한 insight를 제공한다.

Our efforts in developing and initiating the RP provide insights regarding the perceived and actual levels of preparedness of MD-PhD students who are on the cusp of full-time clinical training

이 학생들의 '준비되지 않음'에 대한 감정은 임상 실습을 앞두고 높은 수준의 불안감으로 나타난다.

Their feeling of being unprepared was manifested by high levels of anxiety regarding upcoming clinical rotations.

이러한 이행 과정이 복합학위과정에 어쩔 수 없이 따라오는 것이지만, 우리가 보기에는 이 이행과정을 최대한 부드럽게 만들기 위한 충분한 노력을 기울인 적은 없었다고 생각한다. 이행과정이 더 어려울수록 "죽음의 계곡"은 더 깊어질 것이다.

Although such transitions are intrinsic to dual-degree training programs, we believe that not enough has been done to make them as smooth as possible. Difficult transitions, in turn, contribute to the growing gap between the clinical and research enterprises, further widening the “valley of death” that separates bench research from clinical application.17

우리는 우리의 경험에서 얻을 수 있는 것처럼, 이러한 문제가 해결될 수 있다고 생각한다.

We believe, and our experience suggests, that these deficits can be corrected

아직 이상적인 RP가 완성된 것은 아니다.

In spite of these efforts and beliefs, an optimal RP has not been defined

RP를 만들고 정교하게 다듬는 것은 비교적 많지 않은 시간, 노력, 자원으로도 가능하고, 그것은 지금의 의사-과학자 양성 과정의 이해와 부드럽게 융합될 수 있을 것이다.

Establishing and refining RPs can be accomplished with a relatively modest amount of time, effort, and resources, and doing so meshes nicely with the current interest in reevaluating the physician–scientist training process.17–28

(출처 : http://www.darkdaily.com/supreme-court-agrees-to-consider-myriad-case-involving-human-gene-patents-12113#axzz2WfF7At3j)

Preparing MD-PhD Students for Clinical Rotations: Navigating the Interface Between PhD and MD Training.

Many aspects of MD-PhD training are not optimally designed to prepare students for their future roles as translational clinician-scientists. The transition between PhD research efforts and clinical rotations is one hurdle that must be overcome. MD-PhD students have deficits in clinical skills compared with those of their MD-only colleagues at the time of this transition. Reimmersion programs (RPs) targeted to MD-PhD students have the potential to help them navigate this transition.The authors draw on their experience creating and implementing an RP that incorporates multiple types of activities (clinical exam review, objective structured clinical examination, and supervised practice in patient care settings) designed to enhance the participants' skills and readiness for clinical efforts. On the basis of this experience, they note that MD-PhD students' time away from the clinical environment negatively affects their clinical skills, causing them to feel underprepared for clinical rotations. The authors argue that participation in an RP can help students feel more comfortable speaking with and examining patients and decrease their anxiety regarding clinical encounters. The authors propose that RPs can have positive outcomes for improving the transition from PhD to clinical MD training in dual-degree programs. Identifying and addressing this and other transitions need to be considered to improve the educational experience of MD-PhD students.

(출처 : http://www.himssanalyticsasia.org/emradoptionmodel.asp)

전자의무기록의 활용이 임상적으로 많은 이점이 있지만, 의학교육과 관련해서는 별로 연구된 바가 없다.

Although use of the EMR has been shown to have numerous clinical benefits,3–5 comparatively little is known about the effect this technology has on medical education, 

이러한 관점에서 우리는 ACGME에서 제시한 여섯 가지의 역량을 중심으로 전자의무기록의 효과에 대하여 리뷰해보았다.

In this Perspective, we use the ACGME competencies (Medical Knowledge, Practice-Based Learning and Improvement, Patient Care, Communication Skills, Professionalism, and Systems-Based Practice) to review what is known about the effect of the EMR on achievement of these core competencies,

Medical Knowledge and Practice-Based Learning and Improvement

생의학적 지식이 팽창함에 따라 의학을 배우는 사람들에게 있어서 적절한 의학 지식을 갖추는 것이 중요한 과제가 되었다.

With an ever-expanding body of biomedical literature, development of an adequate fund of medical knowledge is a mounting challenge for medical trainees.

많은 점을 고려하여 도입된 전자의무기록은 "정확한 때에" 교육이 이뤄질 수 있게 해주며, 의사들이 근거중심의학을 적용할 수 있도록 도와준다. CDS(Clinical Decision Support)는 일반적으로 인정된(accepted) 알고리즘과 추천에 따라서 의사결정을 내리도록 도와줌으로서 학습자들을 도와줄 수도 있다.

A thoughtfully implemented EMR can facilitate “just-in-time” education and can allow physicians to apply evidence-based medicine in the clinical context.7 CDS can also provide opportunities to teach best practices by advising learners to take actions consistent with accepted clinical algorithms and recommendations.9–14

CDS의 이점에도 불구하고 많은 사람들이 의도하지 않은 결과가 의학교육에 안좋은 영향을 줄 것을 걱정한다.

Despite the benefits of CDS, several authors have documented its unintended consequences, which may adversely affect

medical education 

최근의 연구 결과는 다른 환경은 전혀 달라지지 않고 EMR만 도입되었을 경우 임상적으로 중요하지 않은 경고만 계속 뜨면서 "경고 피로(alert fatigue)"를 유발할 수 있다는 연구도 있다.

More recent studies have shown that implementing an EMR with unmodified settings determined by the vendor can result in an unacceptably high volume of clinically insignificant alerts, thereby promoting alert fatigue.16,17

기술이 정교해지면서 이러한 시스템의 활용도도 높아졌으며, 잘 도입된 CDS는 긍정적인 교육적 효과가 있다는 것도 알려졌지만, 여전이 CDS가 어떻게 학습자(훈련자)의 지식 습득에 영향을 주는가에 대한 이해는 부족하다.

Although refinements in technology have gradually increased the usefulness of these systems to medical learners,18 and well-implemented CDS systems have been shown to yield positive educational outcomes for the learner’s quality of clinical care,13 there is still limited understanding of how CDS affects the acquisition of knowledge by trainees

Patient Care

전자의무기록은 훈련을 받는 사람들이 환자를 돌바는 방법에 있어 다양한 측면으로 영향을 준다.

EMRs affect how trainees learn to care for patients in a variety of ways

일의 흐름을 최적화시킬 수 있다.

Optimizing trainee workflow

EMR은 수련받는 사람의 workflow에 긍정적으로 영향을 줄 수 있는데, 병력에 접근하는데 들어가는 시간을 단축시켜주며, 더 빨리 자료를 받아볼 수 있고, 원격으로 접속이 가능하며, 자동으로 sign-out 서류를 만들어서 교대와 관련한 workflow를 지원한다.

The EMR has the potential to positively affect medical trainee workflow through several different mechanisms, including reduced time spent in accessing medical histories, ease of data retrieval, greater remote access, and automated creation of sign-out documents to support handoff workflow.6,19–21

그러나 EMR의 안좋은 영향 또한 있는데, 데이터 입력의 비효율과 하드웨어가 작동하지 않을 때의 문제, 그리고 잡무가 ancillary staff에서 physician로 옮겨가는 것 등이 있다.

However, detrimental effects of EMRs on the workflow have been documented secondary to inefficiencies in data entry, hardware downtime issues, and shifting of work from ancillary staff to physicians.17,19,22

GME의 인정 구조는 educational milestone과 EPA(entrustable professional activities)에 따른 교육성과의 달성에 근거하는 방향으로 바뀌어가고 있다.

Graduate medical education is transitioning to an accreditation structure based on the achievement of outcomes detailed by educational milestones and EPAs.23,24

EMR을 활용해서 수련자의 활동과 그들의 임상 일지를 활용해서 환자관리에 대한 수련자의 성취 수준에 대한 서류를 만들 수 있으며, 기존의 방법(paper-based)보다 더 효율적으로 부족한 부분을 확인할 수 있다.

Reports of the trainees’ clinical activity and review of their clinical notes via the EMR can provide written documentation of the trainees’ achievement of patient care milestones and EPAs and can help identify areas of deficiency more efficiently than in a paper-based system.25,26

EMR은 critical thinking skill에 부정적 영향을 줄 수도 있다.

the EMR may negatively affect development of critical thinking skills.27,28

최근의 연구에서 CPOE와 기존의 paper방식간 입원 오더의 질 비교했을 때 별다른 차이가 없었다.

In a recent study comparing medical students in computerized provider order entry (CPOE) environments with those in paper-based environments, Knight and colleagues29 found no significant differences in self-reported quality of admission orders,

자기주도적 학습을 방해하는 또 다른 부정적 요인은 자동화 비뚤림(automation bias)이다.

An additional factor that may negatively affect the self-directed learning efforts of trainees is automation bias

예를 들어 만약 EMR이 잠정적 부작용이나 약의 상호작용을 알려줄 것이라고 생각하면, 수련받는 사람은 이러한 가능성에 대해서 덜 생각해보려고 할 것이다.

For example, if trainees feel like the EMR system will alert them of potential serious side effects or drug interactions, they may be less likely to research these possibilities before ordering a medication

Interpersonal and Communication Skills

그러나 일부 환경에서는 의대 학생들이 EMR에 기록을 할수 없게 되어있다. 또한 템플릿(note template)과 Copy-Paste식의 방식이 가능해지면서 진료기록이 의사소통의 도구로서의 기능을 잃고 있다.

However, in some settings medical students are prohibited from adding clinical documentation to the EMR.31 Moreover, using note templates and copy-and-paste capabilities in charting dramatically decrease the effectiveness of physician notes as a communication tool.7,32,33

수련받는 사람이 EMR에 의무기록을 남길 수 있도록 하는 것에서 오는 우려를 줄이기 위한 노력으로 학습자들에게 customized note template를 제공하는 것을 제안하기도 한다. 그 템플릿은 자유롭게 입력 가능한 공간이 더 많고, auto-fill(자동 채워짐)기능과 auto-text(자동 완성?) 기능을 제한하며, problem list나 감별진단과 같은 부분은 더 많이 쓰도록 되어 있다.

Strategies for mitigating some of the concerns associated with allowing trainees to contribute clinical documentation to the EMR include the creation of customized note templates for medical learners. Such templates may contain more free-text fields, minimize auto-fill and auto-text options, and prompt the documentation of certain features, such as a problem list or differential diagnosis, thereby actually promoting critical thinking.35,36

EMR은 구두 발표나 커뮤니케이션 기술에도 영향을 줄 수 있다.

EMRs may also affect the development of oral presentation and communication skills

고도로 자동화된 세팅에서 주치의는 회진 전에 환자 정보를 더 많이 확인할 수 있기 때문에 케이스 발표에 덜 의지해도 된다. 그리고 이러한 변화가 수련받는 사람이 임상 정보를 회진 전과 후에 종합, 해석하는 능력을 떨어뜨린다는 연구 결과도 있다.

In a highly automated patient care setting, attending physicians may be more likely to receive their patient information in advance of rounds and may no longer rely on or engage trainees during case presentations.37 Peled and colleagues7 

argue that this shift impairs the trainee’s practice of translating and synthesizing clinical information both before and during rounds

하지만 이같은 우려에도 불구하고, 더 많은 정보가 활용 가능해질수록 학습자들은 정보를 단순히 모으는 것보다 종합해서 임상 추론을 하는 데에 더 시간을 쓸 수 있다는 주장도 있다.

Despite these concerns, others might argue that with raw data more readily available, learners can spend more time synthesizing, rather than gathering, information, as well as demonstrating clinical reasoning in real time.

Professionalism

EMR이 되입되면서 의사가 환자나 다른 의료 직군과 교류하는 양상이 바뀌었다.

As EMR implementation reshapes the way that physicians interact with their patients and with other medical professionals

많은 의사들은 환자와 학습자간 상호작용이 감소할 것을 우려한다.

Many clinicians have expressed concern over reduction in the quality of patient– learner interaction.

더 나아가 일부 연구들은 EMR-based 외래 진료에서 레지던트와 의대생 모두 환자-의사 상호작용이 감소하였다고 인지한다는 것을 보여주고 있다.

Furthermore, some studies show that both residents and medical students perceived a decrease in patient–physician interaction when learning in an EMR-based outpatient clinic.19,40

Systems-Based Practice

EMR을 활용하면 인구집단 수준에서 결과를 보여줌으로서 얻을 수 있는 교육적 이득이 있다.

Use of the EMR can also lead to significant educational yield from the review of outcomes of populations under care

이러한 시스템 기반의 진료는 인구집단 수준에서 비용-효과성을 포함한다. 이러한 목적으로 CPOE시스템에 비용 정보를 포함시키는 것은 의사가 오더를 내리는 행위에 영향을 줄 수 있다.

The concept of systems-based practice also encompasses cost-effective care for populations. To this end, integration of cost information in CPOE systems can clearly influence physician-ordering behavior.46

그러나 이러한 과정은 서로 완전히 호환이 되지 않는 병원간 EMR 시스템에 의해서 제한된다.

these processes are challenged by the use of multiple electronic systems across different venues of care that do not seamlessly interoperate

Medical Education in the Electronic Medical Record (EMR) Era: Benefits, Challenges, and Future Directions.

In the last decade, electronic medical record (EMR) use in academic medical centers has increased. Although many have lauded the clinical and operational benefits of EMRs, few have considered the effect these systems have on medical education. The authors review what has been documented about the effect of EMR use on medical learners through the lens of the Accreditation Council for Graduate Medical Education's six core competencies for medical education. They examine acknowledged benefits and educational risks to use of EMRs, consider factors that promote their successful use when implemented in academic environments, and identify areas of future research and optimization of EMRs' role in medical education.

2010년 ACGME는 환자안전 향상과 레지던트에 대한 교육, 그리고 레지던트의 삶의 질 향상을 위한 새로운 프로그램 공통 요건(Common Program Requirement)를 발표했다. 이 규정들은 2011년 7월부터 시행되기 시작하여, 근무시간과 레지던트 관리감독에 대한 추가적인 규제가 되입되었으며, 이미 상당한 논의를 불러일으켰다.

In 2010, the Accreditation Council for Graduate Medical Education (ACGME) released new Common Program Requirements designed to improve patient safety as well as resident education and quality of life.1 These rules, which went into effect in July 2011 and introduced additional regulations related to duty hours and resident supervision, have already inspired considerable debate. 

새로운 요건이 도입되기 전에 시행된 연구에서, 프로그램 관리자들과 레지던트들은 새로운 기준이 미칠 영향에 대한 복잡한 감정을 드러냈다. 프로그램 관리자들은 주간 80시간의 근무시간 제한과 in-house call의 횟수 제한, 그리고 의무적으로 오프를 주는 것에는 찬성했지만, 1년차 레지던트의 16시간 교대에는 반대를 표시했다.

In studies conducted before implementation, program directors and residents expressed mixed feelings about the potential effects of the new standards.2,3 Although program directors supported the 80-hour workweek, the maximum frequency of in-house call, and mandatory off-duty time, they opposed limiting first-year residents to 16-hour shifts.2 

레지던트들은 프로그램 관리자보다 더 큰 우려를 나타냈는데, 그것은 주로 진료의 질에 대한 우려와 레지던트 교육, 경험, 그리고 시니어 레지던트 역할을 위한 준비에 대한 우려였다. 레지던트의 삶의 질만이 유일하게 그들이 향상될 것으로 기대한 점이었다.

Residents expressed greater concern than program directors, fearing potential negative effects on quality of care, as well as resident education, experience, and preparedness for senior roles. The quality of life for residents was the only factor that they predicted might improve.3

2011년 12월과 2012년 2월 사이에 행해진 전국적 조사에서, 레지던트들은 교육과 총 근무시간, 휴식시간에는 차이가 없다고 응답했다. 실제로 많은 응답자들은 변화를 부정적으로 묘사했고, 대부분은 시니어 레지던트 역할에 대한 준비가 덜 된 것 같다고 느낀다고 응답했다.

In a national survey conducted between December 2011 and February 2012, residents reported no improvement in education, total number of hours worked, or the amount of rest they were getting. In fact, many participants described the changes as detrimental, with the majority feeling less prepared to take on more-senior roles. 

1년차 레지던트의 삶의 질만이 향상된 것으로 나타났다. 시니어 레지던트의 교대 빈도와 근무량은 증가한 반면, 환자 안전은 별반 차이가 없는 것으로 나타났다. 전반적으로 22.9%의 레지던트만이 2011에 도입된 규제에 대해 찬성의사를 밝혔다.

Only quality of life for first-year residents was identified as having improved. The frequency of handoffs and workload

for senior residents were both noted to have increased, whereas patient safety was deemed to be unchanged. Overall, only 22.9% of residents reported approval of the 2011 regulations.4

여기서는 도입 1년이 지난 시점에서 프로그램 관리자들의 반응을 보고자 한다. 프로그램 관리자는 레지던트보다 이 규제로 인한 효과(환자 안전, 레지던트 교육)를 더 잘 판단할 수 있는 위치에 있다고 볼 수 있다.

The 2011 duty-hour requirements--a survey of residency program directors.

Department of Plastic Surgery, Rhode Island Hospital, Providence, USA.

(출처 : http://www.physiciansweekly.com/remediation-attrition-surgery-residents/)

임상에서 힘들어하는 전공의(resident, 레지던트)에게 어떻게 해줘야 할까?

- 그저 똑같은 것을 한번 더 가르치는 것은 이제 그만!! -

• Remediation for struggling learners: putting an end to ‘more of the same’
• Cleland et al :
• 많은 remedial intervention에 있어서 이론적 근거가 없다. 그냥 '같은 것'을 '더' 주는 것 뿐이다.
• Control-value theory에서 말하는 바와 같이 어려움을 겪는 학생을 빨리 찾아내서 remediation을 일찍 제공하는 것이 underperforming undergraduate가 저조한 결과=>나쁜 피드백=>낮은 자기효능감=>동기 저하의 반복되는 사이클을 겪으며 underperforming doctor가 되는 것을 막는 방법이다.

• Mitchell C, 2013
• 성과가 낮은 의사들이 자신들을 평가할 평가자를 고를 기회가 있을 때, 더 점수를 잘 줄 것 같은 사람을 고르는 maladaptive learning strategy를 익힌다.

• Audetat et al : clinical reasoning difficulty를 겪고 있는 레지던트에게 제공되는 remedial action은 residency에 대한 구조적인 측면(일의 양을 줄여주는 것 등)이었지, 그 difficulty의 근원에 대한 구체적인 진단에 따른 것이 아니었다.
• Hesketh et al : 훌륭한 임상 선생님에게는 적절한 접근법 역시 필요하다.

• The Department of Family and Emergency Medicine at the University of Montreal의 사례
• 레지던트 보충(remediating)교육을 하는 선생님들을 지원하기 위한 전략을 개발(Developed a multidimensional strategy to support clinical teachers in remediating residents.)
• This strategy consists of four prongs:
• 기관적 차원의 과정 도입 : implementing institutional procedures with regard to remediation plans and followup;5,6
• 선생님들에게 개념틀(conceptual framework)과 실제적인 이론(empirical finding)제공 : introducing clinical teachers to conceptual frameworks and empirical findings from the literature through accessible and targeted papers;
• 임상추론 과정에서 겪게 되는 다양한 여러움들에 대한 진단 및 개입방법에 대한 가이드 제공 :  developing a guide to the diagnosis and remediation of different types of clinical reasoning difficulty,7
• 교수자 중심의 교수개발 프로그램 제공 : providing teacher-centred faculty development.
• Altogether these strands amount to no less than a cultural8 and organisational change,9 which should help clinical teachers to act effectively, based on wellgrounded educational scripts,10 with a strong sense of ‘being

clinical educators’,11 which ultimately should improve outcomes for learners.

• 비록 remediation 후에 더 나아지지 않았더라도, trainee가 프로그램에서 exclude되는 과정을 촉진시키기만 한 것으로도 그것은 성공했다고 볼 수 있다. Underperforming learner를 계속 놔두는 것은 clinical teacher를 지치게(wearing down)한다.
• Struggling learner는 struggling teacher를 유발한다.

• Faculty development가 learners in difficulty에 관한 문제에서 중요하다.

Remediation for struggling learners: putting an end to 'more of the same'.

• 여학생들이 Surgical domain으로 career를 나아가기 어려운 이유를 Wenger의 Paradigmatic trajectories를 활용하여 qualitative 하게 연구한 논문.

• 학생은 의과대학 기간동안 보고(Seeing), 듣고(Hearing), 직접 해 본(Doing, Hands-on experience) 경험을 통해서 자신의 미래 이미지를 그리고(Imagining), 이 과정을 통해 Career decision을 한다.

• Wenger에 의하면... "학생들은 바보가 아니다. 의과대학 기간에 무엇을 듣든, 무엇을 배우든, 무슨 행위를 지시받든, 무슨 시험을 보든 실제 일이 이뤄지는 현장을 접하는 순간(actual access to the practice) 얼마 지나지 않아 진짜로 중요한 것이 무엇인지(what counts) 바로 알아챌 것이다."
• Wenger29 describes the importance of ‘paradigmatic trajectories’, which are visible career paths provided by a community that shape how individuals negotiate and find meaning in their own experiences
• ‘Exposure to this field of paradigmatic trajectories is likely to be the most influential factor shaping the learning of newcomers. In the end, it is its members – by their very participation – who create a set of possibilities to which newcomers are exposed as they negotiate their own trajectories. No matter what is said, taught, prescribed, recommended, or tested, newcomers are no fools; once they have actual access to the practice, they soon find out what counts.’29

• Surgical world에 속해 있을 자신의 모습을 그려보지 않았다는 것이 그것을 해보고자 하는 시도조차 하지 않았다는 것을 의미하지는 않는다. 앞서 언급된 과정을 통해 Surgical paradigmatic trajectories에 대한 성 구분(strongly gendered)적인 이미지가 형성되며, '내가 과연 이 길을 갈 수 있을까(paths of possibility)'에 대한 의심도 저절로 계속된다(self-perpetuating). 무엇보다 여학생들이 외과계열 세상에 대해 가지고 있는 이미지를 형성할 수 있는 다른 방법이 없을 때, 그들이 접하는 외과계열을 둘러싼 성 구분적인 담론(discourse)은 더욱 공고해질 것이다.
• Being unable to imagine belonging to the surgical world meant that these students did not even attempt to enter it. Surgical paradigmatic trajectories were strongly gendered, shaped by the processes we have outlined. The self-perpetuating power of these ‘paths of possibility’ was clear: the stories heard by students sustained the gendered discourses surrounding surgery, and the lack of any other avenues through which female students might form their perceptions of the surgical world left these discourses unchallenged.

The only girl in the room: how paradigmatic trajectories deter female students from surgical careers.

© 2013 John Wiley & Sons Ltd.

• LIC의 key feature
• The key features of LICs include continuity with clinical teachers, patients and settings

• students who undertake an LIC: (The international Consortium of Longitudinal Integrated Clerkships)
• 1 participate in the comprehensive care of patients over time;
• 2 participate in continuing learning relationships with these patients’ clinicians and the community, and
• 3 meet the majority of the year’s core clinical competencies, across multiple disciplines simultaneously through  these experiences.2

• LIC를 뒷받침하고 있는(underpinning) 이론들
• Symbiotic model
• Social Learning theory
• Transformative learning theory

• LIC에서 학생은 community of practice의 합당한 일원으로서 역할을 부여 받는다.

• LIC의 foundation value
• Social learning theory
• Continuity

• LIC의 장점
• 분절화된 clinical training의 negative impact를 완화하는 역할
• 학생이 marginalize 되는 것
• Ethical erosion
• 환자중심적 진료를 못 하는 것
• 피드백의 문제
• 전통적 방법의 문제
• Cognitive learning approach를 강조한다 : clinical reasoning, 지식과 기술의 습득, 진단과 치료.
• LIC 특징
• 사회적 community에서 transformative learning experience를 할 수 있다.
• 환자와 환자의 가족을 follow-up 하면서 사회적 context에서 health issue를 바라볼 수 있게 해준다.
• 'good company'
• LICs foster a social system in which learners can critically reflect on, question, challenge and rejuvenate their personal values
• 특징(1) : Integrated learning을 가능케 한다 : formal and informal or opportunistic learning experience
• 특징(2) : 환자 연속성 - 복통 환자라고 했을 때 외과, 부인과, 내과를 모두 갈 수 있으나 BC에서는 한 과에 한정된 discipline-specific lens로만 바라보게 된다. Encountering greater diversity and differing perspectives.
• 특징(3) : 실습 마무리 시점에서 peak knowledge에 도달한다. BC는 한 과가 끝날 때 peak에 도달했다가 다시 초보자가 됨. 

• Abstract
• 결론 : 실습이 끝날 시점에서 LIC학생들이 patient care에 더 독립적으로 engage 하며, clinic pt를 볼 기회가 더 많았다. 대부분 ambulatory setting에서 이뤄지는 LIC 교육모델은 학생들이 더 많은 기회를 제공한다는 점에서 Workplace learning의 principle과 일치한다.
• By late year, LIC students engage in patient care more independently and have more opportunities to see clinic patients on multiple occasions than BC students. Consistent with the principles of workplace learning, these findings suggest that yearlong longitudinal integrated education models, that rely mostly on ambulatory settings, afford students greater opportunities to participate more fully in the provision of patient care.

• Introduction
• 한 때 학교마다 거의 동일했던 Core clinical year가 이제는 모델이 다양해지고 외래/입원환자 경험이 다양해지고, 환자에 대한 연속성과 감독의사, 세팅 등이 다양해지고 있다. LIC 모델은 하나의 학생이 전문직으로서 배우고 성장하는 과정은 실제 의사가 환자를 care하는 과정에 meaningful, supported participation을 함으로서 가능하다는 전제에서 출발한다. 이러한 전제를 지키기 위해서 LIC는 주로 외래환자 중심이며, block보다는 longitudinal한 경험을 중시하여 환자, 그리고 supervising doctor와의 관계를 쌓는 것을 가능케 한다.
• 다양한 clerkship model이 존재함에 따라 그들 사이에 상대적인 효과성의 문제가 항상 있어왔고, 일부 연구는 LIC 학생들이 BC에 비해서 더 환자중심의 태도를 갖는다는 것을 보여주기도 했다. 또한 LIC학생은 시험에서는 거의 비슷한 수준의 능력을 보여줬고, 한 환자가 가진 질병의 전체 코스를 배울 수 있는 특징이 있다. 이론적으로 이러한 결과는 LIC 모델을 뒷받침하는 learning science와 연관이 되어있으나, 아직 이러한 결과를 뒷받침하는 기전에 대한 근거는 없다. 어떻게 LIC와 BC의 학습 경험이 다를까? 예를 들면 환자와 보내는 시간이나 감독의사와 보내는 시간이 얼마나 차이가 날까? LIC모델은 BC보다 환자에 대해 더 큰 책임의식을 갖게 하고, 더 독립적으로 환자 care를 할 수 있게 해주는가?

• Sample
•  University of California San Francisco (UCSF), the University of South Dakota Sanford School of Medicine (USD) and Harvard Medical School (HMS)

• Conclusion
• Clerkships은 학생들이 임상현장에 처음으로 full-time으로 접하는 중요한 기간이다. 여기서는 종료 시점에서 큰 차이가 발견되었으며 LIC학생이 환자와 독립적으로 직접 일하는 시간이 더 많았고, 환자를 관찰하는 시간은 더 적었고, BC학생보다 return visit환자를 더 많이 보았다. 이러한 결과로부터 workplace learning의 핵심이라고 할 수 있는 independent practice의 향상은 LIC모델이 가장 중요하게 강조하는 점이라는 사실과, rotation-based의 기존 방법에서는 잘 이루어지지 않는다는 사실을 알 수 있다.

Students' workplace learning in two clerkship models: a multi-site observational study.

By late year, LIC students engage in patient care more independently and have more opportunities to see clinic patients on multiple occasions than BC students. Consistent with the principles of workplace learning, these findings suggest that yearlong longitudinal integrated education models, that rely mostly on ambulatory settings, afford students greater opportunities to participate more fully in the provision of patient care.

• LIC와 BC 학생 모두 환자를 support하고 care에 대한 정보를 공유하는데 있어서 중요한 역할을 하고 있다고 응답한 데에 반해, LIC학생만이 "doctor role with patients"로서 성장(grow)하는 것에 대한 지속적인 기회가 있었다고 응답했다. LIC학생들은 care system에 높은 수준으로 통합(integration)되고, 교수자 또는 환자와 깊은 관계를 형성함으로써 환자중심care의 역량이 향상되고 더 동기화됨을 느낀다고 하였다.

• 전통적인 BC방식의 임상 교육은 in-patient service team에 일원으로서 학생을 투입하지만, 임상 참여를 encourage하는 측면에서 부족한 점이 많다. 이러한 모델에서는 초보 학습자는 가장자리로 밀려나고(marginalize), 감독하는 staff도 자주 바뀌게 된다. Clerkship의 구조와 학생이 얼마나 integration되었느냐는 clerkship의 만족도와 직결된다. 그러나 학생들은 학습 니즈에 맞지도 않고, 적절한 학습기회도 제공하지 못하는, 그러나 자주 변화하는 service에 대해서 연속적으로 적응해야 한다. 학생들에게 각 과의 문화에 동화되는 것은 어려운 일이고, 바뀌는 세팅에 따라서 배운 것을 적용시키느라(transfer) 애를 먹는다. 심지어 core clerkship의 마지막까지도 학생들은 novice처럼 새롭게 시작하게 된다.

• 이러한 상황은 "supported or guided participation"으로 대변되는 successful workplace learning과 대비된다. (health care provider와 활발하게 상호작용하며, 환자 care에 적극적으로 참여시킴으로써 학습의 기회를 주고, 의도적으로 도전적인 과제를 주는 방식)

• Sample
• We selected participants from the University of California San Francisco (UCSF), the University of South Dakota Sanford School of Medicine (USD) and Harvard Medical School (HMS).
• All three schools have concurrent LICs (at a tertiary hospital for UCSF, and at community sites for USD and HMS) and BCs (at tertiary hospitals and affiliated clinics). Students rank their clerkship preferences; most receive their first choice. Each LIC included 2–6 weeks in an in-patient context during an otherwise predominantly out-patient core clerkship experience.
• Block clerkship students had predominantly in-patient experiences with varying amounts of ambulatory time in discipline-based clerkships, and a single longitudinal clinical experience

• Discussion
• BC 학생들은 스스로를 감독 의사의 바쁜 스케줄로 인해 비는 시간을 채우는 역할로 인지하고 있었고, LIC 학생들은 환자를 위하여 의사와 같은 역할을 한다고 느꼈으며, 그들의 감독의사와 collaborate with 했다고 생각했다. 반면 BC학생들은 스스로를 연말이 되어서는 더 학생과 같은 역할로 묘사했다.

• 어떤 종류의 경험이 학생들로 하여금 특정 과를 더 선호하게 하고, 특정 과를 기피하게 하는가?
• 임상 경험이 학생들의 전공 선택에 영향을 준다는 것은 이미 알려져 있다.

• 예)
• 세 가지의 clerkship 모두에서 intrinsic work factor에 대한 긍정적인 반응은 강력한 양성 예측자였다.
• Acute patient, favorable orientation towards technology에 대한 선호가 있다면 외과를 더 선호한다. (clerkship이전, 이후 모두). General practice에 대한 선호는 그 반대 방향이다.
• 성별과도 연관이 있어 보임.(However, specialty preferences reflected a certain genderrelated pattern, with men favouring surgery, women favouring general practice and both genders exhibiting equal degrees of inclination for internal medicine. )

• Preceptor와 student는 모두 LIC에서의 evaluation이 세 가지 측면에서 낫다고 생각했다.
• 과정의 타당성 : Validity of evaluation process
• 평가의 질 : Quality of clinical skill evaluation
• 건설적 피드백 : Willingness to provide constructive feedback.

• 전통적인 방식의 clinical performance의 평가가 가지는 몇 가지 문제
• 실제로 학생이 환자와 접하는 과정을 보지 못한 상태에서도, 며칠, 몇 주의 Block clerkship이 끝날 때 평가를 하게 됨.
• 학생들의 임상 기술은 평가와 피드백을 통해서 향상되나, 평가는 rotation의 말미에만 시행되기 때문에 건설적인 제안을 받지 못하고, 학생들의 실수는 그대로 유지된다.
• 요약하자면, LIC를 할 경우 학생들과 교수자 모두 평가가 더 공정하고, 정확하고, block보다 학생의 performance를 더  잘 반영한다고 받아들인다. 또한 faculty와 학생 모두 faculty staff가 LIC상황에서 더 정직하고, 건설적인 피드백을 한다는 것에 동의했다. 

Perceptions of evaluation in longitudinal versus traditional clerkships.

• 무조건 환자 수를 많이 보는 것만이 능사는 아니다.
• Q. 오히려 적은 수라도 제대로 보는 것이 더 나을 수 있을까?
• 기존의 다른 연구들도 비슷한 결과를 내놓은 것이 많다.

• 1쿼터에서 4쿼터로 갈수록 보는 환자 수가 감소한다 
• (Post hoc Bonferroni multiple comparisons indicated that, on average, students in clerkships in quarter 1 reported significantly more patients than those in clerkships in quarters 3 (p < 0.01) and 4 (p < 0.01). )
• Clinical exposure가 internal medicine clerkship performance와 상관관계가 약하다.
• (Clerkship process - Clerkship outcome의 비교)

Relationship between clinical experiences and internal medicine clerkship performance.