구글 검색을 해봐야 할까? : 레지던트(resident, 전공의)들이 진료현장(Point-of-Care)에서 임상적 의사결정에 활용하는 자료들.

(출처 : http://www.glasbergen.com/?s=Dr.+Google)

점점 더 환자들이 인터넷에서 의학적 조언을 구해서 온다구. 

아무래도 살아남으려면 내 이름을 '닥터 구글'로 바꿔야 할까봐.

POC(진료현장)에서 의학적 의사결정을 위해 사용되는 자료(resource)는 기술의 발전에 따라 진화해왔다. 진료현장 의사결정에 대한 첫 번째 논문을 보면, 교과서 등의 자료가 잔뜩 담긴 'evidence cart'를 회진때 끌고 다녔다고 한다.

Resources used at the point-of-care (POC) for medical decision making have evolved with changes in technology. One of the first articles published on resource use during POC decision making in a teaching hospital described taking an “evidence cart” on rounds, containing medical textbooks and journals loaded onto a CD-ROM.1

요즘은 의학, 의료 어플이 설치되어 있고 인터넷 접속이 가능한 스마트폰과 태블릿을 사용한다.

today: smartphone and tablet technology loaded with medical applications and Internet connectivity

POC에서 사용되는 정보 자료원에 대해 관심을 가져야 하는 이유가 두 가지가 있다. 

한 가지는 임상적 의사결정에 영향을 줄 가능성이 있기 때문이다. 따라서 양질의 정확한 자료가 중요하다. 

두 번째는 대부분의 레지던트가 임상 환경에서 환자를 통해서 학습을 하게 되기 때문이다. 

Bedside에서 정보가 접근가능해지기 전에는 논문이 주된 정보원이었다. 그러나 2006년에 연구를 보면 요즘의 레지던트들은 온라인 정보를 더 많이 활용하는 것으로 나타났다. 98%의 레지던트는 UpToDate를 사용하며 44%가 온라인에서 논문을 검색하고 35%는 구글과 같은 검색엔진을 사용하는 것으로 나왔다.

There are two main reasons that we should pay attention to the information resources used by our learners at the POC. First, information resources have the possibility to affect clinical decisions; therefore, they must be of high quality and accuracy. Second, the majority of resident learning is directed by patient encounters within the clinical environment.2 Before the advent of technology for accessing information at the bedside, journals were the preferred resource for answering clinical questions.3 However, one study4 suggests that by 2006, residents were more likely to turn to online electronic resources. Ninety-eight percent of the residents in that study used UpToDate (an evidence-based, physician authored clinical knowledge database), 44% performed online literature searches, and 35% used Web-based search engines such as Google.

좀더 최근의 연구 결과를 보면80%의 주니어 의사들은 적어도 일주일에 한 번 구글 검색을 사용한다고 밝혔다. 또한 젊은 의사들은 점차 더 많이 Web 2.0 커뮤니티 를 활용하는데, 구글, 페이스북, 위키피디아 같은 것들이 그것이다. Web 2.0 자료들은 다수의 사용자가 지속적으로 자료를 업데이트하는 특징이 있다. 일반적으로 논문을 신뢰할 수 있는 자료원으로 보는 반면, 이러한 온라인 자료들에 대한 신뢰도는 조금 떨어진다.

In a more recent study, 80% of junior physicians reported using Google at least once over the course of a week.5 Additionally, young physicians are increasing their use of Web 2.0 community resources, including those available through Google, Facebook (online social network), and Wikipedia (online encyclopedia that can be edited and updated by users).5,6 Web 2.0 resources are broadly defined as those where multiple users continually update and remix data.7 Whereas educators generally consider journals a trusted resource, online resources such as Wikipedia are considered more questionable in the information they provide.6

많은 레지던트 프로그램에서는 자료에 대해서 비판적으로 평가하는 방법이라든가, 양질의 근거자료를 검색하는 방법을 가르친다. 이러한 교육에 대한 결과는 긍정적으로 나오기도 하고, 별 효과가 없는 것처럼 나온 것도 있다.

Many residency programs address this concern by having curricula in place to teach critical appraisal of the literature and how to search for quality evidence.8 The impact of these curricula on resident usage patterns has been mixed.9,10 In one study, 95% of residents participating in an evidence-based medicine (EBM) workshop accessed the primary literature through Ovid (private vendor for accessing MEDLINE database) or PubMed (free database for accessing primarily MEDLINE) only 58% in the control group. In both groups the most frequently accessed resources were summary resources such as UpToDate, MD Consult (Web-based medical resource providing synthesis of medical information), and E-medicine (online medical reference), and 56% of residents used nonmedical search engines (including Google, MSN, and Yahoo) at least once.10 A separate study demonstrated that residents were more likely to approach authoritative sources (faculty) 44% of the time to answer clinical questions at the POC, despite having prior EBM training.11

펍메드(PubMed)나 Ovid MEDLINE을 사용하는데 가장 주요한 장애물은 사용하는 것이 불편하고(inefficient), 여기서 얻은 자료를 적절하게 활용할 지식이나 기술이 부족한 것을 꼽는다.

Barriers to using PubMed and Ovid MEDLINE have included a sense among residents that this is an inefficient use of their time and that they have inadequate knowledge and skill to efficiently employ these resources.12,13

구글스칼라가 PubMed와 비교해서 의학적 자료 제목 검색이 부족한 것은 사실이나, 인터페이서는 좀 더 사용자 친화적이고 짧은 시간을 들여서도 자료를 얻기가 편하다.

Although the Google Scholar search is challenged by the absence of the medical subject headings found in PubMed, the interface is more user-friendly and may lead to information in a fraction of the time.14

앞선 연구결과들이 내과 레지던트들의 학습과 자료 탐독(reading)행태를 연구했지만, 진료현장(POC)에서 어떤 자료원을 활용할 것인가를 결정하는 요인이 무엇인지에 대한 연구는 적다.

Although prior studies have looked at learning and reading behaviors of internal medicine residents,2,4 little is known about the drivers of resource selection at the POC

속도, 신뢰성, 정보의 질, 휴대성이 가장 주요한 요소로 나왔다.

Speed, trust in the quality of information, and portability were the biggest drivers of resource selection for the participants in our study

이러한 결과는 "활용도 = 관련성 x 정확성 / 필요한 시간"이라는 공식과도 잘 맞아떨어진다.

These results are consistent with the Usefulness Equation, U = RxV/W, which describes that a physician’s goal is to find the most trusted and relevant information in the shortest time.17

우리가 한 연구에서는 레지던트들이 이미 그들이 보는 환자와 '연관된' 정보를 찾는 것이기 때문에, 정보의 관련성 요소는 이미 충족된 것으로 간주되고, 남은 요소들은 속도와 신뢰도가 된다.

In our study, the relevance is implied because residents are seeking information related to their patients at the POC. Thus, the factors left are work (speed) and validity (trust).

앞선 연구 결과는 시간이 중요한 요소임을 밝히고 있다. 그리고 이 '시간'은 레지던트들에게는 더욱 중요하다.

Prior studies have demonstrated that time is a significant factor for physicians when searching for information,12 and this seems to become an even more significant variable for residents.

65%의 전공의가 신뢰도를 PubMed나 MEDLINE을 선택하는 중요한 이유로 꼽았으며, 신뢰도가 중요한 긍정적 요소이긴 하나, 우리의 연구결과에서는 시간 이라는 요소가 중요하게 등장하였다.

Although 65% of residents listed trust as a factor leading them to select PubMed/MEDLINE as a resource, and trust was a significant positive factor, our results suggest that time factors may lead residents to choose with greater frequency resources that are both trusted and also can be accessed more conveniently and quickly

구글 검색 엔진은 위키피디아와 비슷하게 빠르지만, 신뢰도는 떨어지는 것으로 나타났고, 탐색 단계에서 주로 활용되는 것으로 나타났다. 한 레지던트는 "솔직히 말하면, 나는 잘 모르는 것에 대해서 알아보는 용도로는 구글이 빠르기 때문에 사용한다. 구글이나 구글스칼라로 방향을 잡은 다음에, 더 신뢰도 높은 자료를 찾는다"라고 했다.

Google search engine, which, similar to Wikipedia, was listed as fast but less trusted, was used mostly in the discovery phase, where residents are searching for general information about a disease or for a trusted Web site. As one resident noted, “Honestly, I just use Google for speed, for vague or unknown things, and after Google or Scholar gives me a direction to turn, I go to a more trusted source for clinical decision making.”

진단에 있어서 구글 검색의 유용성은 이미 보여진 바 있고, 우리 응답자의 42%도 진단을 하는 방법으로 구글에 증상/징후를 넣고 검색한다고 했다.

Google’s diagnostic effectiveness has been described previously,20 and 42% of our respondents reported using Google as a tool for inputting signs/symptoms of a disease to make a diagnosis

펍메드와 비교했을 때, 구글스칼라는 비슷한 검색결과(sensitivity)를 보여주나, precision에 있어서는 조금 떨어진다.

compared with PubMed searches in the literature, with Google Scholar demonstrating similar recall (sensitivity) but poorer precision than PubMed.21

구글과 UpToDate는 주요한 임상 토픽들에 대해서 근거 중심의 답변을 얻기에 용이하며, 5분이라는 시간 제한을 두면 PubMed나 Ovid에 비해서 더 정확한 편이다. 이러한 결과는, 만일 시간이 중요하다면 구글과 Uptodate가 효과적인 대안임을 말해준다.

Google and UpToDate answered evidence-based questions more quickly on major clinical topics, and more correctly within a five-minute time frame, than did PubMed and Ovid.14,22 This suggests that if time is of the essence, Google and UpToDate are effective alternatives

6S 모델은 레지던트들에게 어떻게 '쓸모있는' 정보를 검색할 수 있는지에 대한 프레임웤을 제공한다.

The “6S” model may provide a framework for how we can teach residents to find “useful” information.23

레지던트는 쏟아지는 정보에 압도당하는 일이 흔하고, 정보를 다루는 기술이 부족하므로 피라미드의 상단부터 접근하는 방식을 익혀야 한다. 

Because resident physicians may be overwhelmed by the volume of information available to them and may lack necessary information management skills, they can be trained to begin searching for evidence toward the top of the pyramid (“summaries” if “systems” are not in place), working their way down the pyramid (increasing the work) as needed to answer the clinical question (see Figure 3).

추가적으로, 구글과 같은 검색엔진은 예컨대 "고나트륨혈증에서 물 부족량을 어떻게 계산하는가?" 같은 질문에 대한 답을 얻는 용도로 활용될 수 있다.

Additionally, search engines such as Google can be used somewhat as a “system” to answer a particular question (e.g., How do I calculate a water deficit for a patient with hypernatremia?).

응답자 레지던트들이 속도와 신뢰도와 휴대성을 중요시하는 것은 분명해보인다. 제한된 시간과 과량의 정보는 특정 자료원을 활용하는 것에 있어서 가장 큰 장애물이다.

It is clear that the responding residents favored speed, trust, and portability in their resources used at the POC. Time and information overload (related to work spent) appear to be the biggest barriers to resource use, supporting the usefulness equation.17

레지던트에 대해서 어떤 정보들이 활용가능한지 뿐만 아니라, 언제 6S 피라미드의 아래 단계까지 파고 들어야 하는지, 혹은 언제 스스로 연구를 해야 하는지를 가르쳐야 한다. 또한 가능한 자료에 대해 접근해서, 효과적으로 다루는 방법도 가르쳐야 할 것이다.

We should be training our resident physicians not only about what quality information is available (the resources themselves) but also about when to delve deeper into the information pyramid and go directly to the studies themselves, as well as how to navigate to resources, manage, and be good stewards all of the information that is available.

---

Acad Med. 2013 Jun;88(6):788-794.

Should We Google It? Resource Use by Internal Medicine Residents for Point-of-Care Clinical Decision Making.

Duran-Nelson A, Gladding S, Beattie J, Nixon LJ.

Source

Dr. Duran-Nelson is assistant professor, Department of Medicine, University of Minnesota Medical School, Minneapolis, Minnesota. Dr. Gladding is PhD educator and assistant professor of medicine and pediatrics, University of Minnesota Medical School, Minneapolis, Minnesota. Mr. Beattie is associate librarian, Health Sciences Libraries, University of Minnesota Medical School, Minneapolis, Minnesota. Dr. Nixon is associate professor of medicine and pediatrics, University of Minnesota Medical School, Minneapolis, Minnesota.

Abstract

PURPOSE:

To determine which resources residents use at the point-of-care (POC) for decision making, the drivers for selection of these resources, and how residents use Google/Google Scholar to answer clinical questions at the POC.

METHOD:

In January 2012, 299 residents from three internal medicine residencies were sent an electronic survey regarding resources used for POC decision making. Resource use frequency and factors influencing choice were determined using descriptive statistics. Binary logistic regression analysis was performed to determine relationships between the independent variables.

RESULTS:

A total of 167 residents (56%) responded; similar numbers responded at each level of training. Residents most frequently reported using UpToDate and Google at the POC at least daily (85% and 63%, respectively), with speed and trust in the quality of information being the primary drivers of selection. Google, used by 68% of residents, was used primarily to locate Web sites and general information about diseases, whereas Google Scholar, used by 30% of residents, tended to be used for treatment and management decisions or locating a journal article.

CONCLUSIONS:

The findings suggest that internal medicine residents use UpToDate most frequently, followed by consultation with faculty and the search engines Google and Google Scholar; speed, trust, and portability are the biggest drivers for resource selection; and time and information overload appear to be the biggest barriers to resources such as Ovid MEDLINE. Residents frequently used Google and may benefit from further training in information management skills.

PMID:

 

23619072

 

[PubMed - as supplied by publisher]