(출처 : http://www.glasbergen.com/?s=Dr.+Google)

점점 더 환자들이 인터넷에서 의학적 조언을 구해서 온다구. 

아무래도 살아남으려면 내 이름을 '닥터 구글'로 바꿔야 할까봐.

POC(진료현장)에서 의학적 의사결정을 위해 사용되는 자료(resource)는 기술의 발전에 따라 진화해왔다. 진료현장 의사결정에 대한 첫 번째 논문을 보면, 교과서 등의 자료가 잔뜩 담긴 'evidence cart'를 회진때 끌고 다녔다고 한다.

Resources used at the point-of-care (POC) for medical decision making have evolved with changes in technology. One of the first articles published on resource use during POC decision making in a teaching hospital described taking an “evidence cart” on rounds, containing medical textbooks and journals loaded onto a CD-ROM.1

요즘은 의학, 의료 어플이 설치되어 있고 인터넷 접속이 가능한 스마트폰과 태블릿을 사용한다.

today: smartphone and tablet technology loaded with medical applications and Internet connectivity

POC에서 사용되는 정보 자료원에 대해 관심을 가져야 하는 이유가 두 가지가 있다. 

한 가지는 임상적 의사결정에 영향을 줄 가능성이 있기 때문이다. 따라서 양질의 정확한 자료가 중요하다. 

두 번째는 대부분의 레지던트가 임상 환경에서 환자를 통해서 학습을 하게 되기 때문이다. 

Bedside에서 정보가 접근가능해지기 전에는 논문이 주된 정보원이었다. 그러나 2006년에 연구를 보면 요즘의 레지던트들은 온라인 정보를 더 많이 활용하는 것으로 나타났다. 98%의 레지던트는 UpToDate를 사용하며 44%가 온라인에서 논문을 검색하고 35%는 구글과 같은 검색엔진을 사용하는 것으로 나왔다.

There are two main reasons that we should pay attention to the information resources used by our learners at the POC. First, information resources have the possibility to affect clinical decisions; therefore, they must be of high quality and accuracy. Second, the majority of resident learning is directed by patient encounters within the clinical environment.2 Before the advent of technology for accessing information at the bedside, journals were the preferred resource for answering clinical questions.3 However, one study4 suggests that by 2006, residents were more likely to turn to online electronic resources. Ninety-eight percent of the residents in that study used UpToDate (an evidence-based, physician authored clinical knowledge database), 44% performed online literature searches, and 35% used Web-based search engines such as Google.

좀더 최근의 연구 결과를 보면80%의 주니어 의사들은 적어도 일주일에 한 번 구글 검색을 사용한다고 밝혔다. 또한 젊은 의사들은 점차 더 많이 Web 2.0 커뮤니티 를 활용하는데, 구글, 페이스북, 위키피디아 같은 것들이 그것이다. Web 2.0 자료들은 다수의 사용자가 지속적으로 자료를 업데이트하는 특징이 있다. 일반적으로 논문을 신뢰할 수 있는 자료원으로 보는 반면, 이러한 온라인 자료들에 대한 신뢰도는 조금 떨어진다.

In a more recent study, 80% of junior physicians reported using Google at least once over the course of a week.5 Additionally, young physicians are increasing their use of Web 2.0 community resources, including those available through Google, Facebook (online social network), and Wikipedia (online encyclopedia that can be edited and updated by users).5,6 Web 2.0 resources are broadly defined as those where multiple users continually update and remix data.7 Whereas educators generally consider journals a trusted resource, online resources such as Wikipedia are considered more questionable in the information they provide.6

많은 레지던트 프로그램에서는 자료에 대해서 비판적으로 평가하는 방법이라든가, 양질의 근거자료를 검색하는 방법을 가르친다. 이러한 교육에 대한 결과는 긍정적으로 나오기도 하고, 별 효과가 없는 것처럼 나온 것도 있다.

Many residency programs address this concern by having curricula in place to teach critical appraisal of the literature and how to search for quality evidence.8 The impact of these curricula on resident usage patterns has been mixed.9,10 In one study, 95% of residents participating in an evidence-based medicine (EBM) workshop accessed the primary literature through Ovid (private vendor for accessing MEDLINE database) or PubMed (free database for accessing primarily MEDLINE) only 58% in the control group. In both groups the most frequently accessed resources were summary resources such as UpToDate, MD Consult (Web-based medical resource providing synthesis of medical information), and E-medicine (online medical reference), and 56% of residents used nonmedical search engines (including Google, MSN, and Yahoo) at least once.10 A separate study demonstrated that residents were more likely to approach authoritative sources (faculty) 44% of the time to answer clinical questions at the POC, despite having prior EBM training.11

펍메드(PubMed)나 Ovid MEDLINE을 사용하는데 가장 주요한 장애물은 사용하는 것이 불편하고(inefficient), 여기서 얻은 자료를 적절하게 활용할 지식이나 기술이 부족한 것을 꼽는다.

Barriers to using PubMed and Ovid MEDLINE have included a sense among residents that this is an inefficient use of their time and that they have inadequate knowledge and skill to efficiently employ these resources.12,13

구글스칼라가 PubMed와 비교해서 의학적 자료 제목 검색이 부족한 것은 사실이나, 인터페이서는 좀 더 사용자 친화적이고 짧은 시간을 들여서도 자료를 얻기가 편하다.

Although the Google Scholar search is challenged by the absence of the medical subject headings found in PubMed, the interface is more user-friendly and may lead to information in a fraction of the time.14

앞선 연구결과들이 내과 레지던트들의 학습과 자료 탐독(reading)행태를 연구했지만, 진료현장(POC)에서 어떤 자료원을 활용할 것인가를 결정하는 요인이 무엇인지에 대한 연구는 적다.

Although prior studies have looked at learning and reading behaviors of internal medicine residents,2,4 little is known about the drivers of resource selection at the POC

속도, 신뢰성, 정보의 질, 휴대성이 가장 주요한 요소로 나왔다.

Speed, trust in the quality of information, and portability were the biggest drivers of resource selection for the participants in our study

이러한 결과는 "활용도 = 관련성 x 정확성 / 필요한 시간"이라는 공식과도 잘 맞아떨어진다.

These results are consistent with the Usefulness Equation, U = RxV/W, which describes that a physician’s goal is to find the most trusted and relevant information in the shortest time.17

우리가 한 연구에서는 레지던트들이 이미 그들이 보는 환자와 '연관된' 정보를 찾는 것이기 때문에, 정보의 관련성 요소는 이미 충족된 것으로 간주되고, 남은 요소들은 속도와 신뢰도가 된다.

In our study, the relevance is implied because residents are seeking information related to their patients at the POC. Thus, the factors left are work (speed) and validity (trust).

앞선 연구 결과는 시간이 중요한 요소임을 밝히고 있다. 그리고 이 '시간'은 레지던트들에게는 더욱 중요하다.

Prior studies have demonstrated that time is a significant factor for physicians when searching for information,12 and this seems to become an even more significant variable for residents.

65%의 전공의가 신뢰도를 PubMed나 MEDLINE을 선택하는 중요한 이유로 꼽았으며, 신뢰도가 중요한 긍정적 요소이긴 하나, 우리의 연구결과에서는 시간 이라는 요소가 중요하게 등장하였다.

Although 65% of residents listed trust as a factor leading them to select PubMed/MEDLINE as a resource, and trust was a significant positive factor, our results suggest that time factors may lead residents to choose with greater frequency resources that are both trusted and also can be accessed more conveniently and quickly

구글 검색 엔진은 위키피디아와 비슷하게 빠르지만, 신뢰도는 떨어지는 것으로 나타났고, 탐색 단계에서 주로 활용되는 것으로 나타났다. 한 레지던트는 "솔직히 말하면, 나는 잘 모르는 것에 대해서 알아보는 용도로는 구글이 빠르기 때문에 사용한다. 구글이나 구글스칼라로 방향을 잡은 다음에, 더 신뢰도 높은 자료를 찾는다"라고 했다.

Google search engine, which, similar to Wikipedia, was listed as fast but less trusted, was used mostly in the discovery phase, where residents are searching for general information about a disease or for a trusted Web site. As one resident noted, “Honestly, I just use Google for speed, for vague or unknown things, and after Google or Scholar gives me a direction to turn, I go to a more trusted source for clinical decision making.”

진단에 있어서 구글 검색의 유용성은 이미 보여진 바 있고, 우리 응답자의 42%도 진단을 하는 방법으로 구글에 증상/징후를 넣고 검색한다고 했다.

Google’s diagnostic effectiveness has been described previously,20 and 42% of our respondents reported using Google as a tool for inputting signs/symptoms of a disease to make a diagnosis

펍메드와 비교했을 때, 구글스칼라는 비슷한 검색결과(sensitivity)를 보여주나, precision에 있어서는 조금 떨어진다.

compared with PubMed searches in the literature, with Google Scholar demonstrating similar recall (sensitivity) but poorer precision than PubMed.21

구글과 UpToDate는 주요한 임상 토픽들에 대해서 근거 중심의 답변을 얻기에 용이하며, 5분이라는 시간 제한을 두면 PubMed나 Ovid에 비해서 더 정확한 편이다. 이러한 결과는, 만일 시간이 중요하다면 구글과 Uptodate가 효과적인 대안임을 말해준다.

Google and UpToDate answered evidence-based questions more quickly on major clinical topics, and more correctly within a five-minute time frame, than did PubMed and Ovid.14,22 This suggests that if time is of the essence, Google and UpToDate are effective alternatives

6S 모델은 레지던트들에게 어떻게 '쓸모있는' 정보를 검색할 수 있는지에 대한 프레임웤을 제공한다.

The “6S” model may provide a framework for how we can teach residents to find “useful” information.23

레지던트는 쏟아지는 정보에 압도당하는 일이 흔하고, 정보를 다루는 기술이 부족하므로 피라미드의 상단부터 접근하는 방식을 익혀야 한다. 

Because resident physicians may be overwhelmed by the volume of information available to them and may lack necessary information management skills, they can be trained to begin searching for evidence toward the top of the pyramid (“summaries” if “systems” are not in place), working their way down the pyramid (increasing the work) as needed to answer the clinical question (see Figure 3).

추가적으로, 구글과 같은 검색엔진은 예컨대 "고나트륨혈증에서 물 부족량을 어떻게 계산하는가?" 같은 질문에 대한 답을 얻는 용도로 활용될 수 있다.

Additionally, search engines such as Google can be used somewhat as a “system” to answer a particular question (e.g., How do I calculate a water deficit for a patient with hypernatremia?).

응답자 레지던트들이 속도와 신뢰도와 휴대성을 중요시하는 것은 분명해보인다. 제한된 시간과 과량의 정보는 특정 자료원을 활용하는 것에 있어서 가장 큰 장애물이다.

It is clear that the responding residents favored speed, trust, and portability in their resources used at the POC. Time and information overload (related to work spent) appear to be the biggest barriers to resource use, supporting the usefulness equation.17

레지던트에 대해서 어떤 정보들이 활용가능한지 뿐만 아니라, 언제 6S 피라미드의 아래 단계까지 파고 들어야 하는지, 혹은 언제 스스로 연구를 해야 하는지를 가르쳐야 한다. 또한 가능한 자료에 대해 접근해서, 효과적으로 다루는 방법도 가르쳐야 할 것이다.

We should be training our resident physicians not only about what quality information is available (the resources themselves) but also about when to delve deeper into the information pyramid and go directly to the studies themselves, as well as how to navigate to resources, manage, and be good stewards all of the information that is available.

Should We Google It? Resource Use by Internal Medicine Residents for Point-of-Care Clinical Decision Making.

(출처 : http://meded.ucsf.edu/radme/faculty-development)

교수법 향상 개입의 효과

EFFECTIVENESS OF TEACHING-IMPROVEMENT INTERVENTIONS

어떤 교수개발 모델 혹은 개입방법을 사용할 것인가를 결정할 때, 관련 연구들의 결과를 참고하는 것이 도움이 된다. 교수법 향상에 관한 최근의 연구들은 과거의 연구와 비슷한 결론을 도출하고 있다. 교수향상을 위한 개입방법의 영향에 대한 실험논문은 많지 않지만, quasi-experimental 연구를 비롯한 다른 논문들이 많이 있다.

When considering which faculty development models and interventions to use, it is helpful to base these decisions upon the results of educational research. The most recent reviews of the research on instructional-improvement interventions in medical education17,18.are in accord with prior reviews.5,39-42 While there is a paucity of experimental research on the effects of teaching-improvement interventions, there is a large and growing body of quasi-experimental and qualitative research demonstrating the efficacy of longer workshops, students' ratings coupled with individual consultation, and faculty development fellowships

Workshops

이틀 혹은 그 이상 길이의 워크숍은 한 가지 이상의 개입방법을 포함하고 있으며, 실제 수행과 피드백, Reminder가 교수자의 지식, 태도, 기술에 영향을 주는 것으로 연구되어 있다.

Workshops that are two days long or longer, involve more than one type of intervention, and are followed up with practice, feedback, and reminders have demonstrated effects on teachers' knowledge, attitudes, and skills. 21,22,37,44-56

이러한 결론은 Davis 등의 메타분석 결과와도 비슷하다.

This conclusion is similar to that reached by Davis and colleagues 57 in a meta-analysis of continuing medical education programs intended to change the practice, knowledge, attitudes, and skills of physicians

Teaching Evaluations with Consultation

학생으로 하여금 교육을 평가하게 하는 것은 교육자의 행동을 바꿀 수 있으며, 특히 개개인에 대한 자문이 더해질 경우 더욱 그렇다.

Evaluations of teaching by students can lead to changes in teaching behaviors, particularly if accompanied by individualized consultation in which the instructor is provided assistance in interpreting results and devising changes in

teaching practice in a nonthreatening environment.60

임상 교육에 대한 최근의 연구 결과에서 평가 결과를 제공할 때 개개인에 대한 조언을 함께 하는 것의 중요성이 자주 강조되고 있다. 전향적인 무작위 시험에서 개개인에 대한 피드백을 준 것이 기술 향상과 평가 전-후의 차이가 가장 컸다.

Three recent studies in clinical education reinforce the importance of individualized advice in reporting ratings. A prospective, randomized trial of the effect of feedback on clinical teaching by Schum and Yindra63 suggests that individual feedback was associated with higher ratings on four skills and larger pre-post differences among participants than among controls

Wilson은 가장 통계적으로 중요한 변화를 보인 평가 아이템들은 구체적이고, 자세하고, 행동에 관한 것(concrete, specific, behavioral) 이었다 라고 하였다.

Wilson found that rating "items on which the greatest number of faculty showed statistically important change were those for which the suggestions were most concrete, specific, and behavioral.69.

Faculty Development Fellowship Programs

교수개발 프로그램에 대한 fellowship program은 더 자세하면서 포괄적인 기전을 다루고 있으며, 비교적 최근에 등장하였다.

Faculty development fellowship programs have emerged in recent years as a more in-depth and comprehensive mechanism for strengthening the instructional skills and scholarly abilities of faculty members

A COMPREHENSIVE PROGRAM OF FACULTY DEVELOPMENT

전문가 개발 (Professional Development: Joining the Academy)

교수개발은 교육사업에 있어서 몇 단계에 걸쳐서 교수들을 참여시켜야 한다. 

시작 단계에서, 모든 교수들은 기본적인 교육 기술을 습득해야 하며, 그 기관의 학문적 가치, 규범, 기대에 대해 이해하고 있어야 한다.

Faculty development programs need to address the several levels of faculty involvement in the educational enterprise. 67·69 At the entry level, all faculty members should possess basic teaching skills and be oriented to the academic values, norms, and expectations of the institution

자신의 교육에 대한 성찰의 기회가 주어짐에 따라서 일부 교수들은 좀 더 교육학적 지식을 습득해야 하며 여기에는 다음과 같은 것들이 포함된다. 

With opportunities to reflect upon their teaching practices, a subset of teaching faculty will develop into teachers with more pedagogic content knowledge, 19 which integrates...

 knowledge of content, learners, 

teaching skills, context, and, in medicine, patients. 

이 단계에서 일어나는 변화의 원동력은 더 발전된 교육 경험, guided reflection, 교육 이론과 실습에 대한 광범위한 노출 등이다.

This second level occurs as a result of more advanced teaching experience, guided reflection, and broader exposure to educational theory and practice

세 번째 단계에서 교육프로그램에 리더쉽을 발휘하는 교수들이 생겨난다. 임상실습이나 레지던트 프로그램의 책임자를 맡게 되며, 교과과정 위원회의 위원장이나 교육에 관심이 있는 주니어 스텦들의 멘토로서 역할을 할 수 있다.

At a third level, there are those faculty members who provide leadership to educational programs, serving as directors of clerkship and residency programs, as chairs of course and curriculum committees, and as mentors to junior colleagues

interested in teaching

일부 소그룹의 교수들은 Teacher-scholar의 네 번째 단계에 도달하며, 교육을 가르치는 것과 교과과정의 과정과 결과(process and outcome of teaching and the curriculum)으로 인식한다.

A small group of faculty members constitutes a fourth level-teacher-scholars, who approach education with questions about the process and outcomes of teaching and the curriculum

마지막으로 학교에는 정책, 과정, 조직구조를 집행하며 의미있는 참여를 이끌어내고, 교육의 향상을 가져오는 일을 할 수 있는 일부 교수들과 집행부가 있다.

Finally, schools have a group of faculty members and administrators who are committed to and capable of creating policies, procedures, and organizational structures that encourage meaningful participation in and improvement of education.7

이러한 다양한 종류의 교육자들을 개발하고 유지하기 위해서 교수개발 프로그램은 넓은 범위의 활동을 포함해야 한다.

In order to develop and sustain the work of these various types of educators, faculty development programs should include a range of activities:6, 70- 72

Professional Development: Joining the Academy

academic community의 새로운 일원으로서, 교수는 academic profession에 대한 사회화가 되어야 한다. Benor와 Mahler는 "조직, 조직의 철학, 그리고 조직의 교육적 접근에 대한 개개 교수들의 정체성을 확립해야 한다"라고 강조했다.

As new members of the academic community, faculty members need to be socialized into the academic profession. Benor and Mahler stress the importance of "enhancing the identification of the individual teacher with the institution, its philosophy, and its educational approaches." 71

새로운 교수 구성원에 대해서 다뤄야 할 내용은 교수에게 요구되는 가치와 규범, 기대와 같은 것들이며, 특히 선생님으로서의 역할이 중요하다. 

Issues to be addressed for new faculty members include the values, norms, and expectations of the faculty, particularly as teachers; 

the skills of scholarship as defined by the institution; 

the establishment of a network of experienced and knowledgeable colleagues; 

and knowledge of the steps for academic advancement, including how to document accomplishments as a teacher.

Instructional Development

<초급 교육 기술 Initial teaching skill>

교수 개발은 교수들이 기본적인 교육 기술을 학습하는 것으로부터 시작하며, 이는 교수에게 요구되는 교육적 역할과 연결이 되어야 한다. 

presentation and discussion facilitation skills; 

strategies for teaching during patient care; 

instructional planning and reflection skills; 

evaluation, feedback, and grading skills; 

and information technology skills

<가르침과 배움을 연결시키기 Connecting teaching and learning.>

가르치는 것을 학습하는 것과 연결시킬 수 있어야 한다. 몇 년의 교육을 경험하고 나면 교수들은 왜 어떤 방법은 통하고 어떤 방법은 통하지 않는지에 대해 생각하게 된다. 그들은 학습자에 대해서 더 관심을 가질 수도 있고, 가르치는 사람인 본인에 대해서는 덜 신경을 쓸 수도 있다. 이 때야말로 교수-학습에 대한 것을 가르치기에 가장 좋은 때이며, 학습 이론과 교육 임무를 연계시키는 과정에 참여시킬 수 있는 기회이다. 교육수행을 되돌아보면서 교수들은 그들이 가르쳤던 경험으로부터 학습을 한다.

After several years of teaching, faculty members often begin to wonder why certain teaching methods work while others do not. They may also begin to focus more on the learners and less on themselves as teachers. This is the best time to introduce them to the literature on teaching and learning, and to engage them in the process of connecting learning theory to teaching practices. Reflective educational practices involve faculty members in learning from their experiences of teaching. 

실용적인 지식에 대한 토론과 교육에 대한 생각에 대해 이야기하고, 학습에 대한 연구를 리뷰하면서 경험이 많은 교수들은 어떻게 가르쳐야 할 것인가에 대한 자신만의 이론을 구성할 수 있다.

Through discussion of their practical knowledge and beliefs about teaching, and review of research on learning, more experienced teachers can begin to construct a personal set of principles to guide decisions76 about how to teach specific content to particular learners in distinct situations. 3,18,19,27

Leadership Development

<교과과정 개발과 리더십(Curriculum development and leadership in medical education)>

교육프로그램의 발전을 위해서는 그들이 이끌어 갈 집단의 사고체계를 Re-framing하고, 조직의 활력을 위해서는 변화를 유도하는 것이 필수적이라는 것을 일깨워 줄 수 있는 효과적인 리더가 필요하다.

Educational programs need effective leaders who are capable of reframing the thinking of those whom they guide and of encouraging change as an essential component of institutional vitality. 78

공식적이든, 비공식적이든 리더는 서로 다른 리더십 스타일을 이해하고 어떻게 사용해야 하는가를 알아야 한다.

Both types of leaders, formal and informal, need to understand different leadership styles and how to use them.

<Instructional scholarship>

교육 리더들은 teacher-scholar처럼 그들이 지휘했던 교육 프로그램의 성과와 질을 평가할 책임이 있다. 프로그램 평가를 디자인하고 수행하는 능력은 지속적인 질적 향상에 필수적이다.

Educational leaders, as teacher-scholars, are responsible for evaluating the quality and outcomes of the teaching programs that they direct. Skills in the design and implementation of program evaluation are essential to the success of continuous quality improvement.

Organizational Development: Educational Policies and Procedures

교수개발의 목적은 교수 구성원들이 교육자로서의 역할을 잘 하도록 하는 것이고, 이를 통해서 지속적 학습(continual learning)에 대해 보상을 하고 이를 장려하는 조직을 만드는 것이다. 교육 리더와 교수개발의 전문가들은 서로의 책임을 공유하고 교육적 미션과 가치를 공유하며, 교육과 관련된 의사결정과정에 교수들을 활발히 참여시켜야 한다. 

The goal of faculty development is to empower faculty members to excel in their role as educators and in so doing, to create organizations that encourage and reward continual learning. 70 Educational leaders and professional faculty developers share the responsibility for creating and promoting a shared educational mission and shared values, for actively involving the faculty in decision making related to education, for providing opportunities for teaching improvement, and for shaping the systems for evaluating and rewarding teaching.7

교수와 행정가들은 교육에 가치를 두고, 지속적 학습을 중시하는 조직의 분위기를 만들 수 있다. 

Faculty members and administrators can create an organizational climate that values education and the process of continual learning. For example, a teaching-evaluation system 80,81 with established procedures for reporting educational contributions of faculty members such as the educator's portfolio11 can carry important messages about how teaching is valued and how faculty members should allocate their time.

Strategies for improving teaching practices: a comprehensive approach to faculty development.

(출처 : http://www.partnersforeffectiveteaching.com/links-overview/)

의과대학 교수들에게 창의적이고 효과적인 교수자, 성공적인 연구자, 그리고 생산성이 높은 임상가 되어야 한다는 요구가 강해지고 있다.

Increasing demands are being placed upon medical school faculty members to be creative and effective teachers, successful investigators, and productive clinicians.

이러한 압박은 교과과정의 개혁, 의료시장의 경쟁 심화 등등에 기인한다.

These pressures derive from curriculum reform from competition in the health care marketplace, and from increasing competition for scarcer resources to support research. 

이러한 변화로 의대교수들은 새로운 지식, 기술을 습득해야 하는 입장에 놓였는데, 특히 교육적 상황에서 더욱 그러하다. 

Such changes require faculty members to acquire new knowledge, skills, and abilities-especially in the instructional arena. 

In their teaching roles, faculty members are being asked to develop more time-efficient ambulatory care clinic instruction, more small-group teaching, more problem-based tutorials, new types of case-based discussions, and new computer-based instructional programs. 

어떠한 투자가 이루어져야 할까? 교수 개발을 위해서 취해야 할 전략은 무엇일까?

In order to promote academic excellence, what investments should be made to help faculty members master these new skills? Which faculty development strategies actually produce changes in faculty members' instruction?

20세기의 첫 절반동안, 잘 가르친다는 것은 내용을 잘 안다는 것의 한 부분과 같았다. 교수가 특정 학문에 대한 지식을 안다면, 그것을 가르칠 수 있다고 생각했다. 따라서 교수능력을 향상시키기 위한 주된 방법은 안식년, 연구비, 학회 참석 등등이었다.

During the first half of this century, teaching expertise was assumed to be part of content expertise. If a faculty member acquired the knowledge of the discipline, she or he could teach. Thus, the primary mechanisms for enhancing teaching were academic leaves, sabbaticals, research funding, and travel to professional meetings.1

시간이 지나며, 가르친다는 것은 내용을 잘 아는 것과 연관은 있지만, 한편으로는 분리되어 있는 개념으로 변해갔다. 대부분의 교수들은 가르치는 법을 자신을 가르쳐준 선생님이 어떻게 가르치는가를 봄으로써 배웠다.

Over time, teaching has come to be recognized as a skill associated with, but separate from, content expertise.Most faculty members learn to teach not from learning their content but from observing it being taught.

이러한 관찰을 통한 도제식 교육으로 인하여 교수들은 점차 '통하는' 방법은 계속 사용하고, 잘 통하지 않는 방법은 버리는 식의 교육을 하게 되었다.

This apprenticeship of observation resulted in their emulating teaching practices that were helpful while rejecting ones that were not

경험을 통해서 가르치는 법을 배우는 것은 느리고 고통스러운 과정이다. 교수개발 프로그램은 이러한 데에 들어가는 시간을 줄이고 교수 능력 향상을 위한 지침을 주기 위한 목적이 있다.

Learning to teach from experience alone can be a slow and painful process. Faculty development programs were begun to reduce the time required to learn to teach and to provide guidance for teaching improvement

다양한 접근법이 등장했고, 이러한 접근법은 주로 학습에 관한 이론의 발전과 그 궤를 같이한다.

A variety of approaches to teaching improvement have emerged, generally in association with changing theories of learning.9

THE 1970s: BEHAVIORAL THEORIES AND TEACHING IMPROVEMENT

1970년대 : 행동주의 이론과 교수 향상

1970년대의 교수 향상 전략은 교수-학습과 관련된 행동주의적 접근의 영향을 많이 받았다. 학습은 '행동의 변화'라 정의되었고, 반복, 연습, 피드백, 행동교정강화를 거치는 작고 선형적인 과정을 통해서 이뤄지는 것이라 여겨졌다.

Teaching-improvement strategies created in the 1970s were strongly influenced by behavioral approaches to teaching and learning.10 Learning was defined as a change in behavior and was believed to be facilitated by providing instruction in small, linear steps through drill, practice, and feedback, and by reinforcing correct responses

교수들에게 '잘 가르친다는 것'은 어떤 특정한 기술을 연마하는 것과 같았다.

Faculty were taught that good teaching involved clearly defined skills such as...

creating an instructional set with objectives, 

providing learners with practice opportunities and feedback, 

increasing wait time after asking questions, 

and using various techniques for enhancing enthusiasm and motivation

기관에서의 학생들의 강의평가는 가르침(instruction)을 향상시키기 위한 목적이 있었고, 문서로 된 피드백을 제공하면 자동적으로 향상될 것이라 기대했다.

Students' ratings of teaching were instituted nationally to increase feedback to faculty members for the purpose of improving instruction. By providing written feedback to instructors, we assumed that they would automatically know how to improve

그러나 1970년대 초반의 일부 연구는 학생들의 강의평가로 제공되는 피드백만으로는 '가르치는 행동'을 향상시키지 못한다는 것을 보여줬다. 교수자들은 평가에 대한 해석을 곁들여 개개인에 대한 조언을 해줄 때 향상이 이뤄졌다.

Studies in the early 1970s by Centra12 •13 in higher education suggested that feedback from students' ratings alone was ineffective in modifying instructional behaviors. Teachers were more likely to change when provided with individual consultation on the interpretation of rating results and suggestions for improvement.

메사추세츠 대학에서는 가르치는 기술에 대한 문제에 대해 진단과 치료의 개념을 접목한 자문 모델을 만들엇다. Skeff도 비슷한 자문 모델을 만들었는데, 그의 방법을 사용하면 집중적인 피드백을 통해서 교수법에 대한 다양한 자문을 할 수 있었다.

At the University of Massachusetts, The Clinic to Improve University Teaching developed a consultation model for improving teaching skills, based on a medical model with a variety of tools for the diagnosis and treatment of teaching problems.14 Skeff developed a similar consultation model in medical education.15 In his intensive feedback method, a facilitator...

helps the clinical teacher review feedback on teaching performance, 

offers a framework for analyzing teaching using clearly defined criteria, 

and plans for improvements that are then assessed through subsequent videotaping and students' ratings.

이러한 교수개발의 행동주의적 모델은 워크숍과 자문을 통해서 주로 이뤄졌고, 1970년대에 보편화되어 지금까지 이어져오고 있다. 1977년, 72개의 의과대학이 교수개발 프로그램을 제공하는 의학교육 부서(unit)를 만들었다. 그러나, 그 시기에 의대교수들을 대상으로 한 설문조사를 보면 그러한 프로그램에 참여한 교수는 거의 없고, 교육에 대한 공식 과정을 밟은 숫자는 더 적었다.

These behavioral models of faculty development, conducted mainly through workshops and consultation, were the norm in the 1970s and continue today. By 1977, 72 medical schools had established medical education units with some capacity to provide faculty development. 1r' However, a survey of medical school faculty members during that period indicated that few faculty members had participated in programs on teaching offered by these offices and fewer still had taken formal courses on education. 2

THE 1980s: COGNITIVE THEORIES AND TEACHING IMPROVEMENT

1980년대 : 인지이론과 교수 향상

학습에 대한 인지이론은 1970년대에 행동주의 이론과 경합하기 시작하여, 1980년대 들어서 교실에서 다룰 만한 주제가 되었다. 이 새로운 패러다임에 의하면, 학습은 자발적으로 의미를 재구성하는 것(active construction of meaning)이라고 할 수 있었다. 겉으로 드러나는 행동보다는 정신적인 과정과 개념적인 구조에 더 관심을 두었다. 

Cognitive theories of learning began to compete with behavioral theories in psychology during the 1970s and entered the classroom in the 1980s. In this new paradigm, learning involved the active construction of meaning. 17 Mental processes and conceptual constructs rather than overt behaviors became the focus of interest. 

이 이론에 기반한 필수적인 교수법 전략은...

학습자가 이미 가지고 있는 개념(전개념, preconception)을 파악하고

=> 기존의 지식 위에 새로운 지식을 지어서

=> 새로운 지식에 대한 더 발전된 개념 틀을 만들어주고

=> 그 맥락(환경, context)와 관련된 내용을 넣어주고, 

=> 학습자가 그 내용과 활발히 작용할 수 있도록 자극하며

=> 학습자가 어떻게 학습할 수 있는가(learning how to learn, metacognition, 메타인지)를 학습하도록 하는 것이다.

Essential instructional strategies included identifying learners' preconceptions, building new knowledge upon prior knowledge, providing advanced organizers and conceptual scaffolding for new content, embedding content in relevant context, promoting active learner engagement with content, and teaching learners how to, learn (i.e., the executive monitoring and control functions of metacognition).

1980년대에 인지학습이론은 영향력이 점점 강해져서 교수들의 실용적 지식(practical knowledge)과 논리적 사고를 하는 기술은 교수향상 프로그램의 주된 타겟이 되었다. 1980년대 중반에 나온 교수자의 변화에 관련한 연구 프로젝트를 보면, Richardson은 "가르치는 것을 배우는데 있어서 교실에서의 활동(classroom action)은 실용적 지식에 비해서 덜 중요하다. 실용적 지식이 있어야 교수자들은 자신의 과거 경험과 비교하여 상황과 맥락을 판단하고, 지식에 근거한 행동을 할 수 있다."라고 했다.

In the 1980s, as cognitive learning theories grew in influence, teachers' practical knowledge and reasoning skills became the focus of teaching-improvement programs. In a report on a teacher-change research project in the mid-1980s, Richardson concluded that the literature on learning to teach "suggests that classroom actions are of less importance as a focus of change than the practical knowledge that drives or is a part of those classroom actions. Practical knowledge allows a teacher to quickly judge a situation or context and take action on the basis of knowledge gained from similar situations in the past."18· 

더 나은 교수자가 되는 것은 단순히 특정한 교수법이나 교수 기술을 가르치는 것 이상이 되었다. 더 나은 교수자가 되는 것은 가르치는데에 필요한 실용적인 지식과 기술을 학습함으로서, 알고 있는 지식을 학생에게 의미가 있는 용어(term)이나 활동(activities)로 전환할 수 있는 능력을 의미했다. Shuhnan은 "pedagogical content knowledge"라는 용어를 도입했고 Irby는 같은 것을 의사에 대해 표현하면 "case-based teaching scripts"라고 했다.

Becoming a better teacher was viewed as more than mastering a set of specific teaching behaviors. Better teaching involved learning practical knowledge and skills for teaching and knowing how to translate content expertise into terms and activities that were meaningful to specific students. Shuhnan 19 termed this "pedagogical content knowledge" and lrby 1 named the same special form of teacher knowledge of clinicians "case-based teaching scripts." 

'가르치는 것'에는 어떻게 학생들이 학습하는지를 이해하고, 교실(또는 clinic, 외래)에서 교육에 필요한 활동을 조직하고, 학습을 최대화 할 수 있도록 하는 기술 등이 요구된다. 학습에 대한 교수자의 생각을 바꾸는 것은 새로운 교수 기술을 학습하는 것에 있어 필수적인 것이다. 교수 향상을 위한 주된 방법으로 등장한 워크숍이나 자문은 기술적인 훈련 뿐만 아니라 학습에 대한 원리를 같이 가르치는 쪽으로 가고 있다.

Teaching requires an understanding of how students learn and the ability to craft instructional activities in the classroom and the clinic to maximize learning.2° Changing teachers' beliefs about learning was viewed as an essential precursor to the acquisition of new teaching skills.21 Workshops and consultations, the emerging mainstays of teaching-improvement programs, began to couple skill training activities with discussions meant to assist faculty members in developing a conceptual understanding of the learning principles underlying various teaching behaviors.

THE 1990s: SOCIAL LEARNING THEORIES AND TEACHING IMPROVEMENT

1990년대 : 사회학습이론과 교수 향상

고등교육에서의 교육을 향상시키기 위한 노력은 1990년대도 이어졌다. Academic institution에서 교육과 교육자들의 지위 향상과 더불어 scholarship에 대한 개념도 확장되었다. 이러한 접근법은 의미에 대한 사회학습이론으로부터 등장했다.

Efforts to improve teaching in higher education have continued into the 1990s with a growing emphasis upon improving the status of teaching and teachers in academic institutions, broadening the definition of scholarship to include teaching, promoting reflective teaching practices, and developing collegial arrangements for learning from the experience of teaching. These approaches grew out of a changing view of learning as the social construction of meaning.21

사회적 구성주의자의 시각에서 학습은 새로운 지식 커뮤니티에 속하여 사회화되는 과정과 같았다. 이러한 과정은 학생들이 커뮤니티에 활발하게 참여하고, 그 사회에서 구성(constructed)된 의미를 내재화시키는 과정이 필요했다.

In the social cnnstructivist view, learning is defined as socialization into a new knowledge community. This process occurs through the student's active participation in the community and the internalization of socially constructed meaning.

워크숍이나 자문에 대한 접근도가 높아졌음에도, 대부분의 대학과 의과대학 교수들은 대부분의 교수법을 직접 해보면서(on the job) 배웠다. 가르치는 중간에 가끔은 문제점이, 가끔은 가능성이 교수의 관심을 끌었다.

In spite of increasing access to workshops and consultations on teaching, the majority of university and medical school faculty members continue to learn the most about teaching from their "on the job" experiences. In the midst of teaching, a problem or possibility attracts the attention of the teacher.

예를 들어, 교수들은 왜 학생들이 헷갈려하는지 궁금해했고, 그 혼동을 줄여주기 위해서 실험을 하기도 했다.

For example, a faculty member might wonder why students appear to be confused and might begin to experiment with various ways of reducing that confusion. 

각기 능력이 다른 교수들은 Shoen이 말한 "reflection on action(행동 후 반성)"을 교수 향상의 기초로 삶았다.

Teachers differ in their ability to use what Shoen24 terms "reflection on action" as the basis for the ongoing examination of professional improvement.

Killen은 자신에 대한 성찰과정에서 성찰을 같이 할 수 있는 파트너를 활용하는 것에 대해 묘사했다.

Killen25 describes the use of reflective partnerships for purposes of improving teaching.

교수 향상에 대한 피어 코칭(Peer coaching)은 교수들이 연구를 하면서 논문을 쓰고 토론을 하는 것과 같이, 서로 교육에 대한 생산적인(formative) 토론을 하는 것과 같다.

Peer coaching for teaching improvement27-29 involves faculty members in collaborative arrangements with one another in the formative discussion of teaching, just as one might take a research paper or grant to a colleague for purposes of garnering new insights.

Strategies for improving teaching practices: a comprehensive approach to faculty development.

The Subordination of the Private Practitioner

• Full-time system이 논쟁을 촉발시켰을 때, 이것은 practitioner 사이에서도 어떠한 경고 신호와 같았다. Full-time department와 같은 시스템하에서 private practitioner는 없어지기 일보 직전과 같은 위기 상황에 놓여있었다.
• Private practitioner들이 걱정할 만한 이유가 있었는데, 우선 clinical scientist들이 임상분과의 권한을 가지려는 의도를 보였던 것이다.
• 의학교육자들에게 clinical teaching은 preclinical teaching만큼이나 전문적인 academic activity였다. 
• 아마추어가 할 수 있는 그러한 것이 아니었으며, Academic medicine은 다른 분야들처럼 professionalization의 길을 걷고 있었다.
• 근대 Medical School에서 Practitioner의 지위는 그렇게 항상 절망적이었던 것은 아니다. Personalized instruction의 시대에서는 clinical teacher가 정말 많이 필요했다.
• 그러나 문제는, private practitioner의 역할이 있느냐 없느냐가 아니라, 누가 임상교육의 주도권을 쥐느냐의 문제였다.
• “routine” teaching은 private practitioner가 할 수 있는 것이었고 그럼으로써 full-time faculty가 정말 중요한 곳에 시간을 쓸 수 있었다. 점차 practitioner는 부차적인 일들에서나 필요하게 되었다. Professor는 practitioner가 전통적으로 가지고 있던 의학교육에의 control과 power를 가져왔다.
• Full time professor가 임상교육의 운영을 위하여 임명되었을 때 잔혹한 인사이동이 있었다. 수년, 수십년간 임상 교육을 담당하던 대부분의 private practitioner는 모두 faculty에서 잘리거나, 좌천당했다.
• 의학교육에서 Private practitioner의 전통은 길고, 명예롭고 자랑스러운 것이었으나 full-time이 늘어날수록 그들은 점차 스스로를 무용하게 느꼈다.
• 그러면서 Professor와 practitioner의 갈등이 다시 시작된 것이다
• Town—Gown 의 긴장은 대부분의 full time instructor들이 멀리 다른 기관에서 import됨에 따라 더 심해졌다. Private practitioner는 새로 들어온 임상 faculty의 교만함(arrogance)에 대해 불만을 늘어놓기 시작했다.
• New Haven보다 Town-Gown 논쟁이 심한 곳은 없었다.
• New Haven의 한 의사는 MS이 지역사회의 professional fraternity(협회)에 너무 무신경하다고 불평했다. 새로운 plan하에서 practitioner는 자신의 환자를 제대로 볼 수 없었고 환자들은 왜 주치의가 자신에 대해서 그렇게 모르는지를 의아해했다.
• Town-gown 논쟁에서 생겨난 불편한 감정은 사라지지 않았다. 실제로, 이러한 감정은 지금도 남아 있다. 그렇지만 1930년에 최악의 적은 사라졌다. 항상 서로를 경계하던 Professor와 practitioner가 상호 이익을 존중하고 차이를 인정하기로 했기 때문이다.
• 또한 언제나처럼 시간이 약이었다. 나이든 practitioner들이 은퇴하기 시작했다.
• 그리고 무엇보다 clinical science는 쓸모가 있었다(worked). 대중들이 이러한 사실을 인정했고 practitioner가 의학교육의 주도권을 잃음으로서 상실한 부분은 사회적인 지명도나 영향력으로 보상받았다.

The Enthronement of Research

• 의학교육자들의 full-time activity에 대한 주장은 옳은 것이었을까? 
• 그들의 근거 중 하나는 full-time profession이 더 나은 교육을 할 수 있다는 것이었다. 
• 하지만 이런 주장은 전혀 옳은 것이 아니었다. 그런 근거도 없었을 뿐더러 private practitioner도 좋은 교육을 – 그 당시부터 지금까지도 – 하고 있다.
• 그러나 Clinical scholarship의 목적이 연구였다면, 그들의 주장은 일리가 있다. Professor와 practitioner 모두 임상연구는 고된 과정이며 대충 할 수 있는 것이 아니라는 것을 인정했다. Full time position이 아닌데 lab을 제대로 운영할 수 있는 의사는 거의 없었다.
• 이것이 좋은 선생님에 practitioner는 포함되더라도, 좋은 연구자에는 포함되지 않는 이유이다.
• 1920년대에 연구는 미국 Medical school에 이미 퍼져있었다. 일부 학교는 다른 학교보다 더 연구를 강조했다. 하지만 이전과 같은 학교간 심각한 차이가 있지는 않았다.
• 연구가 그 중요성을 인정받을수록, academic medicine은 처음으로 ‘상승장’을 즐길 수 있었다. Full time position은 전례없이 그 수가 많아졌다.
• 한 세대 이전만 해도 academic medicine의 물질적인(자리, 기구, 돈) 것들이 academic medicine을 저해하는 요인이었는데, 이제는 오히려 능렸있는 manpower가 부족한 상황이 되었다.
• Academic medicine의 성장과 함께, medical scientist들의 오래된 소망이 이뤄졌다. 의학 교육과 연구를 하는 직업을 가질 수 있게 된 것이다. 
• 그러나 한편으로는 미국 MS에서 교육은 연구에 의해 뒷전으로 밀렸다. 궁극적으로는 Pure university value를 추구하기 위한 길을 택하게 된 것이다.

Chapter 11. The Maturation of Academic Medicine

• 1910년과 1930년 사이에, 현재를 포함하여 그 이후의 모든 시기가 그러했듯, MS에서 모아진 돈 중에 많은 부분이 교육보다는 연구에 쓰였다. 의학교육에의 funding은 두 가지 의미를 지녔는데, 하나는 높은 수준의 의학교육을 가능하게 하는 것이었으며, 다른 하나는 experimental medicine을 가능하게 함으로써 academic medicine을 위한 새로운 자리들을 만들어낸 것이었다.

The Full-Time System

• 대중들이 의학교육을 좀 더 자유롭게 지원하게 됨에 따라서, 마침내 의학교육 뿐만 아니라 의학 연구가 성장하게 되었다.
• 1910년과 1930년 사이의 20년동안, academic medicine은 마침내 확실한 교수직(secure profession)을 유지할 만큼의 충분한 지원을 받게 되었다. 그 결과로 미국 의학교육 뿐만 아니라 미국 의학 연구가 국제적인 선두에 서게 되었다.
• 1910년 이전의 academic medicine의 성장통을 떠올려보면, 기초과학 department는 상대적으로 조용하고 쉽게 성장하였다. 의학이 실험적인 것을 기반으로 하여 발전함에 따라서 private practitioner는 기초과학을 가르친다는 것이 대단히 어려운 것임을 알게 되었다. 그 분야가 대단히 세분화 된 것이다. 그리고 해당 학문만을 전적으로 전공하는 사람이 그것을 가르치는 것을 당연하게 여기게 되었다
• 임상 분과의 학문적 지위(academic stature)의 성장은 조금 더 드라마틱하였으며, 애초에 사람들은 그것에 대한 기대가 크지 않았다.
• Practicing physician들은 기초과학을 늘상 하는 것은 아니었지만, 환자는 꾸준히 보고 있었다. 임상 분과의 full-time instructor의 필요성은 기초과학 분과만큼 급하지는 않았다.
• 그러나 1900년대 초에 임상과학도 급격한 과학적 혁명(scientific revolution)을 겪고 있었다.
• 점차 laboratory based 되었으며, observational 한 전통이 사라지지는 않았지만 1920년에는 laboratory가 임상연구의 주요한 형태였던 case report를 대신하기 시작했다.
• 임상과학의 발전에 따라 임상분과의 faculty가 되고자 하는 사람들도 상당히 새로운 것을 요구받게 되었다.
•  심지어 스스로의 scientific preparation을 ‘애들 장난(farce)’이라고 여기며 dean을 사퇴한 사람도 있었다.
• 임상과학이 성장하자 MS의 임상분과에 점차 다른 type의 사람들이 들어오기 시작했다.
• “new clinical men”이라 불린 이 사람들은 과학적 background를 가지고 질병의 근본적 기전을 연구한 사람들이었다
• 한 세대 전까지만 해도 이런 사람들은 기초분과로 갔을 테지만 이제는 임상분과에 들어오게 된 것이다.
• 임상과학자들은 기초과학 분과의 동료들과 같은 학문적 가치를 추구했다. 두 그룹 모두 private practice보다 연구와 교육으로서의 career를 택했다. 임상과학이 발전하면서 마치 예전의 기초분과에 그랬던 것처럼, 임상분과에도 university value라고 할 수 있는 것이 널리 퍼졌다.
• 임상과학이 발전함에 따라 clinical discipline은 점차 진정한 대학 과목으로서의 모습을 갖추게 되었다. 환자에 대한 업무는 감소하면서 1954년에는 15개 학교를 제외한 모든 학교에 full-time instructor가 있었다.
• 임상 분과의 Full-time system은 누군가가 독단적으로 도입한 것이 아니라 임상과학이 진정한 ‘과학적’ activity를 함에 따라서 자연스럽게 생겨나게 되었다. 그러나 어떻게 full-time clinical position을 도입하는 것이 가장 좋은 것이냐에 대한 문제는 여전히 논쟁이 있었다.
• 특히 가장 논란이 많았던 문제는 clinical scientist가 어느 수준 정도로 clinical skill을 유지해야 하는가에 대한 문제였다. 흔한 오해와는 달리 full-time professor가 환자를 보지 않았던 것은 아니다.
• “clinical prig(도덕군자연 하는 사람)”
• Academic medicine 내에서 full-time appointment는 뜨거운 감자였다. Strict full-time system을 가장 강력하게 주장한 것은 GEB였다.
• 이에 반대하는 사람들은 대개 금전적인 이유를 댔는데, 왜냐하면 임상 faculty의 full-time salaries는 기초보다 약 2배쯤 많았기 때문이다. 
• 또한 Rockefeller philanthropies의 영향을 두려워하는 이유도 있었다. (GEB는 Rockefeller가 설립)
• 그러나 이렇게 격렬한 논쟁이 벌어졌다는 사실이 대부분의 academic physician은 clinical full time이 타당하다고 생각했다는 사실 자체를 부정하지는 못한다. 대부분이 어떤 형태로든 full-time plan이 필요하다는 것에는 동의했다. Full-time의 핵심적 개념은 가장 중요한 업무가 교육과 연구로 대표되는 university duty 라는 것이다.
• 결국 여러 Medical School의 임상분과는 엄청난 다양성을 갖게 된다. 1920년 GEB조차 strict full time을 포기하고 더 유연한 형태를 지원하기 시작한다.
• 그럼에도 불구하고 1920년대 후반까지는 임상분과에 상당한 변화가 있게 된다. 임상 분과의 Professor들은 연구와 교육가 주된 임무라는 점에서 laboratory department의 교수들과 비슷해졌다.
• 임상분과는 이제 비가역적인 변화를 한 것과 같았다. 임상분과에 있어서 Medical scholarship은 preclinical branch와 같이 하나의 독립적인 professional activity가 되었다.

Baba Shiv: Sometimes it's good to give up the driver's seat

우리는 소위 '운전석에 앉아 있으면', 즉 모든 결정에 대한 주도권을 가지고 스스로 결정을 내려야 한다면,
일부 사람들에게 이런 것은 대단히 고민스럽고 힘든 경험일 것입니다.
저는 고민을 하게 되었습니다.
'결정을 내려야 하는 상황에서는 스스로 결정권을 가지는 것이 좋다' 라는 옛 말이 정말 맞는 것일까요?
아니면, 상황에 따라서 '조수석에 앉아 있는' 상태가 더 나은 경우도 있지 않을까요?
예를 들어, 믿을 만한 자산관리사가 있으면, 믿을 만한 주치의가 있으면 말입니다.
그래서 연구를 해 보기로 했습니다. 

And we were certainly in the driver's seat, making all these decisions, and let me tell you, if some of you had been there, it was a most agonizing and harrowing experience. Which got me thinking. I said, is there any validity to this whole adage that when you're making decisions, it's best to take the driver's seat, be in charge, be in control? Or are there contexts where we're far better off taking the passenger's seat and have someone else drive? For example, a trusted financial advisor, could be a trusted doctor, etc. And since I study human decision making, I said, I'm going to run some studies to find some answers.

단어 문제 풀이를 이용한 연구를 했습니다.
연구에 참여한 사람들은 두 그룹(A, B)으로 나누어집니다.
그리고 연구에 참여한 사람들에게
[1]마음이 안정되서 문제를 잘 풀수 있는 캐모마일차와
[2]집중력을 올려줘서 문제를 잘 풀 수 있게 해주는 커피

이 둘 중에서 하나의 차를 마시게 해줍니다. 

다만 차이는, 

(A) 한 그룹은 두 가지 종류의 차 중에서 스스로 마시고 싶은 차를 골라서 마시게 했고 

(B) 다른 그룹은 두 가지 종류의 차 중에서 연구자가 마실 차를 골라서 정해주었습니다.

30분간 단어 문제를 풀라고 했을 때, 이 두 그룹 사이에 차이가 있었을까요? 

여러분같으면 운전석에 앉으시겠습니까(A) 아니면 조수석에 앉으시겠습니까(B)

어디 집단이 문제를 더 잘 풀었을까요? 

저희가 연구한 결과, 마실 차를 임의로 정해준 그룹이 문제를 더 잘 풀었습니다.

Okay, so you have 30 minutes now to solve these 15 puzzles. Now, the question we're asking here is in terms of the outcome, in terms of the number of puzzles solved, will you in the driver's seat end up solving more puzzles, because you are in control, you could decide which tea you will choose, or would you be better off, in terms of the number of puzzles solved? And systemically what we will show, across a series of studies, is that you, the passengers, even though the tea was picked for you at random, will end up solving more puzzles than you, the drivers.

여기에 한 가지 눈에 띄는 사실이 더 있었는데, (A)그룹(운전자, 선택권 있음)은
문제를 덜 풀었을 뿐만 아니라, 문제를 풀기 위한 노력도 덜 했다는 것입니다.
문제 푸는데 시간을 덜 썼고, 30분이라는 제한시간이 지나기 전에 포기한 사람도 더 많았습니다.

왜 그럴까요?  

We also observe another thing, and that is, you folks not only are solving fewer puzzles,you're also putting less juice into the task. Less effort, you're less persistent, and so on.How do you know that? Well we have two objective measures. One is, what is the time, on average, you're taking in attempting to solve these puzzles? You will spend less time compared to you. Second, you have 30 minutes to solve these, are you taking the entire 30 minutes, or are you giving up before the 30 minutes elapse? You will be more likely to give up before the 30 minutes elapse compared to you. So, you're putting in less juice, and therefore the outcome: fewer puzzles solved.

아내가 유방암에 걸린 후 '선택권'에 대한 고민을 하게 된다.

차(tea)를 이용한 실험

피험자는 하나를 골라서 마십니다.

한 그룹은 차를 선택해서 마시고

다른 그룹은 마시라고 정해준 차를 마십니다.

이제 문제를 풉니다.

골라준 차를 마신 그룹이 더 문제를 많이 풀었습니다.

왜 그럴까요?

'INCA' 라는 특성을 지니는 상황에서 이러한 결과가 나옵니다.

피드백이...

즉각적이고

부정적이며

분명하고

Agency

Diane Kelly: What we didn't know about penis anatomy

이 사실을 발견하고 저는 굉장히 놀랐습니다. 다른 사람들도 마찬가지였고요. 

왜 그랬나면, 이것은 기존에 이론적으로 알고 있던 

유체적역학적(hydrostatic)  골격을 배열하는 방법과 전혀 다른 방법이었기 때문입니다. 

여기서는 장축(long axis)를 따라 0도와 90도로 이루어져 있습니다. 

I was really surprised at this. Everyone I showed it was really surprised at this. 
Why was everyone surprised at this? 
That's because we knew theoretically that there was another way of arranging fibers in a hydrostatic skeleton, 
and that was with fibers at zero degreesand 90 degrees to the long axis of the structure. 
The thing is, no one had ever seen it before in nature. And now I was looking at one.

이와 같은 방향으로 정렬된 fiber들은 그 골격에 매우 매우 다른 특성을 부여하게 됩니다.
아까와 같은 재료로 만든 모델을 보시죠. 같은 종류의 천과 같은 풍선과 같은 내압(internal pressure)입니다.
다만 다른 것은 fiber가 다른 방향으로 배열되어 있다는 것이고,
보시다시피 교차 나선(cross helical) 모델과는 달리
늘림(extension), 줄임(contraction), 굽힘(contraction)에 대해서 매우 저항이 강합니다.

Those fibers in that particular orientation give the skeleton a very, very different behavior. 
I'm going to show a model made out of exactly the same materials. 
So it'll be made of the same cotton cloth, same balloon, same internal pressure. 
But the only difference is that the fibers are arranged differently. 
And you'll see that, unlike the cross helical model, this model resists extension and contraction and resists bending.

많은 생물들은 골격(Skeleton)을 가지고 있다.

일반적으로 생각하는 위와 같은 골격 외에

유체정역학적(Hydrostatic) 골격이 있다.

유체에 의해서 압력을 받아, 벽이 장력을 받게 되는 것이다.

Hydrostatic Skeleton의 하나인 음경은 이러한 구조를 가지고 있다. 

신체에 있는 교차 나선형 골격의 구조를 현미경으로 보면 아래와 같다

장축(화살표 방향)에 따라 비스듬하게 fiber들이 얽혀 있다.

이렇게 만든 구조물은 아래와 같다.

늘어나고, 줄어들고, 굽혀진다.

하지만 음경은, 

그것이 기능을 할 때는(....)

이렇게 씰룩씰룩(wiggle) 하지 않는다.

그래서 조직을 살펴보니, 음경 조직을 현미경으로 보았을 때는 전혀 달랐다.

장축을 따라 서로 0도와 90도를 이룬 두 종류의 fiber 방향이 있었다.

이러한 조직은 잘 길이가 늘어나거나 줄어들지 않고 잘 굽혀지지도 않는다.

Terry Moore: Why is 'x' the unknown?

11세기, 12세기경 수학적 지혜가 담긴 아랍어가 유럽, 정확히는 스페인으로 들어왔다. 

그리고 유렵사람들은 이것을 자기들의 언어로 번역하고자 했다.

The Arabic texts containing this mathematical wisdom finally made their way to Europe --which is to say Spain -- in the 11th and 12th centuries. And when they arrived there was tremendous interest in translating this wisdom into a European language.

그런데 문제가 있었다. 아랍어의 발음을 유럽인들이 사용하는 발음으로 옮길 수가 없었던 것이다.

But there were problems. One problem is there are some sounds in Arabic that just don't make it through a European voice box without lots of practice. Trust me on that one. Also, those very sounds tend not to be represented by the characters that are available in European languages.

이러한 상황에 놓여 있던 장본인이 바로 SHeen이라는 글자이다. 

"Something", 즉 정확히 정의되지 않은 잘 모르는 것을 뜻하는 단어였다.

Here's one of the culprits. This is the letter SHeen, and it makes the sound we think of as SH -- "sh." It's also the very first letter of the word shalan, which means "something" just like the the English word "something" -- some undefined, unknown thing.

그러나 그 당시 스페인 학자들은, 그리고 스페인 언어에는 SH 발음 옮길 수 있는 발음이 없었고, 

그래서 이들은 어쩔 수 없이 관례대로 "CK" 음을 빌렸으며, 

이는 다시 비슷한 발음의 그리스어의 "Kai"라는 글자를 사용하게 된 것이다.

The problem for the Medieval Spanish scholars who were tasked with translating this material is that the letter SHeen and the word shalan can't be rendered into Spanish because Spanish doesn't have that SH, that "sh" sound. So by convention, they created a rule in which they borrowed the CK sound, "ck" sound, from the classical Greek in the form of the letter Kai.

후에 이것이 유럽의 공통어인 라틴어로 번역되었는데, 그리스어의 Kai는 이 때 다시 라틴어의 X로 대체되었고, 

이후 600년간 수학 교과서에서 사용되었다. 

Later when this material was translated into a common European language, which is to say Latin, they simply replaced the Greek Kai with the Latin X. And once that happened, once this material was in Latin, it formed the basis for mathematics textbooks for almost 600 years.

그래서 결론적으로 말하면, "sh"를 스페인어 발음으로 옮길 수 없었기 때문이다.

But now we have the answer to our question. Why is it that X is the unknown? 

X is the unknown because you can't say "sh" in Spanish. (Laughter) And I thought that was worth sharing.

왜 X 일까?

쉐인 이라는 이 글자는 우리 귀에는 '쉬'처럼 들린다.

위의 글자는 '쉐이론' 이라는 아래 글자의 첫 글자이고, 이는 "something", 모르는 것으 뜻한다.

이 앞에 정관사 al 을 붙이면 "알쉐이론"이 되어 "그 모르는 어떤 것"이 된다.

이렇게 자주 나온다.

그러나 '쉐'에 대한 적당한 발음이 없어 그리스어의 Kai를 쓰게 되고...

이는 다시 라틴어에서 X로 변하게 된다.

(출처 : http://promobiledj.com/2012/12/why-having-confidence-is-critical/)

다지선다형 문항은 학생이 무엇을 아는지를 측정하는데 도움을 주며, 이는 곧 '무엇을 아는지'를 제함으로서 '무엇을 모르는지'를 확인할 수 있다. 기본적인 생의학적 지식 측정 뿐만 아니라, 조금의 노력을 더 들이면 적용(application)이나 종합(synthesis)같은 더 높은 수준의 지적 능력도 측정할 수 있다. 이런 장점 때문에 다지선다형 문항은 의학교육의 여러 방면에서 높은 신뢰도로 사용되고 있다.

Multiple-choice questions (MCQs) are helpful in providing a measure of what a student knows and, by subtraction, inferring what he or she does not know.1,2 They are routinely used to assess knowledge of basic biomedical facts and, with additional effort, adapted to assess higher levels of learning, such as application and synthesis.3,4 This has made MCQ assessments a versatile and reliable assessment strategy in medical education.4–7

(1)학생에게 더 의미있는 피드백을 주고, (2)교육자들과 시험출제기관이 더 합리적인 추론을 할 수 있게 하며, 이를 통해서 (3)시험을 통한 학습이 더 잘 이뤄지기 위한 목적 등 때문에 다지선다형 문항을 개선하기 위한 노력은 다방면으로 이루어져 왔다. 학생들에게 스스로의 답에 대한 자신감의 정도(level of confidence)를 물어보는 것이 그 한 가지 방법이다. 또한 유사하게 학생들에게 자기가 선택한 답가지의 임상적 영향력을 평가하게 하는 것도 학생들이 스스로의 실수에 대해 다시 한 번 돌아보게 함으로써 학습의 기회를 한번 더 제공하는 방안으로 제시되고 있다.

There are continuing efforts to improve MCQs to provide more meaningful feedback to students, educators and testing agencies so that more valid inferences of competence can be determined and more learning can occur from the assessment process. 8–10 Asking students to consider their level of confidence in their answers has been recommended as a way to improve self-monitoring.11,12 Similarly, asking students to reflect on the clinical impact of their decisions has been proposed as a way to make students more aware of the influence of their errors,11–14 thereby improving the opportunity for learning.9

자신감의 정도와 오답/정답 여부를 둘다 확인하는 것의 주요한 장점은 '잘 못 알고 있는 학생(misinformed, 이하 MI)'과 '안 배운 학생(uninformed, 이하 UI)'을 구분할 수 있게 해준다는 것이다.

The primary advantage of recording both confidence levels and correctness on MCQ assessments is that it affords an ability to distinguish between students who are uninformed and those who are misinformed. 12,15

[많이 틀리고], [답에 대한 자신감도 떨어지는] 문항을 보면 '어떤 것을 가르쳐야 하는지'를 알 수 있다. 이러한 내용에 대해서 피드백을 해줄 때 학생들은 반응이 좋고, 더 학습하고자 한다. 

[답은 맞췄는데], [자신감은 없는] 문항을 알게 되면, 더 빠른 피드백을 통해 메타인지적 모니터링을 향상시키도록 해줄 수 있다.

[틀린 답을 고르고서] [자신감은 높은] 문항도 있는데, 이런 경우 틀린 답에 대한 강력한 믿음은 대개 잘 바뀌지 않고, 학습에 오히려 방해가 될 수 있고, 결국 임상 상황에서 잘못된 의사결정을 내리게 된다.

This combination of being incorrect and unsure is considered to provide a very appropriate ‘teaching moment’, in which the student is especially responsive to faculty feedback and to learning.16 Similarly, a context in which a student has low confidence in a correct answer also represents an opportunity in which early feedback increases retention and improves metacognitive monitoring.16,17 By contrast, students are misinformed when they select an incorrect answer, but state that they are sure or very sure of their response, which is qualitatively different from being uninformed. Strongly held incorrect beliefs are often resistant to change,13,15–19 can interfere with student learning,18,20 and may lead to inappropriate clinical decisions.21

학생들에게 고른 답에 대한 자신감의 정도를 물어보는 것은 교육적인 측면에 있어서 (1)스스로의 한계를 알 수 있게 해주고 (2)단순 찍기에 의한 답 선택은 하지 말아야 한다는 것을 알려주고 (3)학생이 스스로 자신을 돌아볼 수 있게 해준다. 또한 (4)그 문항에 대해서 다시 한번 돌아보게 함으로서 의도하지 않은 실수를 방지해준다.

시험에 이러한 방법을 도입하면, 평가를 수행하는 과정에서의 학습을 촉진할 수 있고, 이를 test-enhanced learning(시험 강화 학습)이라고 할 수 있다. 

The educational benefits to be derived from asking students to consider the level of confidence they have in their answers includes helping them identify limits of their knowledge,15 reinforcement of the notion that guessing should be discouraged,15 and the provision of an environment for active student self-monitoring.9 Asking students to indicate their level of confidence in their answer to an MCQ can also cause them to spend more time on reviewing that item, especially if the error was unanticipated.9 In this way, an examination can result in learning during an assessment, which is an example of test-enhanced learning.8–10,22,23 

Agrawal 등은 시험은 학생이 얼마나 정확하게 알았느냐를 알려주기도 하지만, 자기 평가(self-monitoring)에 있어서의 실수가 무엇인지도 알 수 있게 해준다. 자기평가에 대한 피드백은 대단히 중요한데, 왜냐하면 이 피드백을 통해서 메타인지 과정에 도움이 되기 때문이다. 메타인지는 성취수준이 낮은 학생들이 특히 힘들어하는 과정이다. 

자신감의 정도는 피훈련자가 얼마나 피드백을 잘 받아들이는지에도 연관이 있고, 일반적으로 복잡한 과정을 다루는 문제(complex process type problem)에 있어서 더 낮게 나오며, 성별에 따라서도 차이가 있다. 임상 판단에 있어 얼마나 정확하게 판단을 내렸는가에 대한 자신감은 전문가가 된 임상가의 특징이기도 하고, 따라서 피훈련자의 자신감을 모니터링해서 적절하게 발달시키는데 중요하다.

Agrawal et al.9 make the argument that testing identifies mistakes in accuracy, but also mistakes in self-monitoring, which is a valuable skill to develop and for which feedback is important. Feedback on self-monitoring may be helpful in metacognitive processing,24 an issue especially problematic in underachieving students.25 Confidence also influences how receptive a trainee is to feedback,26 is generally lower on more complex process-type problems,18 and may be influenced by gender.27 The calibration of confidence to correctness in clinical decisions is a defining characteristic of an expert clinician and thus it is important to monitor and develop appropriate confidence in a trainee.28

전통적으로 평가는 학생이 가진 '옳은 지식'의 양적 평가를 하기 위해서 사용되었지, 학생의 '잘못된 지식'을 평가하는 용도로 사용되지는 않았다. 아직 학생이 오답에 대해서 어느 정도나 확신을 가지는지, 그래서 언제 MI 나 UI 하게 되는지 알지 못한다. 

Traditionally, assessments have been used to provide a quantitative measure of student knowledge, rather than a measure of student misunderstanding. We generally have no idea how sure students have been of their incorrect answers and therefore do not know when students are uninformed as opposed to misinformed.

이 연구의 목적은 UI와 MI로 나눠서 오답의 비율을 알아보고, 학생들의 자신감 정도가 오답 답가지로 인한 잠재적 임상적 영향력에 따라서 차이가 있는지, 문제의 복잡성에 따라서 차이가 있는지, 성별에 따라 차이가 있는지를 보고자 한다.

Our purpose was to determine the percentage of incorrect answers in which the respondent had little confidence (uninformed) relative to that of incorrect answers in which the respondent was very confident (misinformed), and to establish whether student confidence was significantly impacted by the potential clinical consequences of answers, question complexity or gender

총 2080개의 응답(104명 X 20문항)의 정답/오답, 자신감 정도로 나눈 비율

오답을 

임상적으로 크게 문제가 되지 않는(benign) 답가지, 

임상적으로 부적절한(inappropriate) 답가지, 

임상적으로 환자에게 해가 되는(harmful) 답가지로 

나누어 보았다.

(1) 답가지의 종류에 관계없이 학생들은 정답에 대해서 더 높은 수준의 자신감을 나타냈으나 (각각 15.9배, 3.6배, 5.0배) 

(2) 임상적으로 문제가 되지 않는(benign)한 답가지에 대한 자신감이 더 낮고, 임상적으로 부적절하거나(inappropriate), 해가 되는(harmful) 답가지에 대한 자신감이 더 높은 양상을 보인 것은 주목할 만 하다.

Does student confidence on multiple-choice question assessments provide useful information?

Recording student confidence was helpful in identifying uninformed versus misinformed responses, which may allow for targeted remediation strategies. Making errors of calibration (confidence and accuracy) more visible may be relevant in feedback for professional development.

(출처 : http://www.nature.com/news/2008/080611/full/453840a.html)

현격한 발전에도 불구하고, 기초과학 연구결과를 임상 현장에 적용하는 것은 아직도 상당한 난관인데, 지식의 발견으로부터 환자 진료의 기준으로 자리잡는 데 까지 걸리는 시간은 15~20년 정도라고 알려져 있다.

Despite extensive advancements, translating science into clinical practice remains a challenge as evidenced by the 15- to 20-year gap between development of new knowledge and established standards for patient care.1

그렇지만 의사-과학자를 양성하는 것은 독립적인 연구자로서 키우는 과정이 점차 더 경쟁이 심해지고 불확실성이 높아지면서 예전보다도 더욱  길고 지루한 과정이 되었다. 의사-과학자는 일반적으로 학위를 받고 7년에서 9년이 지나서야 NIH의 진로 발전 기금(career development awards)를 받게 되는데, 이는 일반 PhD 들이 학위 수여 후 3년에서 5년에 받는 것에 비하면 무척 느린 것이다.

However, the trajectory for physician–scientists has become increasingly arduous and lengthy as the process for becoming an independent investigator has become more competitive and uncertain.2 Physician–scientists generally apply for NIH career development awards seven to nine years after receiving their degrees, in contrast to their PhD counterparts, who apply between three to five years post degree.

게다가 그 R01 기금을 받게 되는 평균 연령도 40대가 되었다.

In addition, the average age of awardees receiving their first R01 is now in the 40s.3

의사-과학자는 기존의 레지던트 과정에서 연구 커리어를 새로 시작해나가야 하는 상황에 마주치는데, 의사-과학자를 키우는 통합된 프로그램도 없고, 레지던트 기간동안의 이러한 진로 개발 수요에 대해 신경을 쓰지않는 상황에서는 독립적인 연구자가 되는 것은 더 지연될 수 밖에 없다. 또한 능력있는 과학자가 될 수 있는 사람들이 다른 진로를 선택할 가능성마저 높아진다.

Moreover, physician–scientists are often faced with having to restart their research careers in the context of traditional residency programs. Lack of integration and attention to the unique developmental needs of these physicians during residency contributes to significant delays in attaining independence and increases the risk that talented scientists will choose other career paths

이러한 상황에 대해 콜럼비아의 정신과 레지던트 수련 과정에서는 정식적인 연구트렉 프로그램을 (RTP) 만들어서 중개연구 분야의 연구에 관심이 있고 경험을 쌓고자 하는 레지던트들의 준비 과정을 도와주고자 하였다.

In response, Columbia’s Residency Training Program in Psychiatry developed a formalized Research Track Program (RTP) to better support and prepare residents with demonstrated interest and experience in research for careers in translational and clinical research.

직접 연구에 대한 경험을 쌓는 것은 연구에 대한 역량과 자신감을 쌓는데 중요하다. 하지만 레지던트 기간의 제한된 시간은 종종 임상 수련 요건에만 따라 분절되어서 연구에 집중할 기회를 주지 않는다. 어느 정도의 유연성이 있는, 통합된 프로그램이 있어야 연구와 임상 목표가 서로가 서로를 해하지 않고 부드럽게 연계될 수 있을 것이다.

Hands-on research experience fosters competence and confidence critical to stoking and maintaining interest in research.7 However, protected time within residency training is often fragmented by clinical training requirements, limiting the opportunity to develop or cultivate a research focus.5,8 A consolidated structure that allows flexibility may foster a seamless integration of research and clinical goals, without compromising one for the other.

멘터링은 과학자로서의 훈련 과정에 필수적일 뿐만 아니라, 아카데미아에서 확실한 발전을 이뤄가는 과정에 반드시 필요한 것이다. 생의학에 관한 연구나 행동과학 연구의 결과에 따르면 성공한, 독립적인 연구자일수록 더욱 확장된(extended) 멘토링을 받은 것으로 되어 있다. 이런 것은 특히 여성이나 소수인종(minorities)일 경우에 더욱 그렇다.

Mentorship is not only a crucial part of training for scientists but also perhaps the single most important element in securing progression in academia.9,10 Studies in biomedical and behavioral research in general, and in mental health and psychiatry in particular, have demonstrated that individuals who become successful, independent investigators are more likely to have had extended mentoring.9 This is especially true for women and minorities.11

기초과학 훈련을 받는 동안 임상 연구에 일찍 노출되는 것은 중개연구에 대한 아이디어를 더 촉진시켜준다. 이런 경험은 입원 환자를 대상으로 한 연구를 직접 실습 해 봄으로서 얻을 수 있다. 연구 프로토콜에 들어오기 전, 연구 과정, 연구 과정 후의 환자를 매일매일의 관리해보는 경험을 통해서 레지던트들은 임상 스킬을 익힐 수 있다. RTR(Research Track Resident, 연구 트렉 레지던트)은 임상 시험 프로토콜을 공부하고, 그 경험을 직접 쌓음으로서 연구를 디자인 하는 법을 배울 수 있다.

Early exposure to clinical research is key to stimulating ideas for translational research among basic science trainees.

This is provided through clinical rotations on inpatient research services. While participating in clinical day-to-day management of patients before, during, and after their participation in research protocols, residents develop their clinical skills. Simultaneously, RTRs learn about research design by studying active clinical protocols and gain firsthand experience in their execution.

경제적 어려움은 연구 커리어를 쌓는 것에 있어서 중대한 장애물이다. 2002년부터의 데이터에 따르면 80%이상의 의대생들이 평균적으로 104,000달러의 빚을 지고 있으며, 연구 펠로우십을 하고 있는 레지던트들은 그렇지 않은 동료들에 비해서 수입이 더 적다고 한다. 게다가 이런 상황은 연구를 계속 하기 위해서는 반드시 필요한 미래의 연구비 대한 불확실성 때문에 더욱 심각해진다.

Financial strain is also a significant impediment to pursuing a research career. Data from 2002 indicate that over 80% of medical students have loans with an average debt of $104,000.8 On graduation, residents committing to research fellowship training are faced with a reduced income compared with their peers. As an example, 2012 T32 stipends for fourth- through seventh year fellows range between $47,820 and $54,180,16 in contrast to a median annual salary of $154,500 for beginning psychiatrists in 2011 according to the Association of American Medical Colleges.17 This is compounded by the uncertainty of future grant funding necessary to sustain research endeavors.

비록 RTP가 정신과 레지던트를 위해서 개발되긴 했지만, 핵심적 요소는 임상과에 상관없이 적용 가능하다. 최근 소아과 레지던트를 대상으로 한 조사에서 연구를 할지 말지 결정하는 것에 영향을 주는 가장 흔한 요소는 시간과, 멘토쉽과 기회라는 응답이 나왔다.

Although this RTP has been developed for a psychiatry residency, the key components are likely applicable across disciplines. In a recent survey of pediatric residents, the most commonly identified influences on the decision to conduct research during residency training included the availability of time, mentorship, and opportunity.20 

유사하게 가정의학과의 연구 프로그램 중에서도 성공적인 프로그램은 연구를 할 시간, 교수들의 참여, 연구 교과과정, 전문적인 지원, 그리고 연구를 직접 해볼 기회가 더 많았다고 보고되어 있다.

Similarly, a review of research programs within family medicine training noted that successful programs combined time for research, faculty involvement, a research curriculum, professional support, and opportunities for presenting research.10

이러한 프로그램의 핵심 요건은 훈련받는 사람들, 특히 MD/PhD들이 NIMH의 목표인 "pipeline"을 확대하는 것에 맞추어 연구 분야에 계속 남아 과학적 도전을 계속 이어나가는 것이다. 

The key goal of this program is to enhance the likelihood that trainees, especially MD/PhDs, will stay in research and tackle vexing scientific challenges facing psychiatry, in line with NIMH goals of augmenting the “pipeline.”21

기본적으로 연구 훈련과정은 자원이 많이 드는 사업이다. 연구자들이 연구비를 따고 각 과에 추가적인 수입을 보전해 줄 때까지 오랜 시간이 걸린다. 그럼에도 이것의 핵심은 trainee들에게 시간과 돈을 투자하는 것이다.

Fundamentally, research training is a resource-intensive enterprise. It can pay back over time as researchers obtain grants and bring additional income to the department. However, at its core, it requires investment in trainees, with both money and time

가장 좋은 성과를 올리고 있는 프로그램은 구체적인 연구 커리큘럼 내에서 연구에 대한 시간을 확실하게 확보해주는 프로그램이고, 연구를 할 수 있는 기회를 주고, 연구에 대한 굳건한 기대를 하는 프로그램들이다. 따라서 RTP를 개발하는 것은 연구에 고관심을 가지고 있는 의대생들을 모집하는데 매우 중요하다. 

"길이 생기면, 사람이 다닐 것이다."

Programs with the best track record in recruiting trainees who pursue research careers are those that provide protected time for research within a specific research curriculum and have concrete expectations and opportunities to present research.10,22 Thus, developing a RTP is an important step toward recruiting research-oriented medical students. As noted by others, “If you build it, they will come.”2

Bridging the Gap: Supporting Translational Research Careers Through an Integrated Research Track Within Residency Training.