(출처 : http://visual.ly/self-assessment-2011)

자기평가(self assessment)와 자기주도학습은 의료 전문직의 핵심이라고 할 수 있으며, 이는 환자에게 행해지는 의료의 질과 곧바로 연결된다. 미국의 의사들은 대부분의 전공과별 위원회에서 지침(rubric)으로 정해놓은 것에 따라 CME에 참여함하여 평생학습을 해야 하고, CME학점을 이수해야 한다. 

SELF-ASSESSMENT AND SELF-directed, lifelong learning have long been mainstays of the medical profession—they are activities presumed to be linked closely to the quality of care provided to patients.1 Physicians in the United States must demonstrate their engagement in lifelong learning by choosing and participating in continuing medical education (CME) activities2 and acquiring CME credit, which is mandated by the majority of state medical boards under the rubric of states’ medical practice acts.3

American Board of Medical Specialties에서는 자기평가와 평생학습(lifelong learning)을 자격증을 유지하기 위한 4가지 요소 중 하나로서 명시하고 있다. 더 나아가 미국 내과 위원회(American Board of Internal Medicine)에서는 자격의 갱신(recertify)를 위해서 의사 스스로 자기자신에 대한 평가를 할 수 있는 능력을 필요로 하는 지속적 전문성 개발(continuous professional development)를 요구하고 있다. 또한 미국, 캐나다, 그리고 다른 여러 나라에서 졸업후교육(GME)의 기본은 진료기반학습(practice based learning)과 자기평가를 기반으로 한 향상이다.

Self-assessment and lifelong learning were adopted by the American Board of Medical Specialties explicitly as 1 of 4 elements in its Maintenance of Certification program.5 Furthermore, diplomates of the American Board of Internal Medicine who choose to recertify recertification, a process focused on continuous professional development that requires the capacity of physicians to self-assess.6 In graduate medical education, the issue of practice-based learning and improvement based on self-assessment is a central tenet of professional development in Canada,7 the United States,8 and in other countries. 9

이 과정에 들어있는 요소들은 의사들이 스스로의 학습에 대한 필요를 판단하고 그에 맞는 학습자료를 찾가알 수 있는 능력에 달려 있다. 

Each of the elements in this chain—the emphasis on self-assessment, self-directed lifelong learning, the acquisition of CME credits and their use for medical relicensure, accreditation, and ongoing certification—is heavily dependent on the ability of physicians to determine their own learning needs and find resources to meet them

the emphasis on self-assessment, 

=> self-directed lifelong learning, 

=> the acquisition of CME credits and their use for medical relicensure, 

=> accreditation, 

=> and ongoing certification

자기평가라는 단어가 여러가지 종류의 활동을 포함하고 있지만, 이 논문에서는 자가 관리 시험보다는, 자기측정(self-rating, self-audit)과 임상 수행 능력에 대해 보고자 한다.

While the term self-assessment is used to describe many types of activities, we were interested in considering the aspects of “self-rating” or “self-audit” in contrast to the use of self-administered examination of knowledge or clinical

performance.

방법

Data Selection

Studies that focused on a comparison between physicians’ self-assessments as determined by self-ratings and 1 or more external measures of related competencies were included.

Data Extraction

The following information was extracted from each article: study population; content area and self-assessment domain of the study; methods used to measure the self- assessment of study participants; methods used to observe or measure participants’ competence or performance; existence and use of quantifiable measures; and study outcomes.

결과

Domains of Self-assessment

Methods of Self-assessment

Methods of External Assessment

Methods of Comparing Self- and External Assessments

Accuracy of Self-assessment

20개 논문의 자기평가와 외부평가를 비교한 결과, 13개의 논문에서 관련이 없거나, 오히려 음의 상관관계를 가지는 것으로 나타났다.

Of the 20 comparisons between self and external assessment, 13 demonstrated little, no, or an inverse relationship between self-assessment measures and other indicators.12-18,20,21,23,26,27

전반적으로 연구 결과는 아주 작거나, 없거나, 심지어 음의 상관관계를 보였으며 이러한 경향은 훈련의 수준, 경험의 차이, 연구의 연도에 관계없었다. 반대로 7개의 논문에서는 양의 상관관계를 보였다.

Overall, the proportion of studies reporting little, no, or inverse relationships did not appear to vary by level of training or experience or by year of study. In contrast, 7 comparisons12,15,19,22,24,25,28 demonstrated positive associations between self-assessment and most external observations

COMMENT

Relationship Between Self-rated Assessment and External Assessments

이 systematic review에서 살펴본 대부분의 연구에서, 의사들은 자기에 대한 평가를 그다지 정확하게 하지 못하는 것으로 나타났다. 

This systematic review found that in a majority of the relevant studies, physicians do not appear to accurately self assess. Weak or no associations between physicians’ self-rated assessments and external assessments were observed.

이러한 결과는 훈련의 수준, 전공, 자기평가 영역, 비교 방법에 상관없이 나타났다. 하지만 이들 결과는 전혀 새로운 것이 아닌데 Sibley 등은 비슷한 결과를 20년 전에 발표한 바 있고, Gordon과 Dunning도 비슷한 결과를 발표한 바 있다. 이러한 연구결과는 다른 분야에서의 연구결과와도 일치한다. 예컨대 법학, 공학, 행동과학, 심리학 등의 학문에서 Falchikov와 Boud는 자기 평가와 외부 평가의 연관성은 평균적으로 0.39 정도라고 밝혔다.

In the studies indicating poor or limited accuracy of selfassessment, this finding was independent of level of training, specialty, the domain of self-assessment, or manner of comparison. These findings are not new. Sibley et al29 reported similar findings more than 2 decades ago, as did subsequent studies by Gordon30 and Dunning et al.31 The findings are consistent with studies in other disciplines. For example, in a meta-analysis of quantitative self-assessment studies in law, engineering, guidance counseling, behavioral science, psychology, and medicine, Falchikov and Boud32 noted correlations between self- and external assessments of student performance ranging from 0.05 to 0.82, with a mean of 0.39. 

보건의료직으로 한정지으면, Gordon은 그 상관성이 0.02~0.65 정도라고 밝혔다. 

Within the health profession, Gordon30 found that correlations for self-assessments of knowledge ranged from 0.02 to 0.65. Furthermore, despite our finding in 2 studies24,28 that specific selfassessment may be reliable predictors of performance, Eva et al33 found that poor correlations persist even when domains are well-defined. 

마지막으로, 이러한 결과들로부터 가장 눈에 띄는 것은, 외부 평가에서 부정적 평가를 받은 사람이 자기 평가도 부정적으로 내렸다는 것이다.

Finally, perhaps of greatest concern are the findings that those who perform the least well by external assessment also self-assess less well.

Construct and Study of Self-rated Assessment

첫째로, 자기측정평가는 연구가 용이한 분야가 아닌데, 이는 주로 그 특성이 완전히 개발되거나 테스트되지 않았기 때문이다.

First, the construct of self-rated assessment itself is not easily studied, in large part because its nature is neither fully developed nor tested.10

두 번째로 자기 평가 연구를 수행할 경우, 연구자들은 다음의 과정을 통해서 연구의 rigor와 reportability를 높여야 한다.

Second, if such studies of self-assessment are undertaken, researchers should augment study rigor and reportability by

better describing their populations, sampling frame, and methods; 

more clearly differentiating between types of self-assessments; 

attempting to resolve questions of volunteer bias; 

and articulating best practice templates for studying and reporting self-assessment compared with external assessment

Limitations

문헌조사를 저자 중 한 사람과 외부의 전문가가 같이 수행했음에도 의학 관련 문헌에 대한 제목 정보의 부족으로 일부 연구들은 누락되었을 수 잇다.

First, while literature searches were conducted by one of the authors and an independent information specialist to provide an exhaustive coverage of the literature, the lack of extensive Medical Subject Headings in the literature databases could have contributed to not retrieving some studies

일부 연구는 방법, 결과, 통계법을 잘 밝히지 않아서 이를 통해서 가설에 대한 근거를 세우고, 일반화하기에 한계가 있었다.

Second, some studies lacked full descriptions of methods, outcomes, and use of statistical tests, limiting our ability to describe the studies more fully, to develop explanatory hypotheses, or to generalize. Third, the domains of competence or performance in these studies, the tools used to measure them, and the assumptions (such as predictions of future performance on a test, or self-ratings in past performances as a teacher) were variable, precluding a meta-analytic approach.

리뷰한 논문의 숫자가 많지 않다고 할 수 있다.

Finally, it can be argued that the relatively small number of studies found in this review

Assessment Formats and Content

만약 의사들이 이러한 분야에서 잘 해내지 못하고 있다면, 자기 평가에 있어서 새로운 initiative와 형식이 도입될 필요가 있다.

If it is true that physicians perform poorly in this domain, new initiatives and formats are needed to assist the self-assessment process and to more accurately promote and assess broader domains of competence such as professionalism and lifelong learning.38

첫번째로, 더 포괄적인, 지속적 전문성 향상 과정에 대한 향상을 측정할 수 있어야 한다.

First, such measures might include the development of a more holistic continuing professional development process involving learning portfolios, documenting practice-based learning and improvement activities, creating less general and more detailed learning and practice objectives, and addressing the general competencies espoused by the Accreditation Council for Graduate Medical Education.8 

두 번째로 훈련을 통해서 자기평가와 외부 평가의 차이가 줄어들 수 있다.

Second, training may reduce the variation between self- and external assessments by encouraging the internalization of objective measurements or benchmarks of performance.10

세 번째로 자기평가 방식의 향상이 근본적으로 어렵다고 하면, 다른 피드백 방법이 필요할 수 있다.

Third, given that some improvement needs (eg, those in the psychosocial realm)13,45,46 may be more difficult to self-assess, methods such as multisource feedback (360°) evaluations may be a necessary next step, particularly when interpersonal skills, communication skills, or professionalism needs to be evaluated.47 

넷째로, 면허나, 면허갱신, 환자안전 등의 이슈를 고려할 때 객관적인 측정기준을 위한 많은 고려가 필요하다.

Fourth, objective measures of competence and performance deserve serious consideration, especially when issues of medical licensure, recertification, quality, and patient safety are paramount.

마지막으로, 각 전공과에서는 정기적으로 구성원들에게 근거중심의 학습목표를 제공하는 역할을 할 수 있어야 한다.

Finally, specialty societies and others can increase their role in providing current evidence-based learning objectives on a regular basis to members of their discipline, giving external markers of competence.

Accuracy of physician self-assessment compared with observed measures of competence: a systematic review.

(출처 : http://usafamilymedicine.wordpress.com/tag/medical-industrial-complex/)

배경

세계적으로  환자 안전의 문제는 점차 더 많은 관심을 받고 있으며, 많은 연구에서 약 10%의 입원환자는 '부정적 사건(adverse event)'을 경험한다고 보고되고 있다. 그리고 이 중 절반 이상이 수술 과정과 관련되어 있고, 더욱 중요한 것은 대부분은 예방 가능하다는 것이다.

The issue of patient safety is receiving increasing attention worldwide, and numerous studies have shown that approximately 10% of patients admitted to a hospital suffer an adverse event.1 Over half of these adverse events are associated with a surgical procedure and, importantly, most are preventable.2–4

외과계열에서의 모탈리티 컨퍼런스(M&MC) - 종종 외과계열 교육의 핵심 이라고 불리우는 - 에서 의사는 의료 과오를 마주하게 된다. 그리고 이들 사건에 대해 열린 토론을 하고 다른 사람의 실수로부터 배운다. ACGME에 따르면 M&MC는 의무적으로 열려야 한다. 

The surgical morbidity and mortality conference (M&MC)—sometimes referred to as the cornerstone of surgical education—provides surgeons with an opportunity to confront medical errors, openly discuss adverse events, and learn from their mistakes and those of others.6,7 The M&MC is mandated by the Accreditation Council for Graduate Medical Education (ACGME)8 and complies with the Joint Commission requirement for ongoing professional practice evaluation.9

ACGME에서는 "매주 합병증과 사망에 대한 컨퍼런스를 매주 열 것"을 모든 외과계열에 요구하고 있으나, 구조나 내용 형식에 대해서는 과마다 크게 다르다. 예컨대 컨퍼런스를 통한 학습을 최대화 시키기 위한 표준화된 프리젠테이션 스타일이나 형식에 대한 가이드라인이 없다.

Although all academic surgery departments are required by the ACGME to hold a “weekly review of all complications and deaths,” the structure, content, and format of M&MCs vary widely by department. For example, there is no standardized presentation style or formal guideline for how to present surgical complications in a manner that maximizes the learning value of the M&MC. 

또한, 참석자가 컨퍼런스의 케이스로부터 얼마나 배웠는지를 평가하는 확실한 기준이 없어서 학습 도구로서의 M&MC의 효과성에 대한 연구 자료가 별로 없다. 우리는 ACGME의 현재 기준에 따라서 M&MC에 참석하는 것 만으로 학습을 하기에 충분한지에 대해 연구해보았다.

In addition, there are no robust measures or evaluations of what attendees learn from the presented cases and little data demonstrating the effectiveness of the M&MC as a learning or care improvement tool.10,11 We are particularly concerned that educators presume that attending an M&MC is sufficient for learning, given that the ACGME currently mandates that all educational activities provide measurable benefit in achieving core competencies.

Design

두 단계에 걸친 연구를 했다.

1단계 : 표준화된 근거 중심의 M&MC 발표 형식을 개발한다.

2단계 : 새로운 발표 형식을 도입한 후 전향적으로 그 효과에 대한 성과를 평가한다.

Our study had two phases:

• Phase 1: developing a standardized, evidence-based format for M&MC presentations

• Phase 2: conducting a prospective observational pre- and postintervention study to evaluate the effect of the standardized presentation format developed during Phase 1 on educational outcomes

결과

첫 번째로 종합적인, 근거 중심의, 구조화된 M&MC 프리젠테이션 형식을 만들었다.

We first developed a comprehensive, evidence based, structured format for M&MC presentations on the basis of the existing surgical literature and the SBAR framework.10,11,15–17

이것을 도입한 후, 프리젠테이션의 질적 향상이 있었다.

We noted significant improvements in presentation quality for three sections

교육적인 효과도 더 향상된 것으로 나타났다.

Educational outcomes also improved significantly after the intervention 

고찰

몇 가지 한계가 있다. 첫 번째로, 새로운 발표 방식 도입 전, 후 모두 발표자들은 자신의 발표가 평가된다는 것을 알고 있었다.

Our study has several limitations. First, presenters were aware that others were evaluating their presentations both before and after the intervention

두 번째로 작은, 하나의 기관에서만 이뤄졌다.

Next, our study was a relatively small, single-institution study, which could have resulted in faculty assessor observer bias

세 번째로, 대부분의 향상이 통계적으로는 유의미했지만, 절대적인 기준에서는 그다지 향상이 크지 않다.

Further, although the improvements we found were statistically significant, they were rather small in absolute terms

마지막으로, 교육적 성과 펴가는 발표 시점에서만 이뤄졌다.

Finally, we measured educational outcomes only at the time of the M&MC presentation.

이 연구의 결과는 medical community에 많은 시사점을 준다. M&MC는 의료 과오를 발견하고 어떻게 대처해야 하는지에 대해 논의하고 학습할 수 있는 근무 중심 학습의 좋은 기회이다.

Our findings from this study also carry implications for the larger academic medicine community. The M&MC represents an authentic, relevant, and contemporary workplace-based learning opportunity that offers the potential for peer learning and reflection on surgical care provision, such that medical errors and omissions can be identified and dealt with in a manner that prevents their reoccurrence and improves patient care

우리는 근거 중심의, 현실적인, 저렴한 도구를 개발했다.

We developed and evaluated an evidence-based, practical, and inexpensive tool that enhances the educational  outcomes of such conferences

이 간단한 개입만으로도 긍정적인 영향이 있었고, 비용적으로 저렴한 것은 많은 기관에서 장점으로 작용할 것이다.

This simple intervention can have a positive impact on practice-based education without overstretching hospital budgets, which is especially important today in a time of financial austerity for many institutions

마지막으로, 다른 사람들 역시 이 도구를 활용할 수 있다.

Finally, others can use the tool we developed to assess presentation quality to provide residents with formative feedback, and it can serve as a focus for presentation skills debriefing.

좀 더 validation된 tool을 원하는 교육학자들은 Objective Structured Assessment of Debriefing tool 을 사용해도 좋을 것이다.

Educators then can use the recently validated Objective Structured Assessment of Debriefing tool18 to evaluate these debriefings, linking presentation quality to educational outcomes.

M&MC는 초심자부터 전문가에 걸쳐 지식, 기술, 태도를 평가할 수 있는 좋은 기회이다. George Miller가 말한 것처럼 "단 하나의 도구로 전문가가 자신의 뛰어난(successful) 의술을 전수해주는 과정과 같은 수준의 복잡한 것을 평가할 수는 없다"

The M&MC provides an opportunity for educators to assess the knowledge, skills, and attitudes of trainees from novices to experts. As George Miller19 pointed out, there is “no single assessment method (that) can provide all the data required for the judgment of anything so complex as the delivery of professional services by a successful physician.” 

우리가 사용한 방법이 레지던트의 임상적 역량이나 performance를 바로 측정하지는 못하지만, M&MC는 레지던트가 그들의 지식과 능력을 임상 상황에서 적용하고 있는가를 평가할 수 있는 좋은 기회가 되는 것은 분명하다.

Our findings demonstrate that the M&MC can provide a forum for evaluating what trainees know and how they apply this knowledge to patient care. Although our tool does not directly evaluate residents’ clinical competence or performance, the M&MC itself provides the opportunity for educators to evaluate residents’ application and demonstration of their knowledge and ability to integrate that knowledge into their daily clinical practice.

Improving the Quality of the Surgical Morbidity and Mortality Conference: A Prospective Intervention Study.

The M&MC plays a pivotal role in educating residents and improving patient safety. Standardizing the M&MC presentation format using an adapted SBAR framework improved the quality of residents' presentations and attendees' educational outcomes. The authors recommend using such a standardized presentation format to enhance the educational value of M&MCs, with the goal of improving surgeons' knowledge, skills,and patient care practices.

(출처 : http://www.emeraldinsight.com/journals.htm?articleid=1572865&show=html#idb24)

데이터 분석(Data analysis)

질적 연구, 그 중에서도 특히 FGI에서는 방대한 양의 데이터를 얻게 된다. 초보자는 물론이고 경험이 풍부한 연구자조차 방대한 양의 데이터에 압도당할 수 있다. 한시간짜리 인터뷰에서 보통 5~6시간에 걸쳐 30~40페이지 정도에 달하는 녹취록이 나온다. 따라서 데이터 분석의 주된 목적은, Robson에 따르면 "데이터를 줄이는 것" 이다.

Qualitative research and, in particular, focus-group interviews generate large amounts of data, which tend to overwhelm novice as well as experienced researchers. A 1 h interview could easily take 5–6 h to transcribe in full, leading to thirty to forty pages of transcripts. Thus, a central aim of data analysis, according to Robson (1993), is to reduce data.

Casey는 이러한 개념을 바탕으로 분석의 목적에 대해서 설명하였는데, "분석을 할 때에는 연구의 본래 목적으로 돌아가야 하며, 분석을 통해 걸러진 것들은 연구의 목적과 직결되어야 한다" 라고 하였다.

Casey (2000) build on this concept and suggest that the purpose should drive the analysis; they believe that ‘analysis begins by going back to the intention of the study and survival requires a clear fix on the purpose of the study’.

질적 분석의 과정은 상황에 대한 의미를 부여하는 것(bring meaning to a situation)이지, 양적 연구에서와 같이 '진리'를 찾는 것이 아니다. Strauss와 Corbin은 분석을 "연구자와 데이터의 상호작용"이라고 칭하였다. 대상자를 선정하고 데이터를 해석하는데 있어서 연구자의 주관이 반영될 수 밖에 없기 때문이다. 이렇게 '주관성'이 어느 정도 개입될 수 있다는 것을 인정하는 것이 중요하다.

The process of qualitative analysis aims to bring meaning to a situation rather than the search for truth focused on by quantitative research. Strauss & Corbin (1998) describe analysis as ‘. . . the interplay between researchers and data’, acknowledging that there is an extent of subjective selection and interpretation of the generated data. It is important to acknowledge that regardless of the type of research (qualitative or quantitative) an extent of subjectivity exits

이 점을 인정한다면, 분석과 해석 과정에서 생길 수 있는 오류(bias)를 줄이기 위해서 Krueger와 Casey는 분석 과정은 체계적이고, 순서가 있고, 검증할 수 있어야 하며, 연속적이어야 한다고 주장한다.

Having made this point, in order to minimise the potential bias introduced in analysing and interpreting focus group data Krueger & Casey (2000) point out that the analysis should be systematic, sequential, verifiable, and continuous. 

이 과정을 거치면 신뢰성, 일관성, 일치성(conformability) 뿐만 아니라 '근거(trail of evidence)'를 확보할 수 있으며, 이들은 질적 데이터의 평가에 있어서 중요한 요소이다. 

Following this path provides a trail of evidence, as well as increasing the extent of dependability, consistency and conformability (Lincoln & Guba, 1989) of the data, important issues for assessing the quality of qualitative data (Secker et al. 1995). 

근거를 확보하는 첫 번째 단계는 데이터 분석 과정을 분명하게 밝힘으로서 그 과정이 깔끔하게 이해가능하고, 기록될 수 있도록 만드는 것이다. 이러한 과정은 다른 연구자로 하여금 본인의 연구를 검증(verify)할 수 있게 해주고, 선택적 인지를 줄여주고, 연구를 더욱 강력하게 만들어준다. 이러한 객관성을 확보하려면, 근거를 구성하고 있는 충분한 데이터가 있어야 한다.

The first step in establishing a trail of evidence is a clear procedure of data analysis, so that the process is clearly documented and understood. This step would allow another researcher to verify the findings; it safeguards against selective perception and increases the rigour of the study. In order to achieve this objective, there must be sufficient data to constitute a trail of evidence. 

데이터 분석의 주된 자료는 기록된 인터뷰때 한 말의 기록이다. 그렇지만 인터뷰에 대한 고찰(reflection)이나 비언어적 의사소통의 기록 또한 매우 중요한 자료가 된다.

Although the main source of data analysis is the recorded spoken language derived from the interview; nevertheless, reflection about the interview, the settings and capturing the non-verbal communication expressed by the member of the groups would add a valuable dimension to the construction and analysis of data.

Approaches to data analysis

질적 데이터 분석은 여러 방법으로 접근할 수 있다. 많이 사용되는 것은 Green과 Thorogood이 밝힌 바와 같이 많은 연구자들이 다양한 접근법을 혼합하여 사용한다. 이 논문에서는 Krueger의 프레임워크 분석(Framework analysis) 방법을 주로 설명하면서, Ritchie와 Spencer가 밝힌 프레임워크 분석의 몇 가지 중요한 단계를 포함시킬 것이다. Krueger 방법의 장점은 일련의 단계를 통해서 처음 이 연구를 하는 사람들도 쉽게 활용할 수 있다는 것이다. 프레임워크분석은 개인 인터뷰나 그룹 인터뷰 모두에서 사용 가능하다.

There are a number of approaches to the analysis of qualitative data. In practice, as Green & Thorogood (2004) identified, most researchers use a combination of approaches. The present paper describes Krueger’s (1994) framework analysis, but also incorporates some key stages of ‘framework analysis’ described by Ritchie & Spencer (1994). The advantage of the Krueger (1994) approach is that it provides a clear series of steps, which could help first-time researchers to manage the large amount and complex nature of qualitative data much more easily. ‘Framework analysis’ is used for both individual and focus-group interviews.

질적 분석은 데이터 수집과 동시에 일어난다는 점에서 양적 분석과 다르다. Krueger는 분석의 연결체(continuum of analysis)를 떠올리는 것이 중요하다고 하였다.

Unlike quantitative analysis, qualitative analysis, particularly focus-group analysis, occurs concurrently with data collection. Krueger (1994) suggests that a helpful way of thinking about this role is to consider a continuum of analysis ranging from the mere accumulation of raw data to the interpretation of data:

the analysis continuum: raw data; descriptive statements; interpretation.

분석 과정은 순차적으로 일어나는 것이 아니라 서로서로 겹쳐서 일어난다. Ritchie와 Spencer가 말한 프레임워크 분석은 '고도로 연결된 많은 단계를 거치는 분석과정'이며, 다섯 개의 주요 단계는 다음과 같다.

1. 친숙화(Familiarization)

2. 주제 찾기(Identifying a thematic framework)

3. 색인(indexing)

4. 도표 작성(charting)

5. 지도 작성 및 분석(mapping and interpretation)

It is important to point out that analysis does not take place in a linear form and that one part of the process overlaps another. ‘Framework analysis’ as described by Ritchie & Spencer (1994), is ‘an analytical process which involves a number of distinct though highly interconnected stages’. The five key stages outlined are: familiarization; identifying a thematic framework; indexing; charting; mapping and interpretation.

데이터 분석 단계는 토의를 능숙하게 촉진(facilitating)하여 인터뷰를 풍부하게 만들면서 데이터를 수집하는 순간부터 시작되며,  이 때 관찰한 것과 정보를 기록한다.

The process of data analysis begins during the data collection, by skilfully facilitating the discussion and generating rich data from the interview, complementing them with the observational notes and typing the recorded information. 

그 다음 단계는 '친숙화'단계이다. 녹음한 테이프를 반복하여 듣고, 녹취록을 반복해서 읽고, 관찰 노트와 요약 노트를 읽는다. 이것의 목적은 세부적인 내용까지 완전히 익숙해져서 인터뷰를 세분해나가기 전에 전체로서의 그림을 이해하는 것이다. 이 과정에서 주요 주제가 드러난다.

This stage is followed by familiarisation with the data, which can be achieved by listening to tapes, reading the transcripts in their entirety several times and reading the observational notes taken during interview and summary notes written immediately after the interview. The aim is to immerse in the details and get a sense of the interview as a whole before breaking it into parts. During this process the major themes begin to emerge.

다음 단계는 주제를 선정하는 것이다(identifying a thematic framework). 이를 위해서 텍스트의 옆에 짧은 메모 형식으로 메모를 남겨두는데, 그 내용은  텍스트에서 떠오르는 아이디어나 개념 등이며 카테고리를 만들기 위한 시작 단계이다. 이 단계에서 상황 서술문(descriptive statement)이 형성되고, 연구의 질문에 따라서 분석이 진행된다. 

The next stage involves identifying a thematic framework, by writing memos in the margin of the text in the form of short phrases, ideas or concepts arising from the texts and beginning to develop categories At this stage descriptive statements are formed and an analysis is carried out on the data under the questioning route. 

세 번째 단계인 '색인'은 하나의 케이스 안에서, 혹은 케이스 사이에서 데이터를 옮기고 인용구를 정리/강조하고, 비교하는 과정이다.

The third stage, indexing, comprises sifting the data, highlighting and sorting out quotes and making comparisons both within and between cases. 

네 번째 단계는 원래의 context로부터 인용구를 떼어내서 새롭게 형성된 주제에 따라 적절히 재정리 하는 것이다.

The fourth stage, charting, involves lifting the quotes from their original context and re-arranging them under the newly-developed appropriate thematic content

색인과 도표 작성은 데이터를 manage하는 것이라고도 볼 수 있다. 이 작업에 있어서 가장 중요한 것은 데이터를 줄여나가는 것이며, 이를 위해서 데이터를 비교하고, 비슷한 인용구를 자르고 서로 연결하는 작업이 필요하다. 이 단계를 성공적으로 수행하기 위해서 Krueger는 다음과 같은 단계를 제안했다.

Indexing and charting could also be viewed as managing the data. One of the most important aspects of this task is data reduction, which is achieved by comparing and contrasting data and cutting and pasting similar quotes together. In order to manage this stage successfully Krueger (1994) suggests the following practical steps.

Practical steps for managing and sorting out data

Krueger와 Casey는 긴 책상이나, 컴퓨터를 활용하기를 권했으며, QSR NUT*IST라는 소프트웨어도 있지만, 워드나 아니면 수작업으로 할 수도 있다.

Krueger & Casey (2000) advocate the use of either a long table or a computer-based approach for cutting, pasting, sorting, arranging and rearranging data through comparing and contrasting the relevant information. Although there is specialised software such as QSR NUT*IST (Richards, 1998), it is possible to analyse the transcripts using Microsoft Word, or indeed ‘by hand’.

a) 각각의 줄에 번호를 붙인다. 

number each line of each transcript;

b) 두 장의 복사본을 만든다. 하나는 자를 것이고 하나는 보존용이다. 

make two hard copies of each transcript; one to cut up and one that stays intact;

c) 서로 다른 색지에 녹취록을 인쇄한다. 

print transcripts on different coloured paper, e.g. ‘professionals’ green, ‘young people’ blue,’ single parents’ yellow, ‘working mums’ pink;

d) 작업에 사용할 녹취록의 순서를 적절하게 정렬한다.

arrange the working transcript in a reasonable order, i.e. sequence in which the interview took place, categories of participants: age, young people; social group, low-income families or professionals; gender, male or female;

e) 플립차트 등을 테이블에 펼쳐놓고 각각의 페이지에 분석할 질문을 쓴다.

have enough pages of flipchart or newsprint. Place the pages on the long table, on the floor or on the wall. Write on each page one of the focus group questions to be analysed.

위의 과정이 완료되었으면 질문에 대한 답을 얻기 위해 다음을 한다.

Having prepared for this stage, Krueger & Casey (2000) suggest that the researcher should read each quote and answer these four questions: 

1. 질문한 내용에 대해 대답하였는가? 그렇다면 3번, 아니면 2번, 모르겠으면 우선 옆에 놔둔다.

did the participant answer the question that was asked? If yes, go to question 3; if no, go to question 2; if don’t know, set it aside and review it later;

2. 다른 질문에 대해 대답한 것인가? 그렇다면 그 질문 아래다 가져다 붙이고 아니라면 3번.

does the comment answer a different question in the focus group? If yes, move it to the appropriate question; if no, go to question 3;

3. 주제에 대해서 중요한 내용을 다루고 있는가? 그렇다면 적절한 질문 아래다 가져다 붙이고, 아니라면 치워둔다.

does the comment say something of importance about the topic? If yes, put it under the appropriate question; if no, set it aside;

4. 더 앞서 언급된 내용이 있는가? 있다면 적절한 그룹을 만들기

is it something that has been said earlier? If yes, start grouping like quotes together; if no, start a separate pile.

Interpretation of data

이제 마지막 단계이다. 지도 그리기와 해석하기. 여기서 해야 하는 중요한 것 중 하나는 개개의 인용구가 논리적으로 말이 되어야 하는 것 뿐만 아니라, 창의적이고 분석적이어서 인용구간의 관계를 알 수 있어야 하면서, 전체로서 연결이 되어야 한다는 것이다.

The data are now ready for the final stage of analysis, i.e. mapping and interpreting. One of the tasks here is not only to make sense of the individual quotes, but also to be imaginative and analytical enough to see the relationship between the quotes, and the links between the data as a whole.

Krueger는 일곱 개의 기준을 언급했고, 다음과 같다.

Krueger (1994) provides seven established criteria, which suggest the following headings as a framework for interpreting coded data: words; context; internal consistency; frequency and extensiveness of comments; specificity of comments; intensity of comments; big ideas

Consider the actual words used and their meaning

Consider the context

Consider the frequency and extensiveness of comments

Intensity of the comments

Internal consistency

Specificity of responses

Big ideas

Development of the framework

위의 기준은 뒤의 논문에서 다음과 같이 정리되었다.

These criteria are reduced to the following five headings in a later publication (Krueger & Casey, 2000): frequency; specificity; emotions; extensiveness; big picture

Focus-group interview and data analysis.

In recent years focus-group interviews, as a means of qualitative data collection, have gained popularity amongst professionals within the health and social care arena. Despite this popularity, analysing qualitative data, particularly focus-group interviews, poses a challenge to most practitioner researchers. The present paper responds to the needs expressed by public health nutritionists, community dietitians and health development specialists following two training sessions organised collaboratively by the Health Development Agency, the Nutrition Society and the British Dietetic Association in 2003. The focus of the present paper is on the concepts and application of framework analysis, especially the use of Krueger's framework. It provides some practical steps for the analysis of individual data, as well as focus-group data using examples from the author's own research, in such a way as to assist the newcomer to qualitative research to engage with the methodology. Thus, it complements the papers by Draper (2004) and Fade (2004) that discuss in detail the complementary role of qualitative data in researching human behaviours, feelings and attitudes. Draper (2004) has provided theoretical and philosophical bases for qualitative data analysis. Fade (2004) has described interpretative phenomenology analysis as a method of analysing individual interview data. The present paper, using framework analysis concentrating on focus-group interviews, provides another approach to qualitative data analysis.

(출처 : http://www.emeraldinsight.com/journals.htm?articleid=1572865&show=html#idb24)

포커스 그룹 인터뷰(FGI)는 보건 분야의 연구에서 개개인이 왜 특정 방식으로 행동하는가에 대한 이유 뿐만 아니라 개개인의 신념, 감정 등을 연구하기 위한 도구로서 많이 사용되고 있다.

Focus-group interviews are becoming increasingly popular in health research for exploring what individuals believe or feel as well as why they behave in the way they do.

이 방법을 사용하는 주된 목적은 개개인의 감정, 태도, 행동에 영향을 주는 원인, 신념, 문화와 같은 것들을 이해하고 설명하기 위함이다.

The main aim is to understand, and explain, the meanings, beliefs and cultures that influence the feelings, attitudes and behaviours of individuals.

이 논문의...

앞 부분에서는 FGI에 대해서 흔히 묻는 질문에 대한 답과 이 방법을 사용할 때 고려해야 할 점을 설명할 것이고, 

뒷 부분에서는 Krueger가 제시한 FGI의 데이터 분석에 대해 설명할 것이다.

the first section of the present paper describes some of the commonly-asked questions about the use of focus-group interviews in health research and the issues that need to be considered before and during this method of data collection. The second section provides a detailed and practical account of Krueger’s (1994) framework of data analysis.

FGI는 무엇인가? (What is a focus-group interview?)

Focus Group(포커스 그룹, FG)이란, Lederman에 의하면, '특정 집단을 반드시 대표한다고 할 수는 없더라도 목적 의식이 분명한(purposive) 인터뷰 참가자들을 대상으로 심도있는(In-depth) 그룹 인터뷰를 활용하는 것. 이들은 주어진 주제(topic)에 대한 집중적인(focused) 논의를 하게 된다' 라고 하였다.

A focus group is, according to Lederman (see Thomas et al. 1995), ‘a technique involving the use of in-depth group interviews in which participants are selected because they are a purposive, although not necessarily representative, sampling of a specific population, this group being ‘focused’ on a given topic’. 

따라서 연구의 참가자들은 특정 주제에 대해서 '할 말이 있는' 사람들로 골라야 하며, 일정 연령대에 속해있고, 비슷한 사회적 특성을 가지고 있어서 서로 대화하는데 편안함을 느낄 수 있도록 선정되어야 한다.

Participants in this type of research are, therefore, selected on the criteria that they would have something to say on the topic, are within the age-range, have similar socio-characteristics and would be comfortable talking to the interviewer and each other (Richardson & Rabiee, 2001).

이러한 대상자 선정 방법은 'applicability'라는 개념과 관련된 것으로서, 이는 인터뷰 참석자들이 연구 분야에 대한 지식을 근거로 선택되는 것을 뜻한다. 집단 역학(Group Dynamics)은 FGI의 독특한 특징 중 하나로서, 이는 FGI로 수집되는 데이터의 종류와 범위가 그룹 구성원간의 상호작용을 통해서 형성되며, 따라서 일대일 인터뷰보다 더 깊고 풍부한 정보를 얻을 수 있다.

This approach to selection relates to the concept of ‘Applicability’, in which subjects are selected because of their knowledge of the study area (Burrows & Kendall, 1997). One of the distinct features of focus-group interviews is its group dynamics, hence the type and range of data generated through the social interaction of the group are often deeper and richer than those obtained from one-to-one interviews (see Thomas et al. 1995).

FG에게서는 특정한 이슈에 대한 다양한 범위의 정보와 개개인의 감정에 대한 정보를 얻을 수 있으며, 그룹간의 차이도 조명해 볼 수 있다.

Focus groups could provide information about a range of ideas and feelings that individuals have about certain issues, as well as illuminating the differences in perspective between groups of individuals

FG를 통해서 비교적 짧은 시간 내에 많은 양의 정보를 수집할 수 있으며, 이러한 정보는 양적 연구를 위해서 사용될 수도 있다. 일대일 인터뷰와 마찬가지로, FGI의 결과는 참가자 말을 인용함으로써 일상적 용어로 제시될 수 있다.

Focus groups can generate large amounts of data in a relatively short time span, and the findings may be used to precede quantitative procedures. Like one-to-one interviews, the results of focus-group interviews can be presented in uncomplicated ways using lay terminology supported by quotations from the participants.

FG의 독특한 점은 그룹 내 상호작용을 통해서 데이터를 생성할 수 있다는 점이다. 이를 위해서는 그룹의 멤버들이 서로 토론을 주고받는 것에 대해서 편안함을 느낄 수 있도록 구성되어야 한다. Krueger와 Casey는 어떤 사람들에게는 자신을 드러내는 것(self-disclosure)가 자연스럽고 편안한 반면, 어떤 사람들에게는 이러한 과정이 신뢰와 노력이 필요하다는 것을 보여줬다. 

The uniqueness of a focus group is its ability to generate data based on the synergy of the group interaction (Green et al. 2003). The members of the group should, therefore, feel comfortable with each other and engage in discussion. Krueger & Casey (2000) point out that for some individuals self-disclosure is natural and comfortable, while for others it requires trust and effort. 

이러한 이유로 이들은 FG의 대상자를 선택하는데 시간과 노력을 투자할 것을 권고했다. Krueger는 풍부한 데이터는 그룹을 이루고 있는 개개인이 토론에 온전히 참여할 준비가 되었을 때만이 얻어질 수 있기 때문에, 균일한(homogeneous) 그룹 구성할 것을 주장했다. Krueger의 연구에 따르면 참여자들은 비슷한 특성(성별, 연령, 인종, 사회적 배경)을 가지고 있어야 한다.

It is for this reason that they recommend investing time and effort in selecting members of the group. Krueger (1994) believes rich data can only be generated if individuals in the group are prepared to engage fully in the discussion and, for this reason, advocates the use of a homogenous group. Based on the topic under investigation Krueger (1994) suggests that participants should share similar characteristics: gender group, age-range, ethnic and social class background.

대부분의 연구자들은 그룹의 균일성에 대해서 반대를 하지는 않더라도, 참여자들이 서로서로 모르는 것을 권장하기도 하는데, 왜냐하면 이를 통해서 더 정직하고 자발적인 표현이 가능하고, 더 광범위한 응답을 얻을 수 있기 때문이다. 또한 이는 기존에 참여자들이 가지고 있던 관계나 리더쉽의 패턴이 인터뷰에 개입하는 것을 방지하는 효과도 있다.

Most researchers, although they would not disagree with the concept of homogeneity, recommend that participants should not know each other, thus encouraging more honest and spontaneous expression of views and a wider range of responses. It also prevents set behaviours relating to pre-existing relationships and patterns of leadership in the group (see Thomas et al. 1995). 

Kitzinger는 반대로 기존에 형성되어 있던 그룹을 활용하기를 주장했는데, 왜냐하면 이미 서로를 알고 있다는 것이 서로에 대한 코멘트를 해주기가 더 편하고, 그래서 상대의 의견에 대한 의견을 제시하는 것을 더 용이하게 해주기 때문이다. 

Kitzinger (1994), on the other hand, advocates the use of pre-existing groups, as acquaintances could relate to each other’s comments and may be more able to challenge one another. 

개인적 경험으로는 민감하고 개인적인 문제일수록 기존에 형성되어 있는 그룹을 활용하는 것이 더 좋아보인다. 왜냐하면 구성원간에 이미 어느 정도 신뢰가 깔려 있기 때문에 자신의 의견을 더 표출할 수 있기 때문이다.

Personal experience indicates that when exploring very sensitive and personal issues the use of pre-existing groups might be advantageous, as there is already an extent of trust amongst the members of the group, which will encourage the expression of views.

기존에 있던 그룹을 활용하든, 새롭게 그룹을 형성하든, 그룹 촉진자(facilitator) 또는 조절자(moderator)의 역할이 무시되어서는 안된다. 참가자들이 기존에 가지고 있던 관계를 잘 조절함으로써 서로를 몰랐던 참가자들도 편하게 말할 수 있는 환경을 조성하고, 감정과 생각, 아이디어를 공유할 수 있는 환경을 만들어줄 수 있어야 한다. 

Regardless of whether a pre-existing or newly-formed group is used, the important role of the group facilitator or moderator should not be underestimated (Krueger, 1994; Burrows & Kendall, 1997). A skilful moderator, as well as being able to manage the existing relationship, could create an environment in which the participants who do not know each other feel relaxed and encouraged to engage and exchange feelings, views and ideas about an issue. 

촉진자난 조절자와 별도로, 서기는 비언어적 상호작용을 관찰하여, 집단 역학의 영향을 기록하고, 관점의 변화나 교환, 토론의 주제에 따른 영향을 살필 수 있어야 한다. 이를 통해서 언어적 자료의 분석에 도움이 되는 자료를 만들어야 한다.

Apart from the facilitator or moderator a note taker should be present to observe non-verbal interactions, indicate the impact of the group dynamic, document exchanges of views and the general content of discussion and note which statement is made by which particular individual, thereby supplementing the oral text and enabling a fuller analysis of the data (Kitzinger, 1994, 1995).

FGI에 대한 또 다른 FAQ 중 하나는 FG의 숫자와 관련된 것이다. Krueger는 어떠한 분명한 패턴이 떠오르고, 추가적인 FG에서 반복적으로 동일한 내용이 언급될 때까지 FGI를 반복해야 한다고 주장했다. 그러나 몇몇 다른 연구자들은 (Krueger 자신을 포함해서) 간단한 연구 주제에 대해서는 세번이나 번 정도의 FGI면 충분하다고 주장한다.

Another frequently-asked question is about the number of focus groups. Krueger (1994) suggests continuing with running focus groups until a clear pattern emerges and subsequent groups produce only repetitious information (theoretical saturation). However, several authors, including Krueger (1994), suggest that for a simple research question the number of focus groups necessary may only be three or four (for a full discussion of this issue, see Burrows & Kendall, 1997).

이상적인 참가자 수는 상황에 따라 다를 수 있다. Krueger과 Casey는 6명에서 8명 사이를 추천하는데, 작은 그룹에 더 큰 잠재력을 보여주기 때문이다. 그러나 일반적으로 6명에서 10명 정도의 숫자가 적당한데, 왜냐하면 충분히 다양한 관점을 얻어야 하면서도, 무질서해지거나 분절화(fragmented)되지 않아야 하기 때문이다.

The optimum number of participants for a focus group may vary. Krueger & Casey (2000) suggest between six and eight participants, as smaller groups show greater potential. However, the number generally suggested as being manageable is between six and ten participants; large enough to gain a variety of perspectives and small enough not to become disorderly or fragmented.

이러한 그룹에 대한 연구 경험을 떠올려 볼 때, 자신감이나 자존감이 낮은 참가자는 그룹 토의에 잘 참여하려고 하지 않는다. 따라서 FGI는 참여자들이 이 FG라는 커뮤니티를 통해서 자신감을 가질 수 있는 계기가 될 필요가 있다. 또 다른 문제는 불참자의 문제이다. 불참자가 있을 수 있기 때문에 계획된 인원보다 10~25%정도 더 많은 참여자를 모집하는 것이 좋다. 참석률을 높이기 위해서는 미리 모두가 동의하는 날짜를 얻어서 며칠 전에 다시 알려주는 것이다. 

Experience of researching these groups suggests that lack of confidence and low self-esteem often prevent these individuals participating in a group discussion. Focus-group interviews could, therefore, be used as a vehicle to empower the participants from these communities. Another potential problem in using focus groups is the number of non-attenders. The recommendation is, therefore, to over-recruit by 10–25%, based on the topic and groups of participants. In order to maximise participation it is important to obtain an agreed date from the informants well in advance of the interviews and to remind them a few days before they start. 

각각의 그룹 인터뷰는 1~2시간 정도 소요되며, 주제와 그 복잡한 정도, 질문의 숫자, 참여자의 숫자에 따라 달라질 수 있다.

Each group interview usually lasts approximately 1–2 h, based on the complexity of the topic under investigation, number of questions and the number of participants

Focus-group interview and data analysis.

In recent years focus-group interviews, as a means of qualitative data collection, have gained popularity amongst professionals within the health and social care arena. Despite this popularity, analysing qualitative data, particularly focus-group interviews, poses a challenge to most practitioner researchers. The present paper responds to the needs expressed by public health nutritionists, community dietitians and health development specialists following two training sessions organised collaboratively by the Health Development Agency, the Nutrition Society and the British Dietetic Association in 2003. The focus of the present paper is on the concepts and application of framework analysis, especially the use of Krueger's framework. It provides some practical steps for the analysis of individual data, as well as focus-group data using examples from the author's own research, in such a way as to assist the newcomer to qualitative research to engage with the methodology. Thus, it complements the papers by Draper (2004) and Fade (2004) that discuss in detail the complementary role of qualitative data in researching human behaviours, feelings and attitudes. Draper (2004) has provided theoretical and philosophical bases for qualitative data analysis. Fade (2004) has described interpretative phenomenology analysis as a method of analysing individual interview data. The present paper, using framework analysis concentrating on focus-group interviews, provides another approach to qualitative data analysis.

• 10장 : 상관관계분석

• Pearson 상관관계분석
• 개념
• 두 변수의 관계에서 일반적으로 선형관계에 초점을 둠.
• 분석 내용
• (1) 선형관계를 갖는지
• (2) 선형관계를 갖는다면 어느 방향인지
• (3) 그 관계는 얼마나 큰지 분석함.

• 두 변수가 서로 선형관계를 가질 때 선형상관관계가 있다고 하며, 줄여서 상관관계가 있다고 함.
• 상관관계의 크기를 나타내는 값은 상관계수(correlation coefficient)이며, 상관계수는 -1부터 +1까지 값을 갖음.

• 상관관계의 종류와 자료
• Pearson 상관계수
• 가장 보편적
• 보통 상관계수라고 할 때 의미하는 것.
• 그 외
• Spearman 서열상관관계
• Kendall's tau
• Point-biserial r
• Phi-coefficient

• 종류	척도	의미
  Pearson 상관관계	간격/비율 - 간격/비율	두 변수가 각각 간격척도 혹은 비율척도로 측정된 경우 상관관계의 크기. 변수들이 정규분포를 따른다는 가정하에 적용하는 상관계수.
  Spearman 서열상관관계	서열 - 서열	변수를 구성하는 데이터가 정규분포를 따르지 않거나, 서열척도로 측정된 경우 이용 Pearson 상관계수의 비모수 버전.
  Kendall's tau	서열 - 서열	변수를 구성하는 데이터가 정규분포를 따르지 않거나, 서열척도로 측정된 경우 이용 Pearson 상관계수의 비모수 버전.
  Point-biserial r	간격/비율 - 명목(2분화 변수)
  Phi-coefficient	명목(2분화 변수) - 명목(2분화 변수)

• 가정
• Pearson 상관관계분석 : 변수들의 쌍은 이변량 정규분포(Bivariate normal distribution)를 따른다는 가정.

• Spearman 상관관계분석
• 개념 : 서열척도로 측정한 자료에서 사용
• 자료 : 둘 이상의 대상에 대한 서열이 같은 경우 가운데 서열을 부여
• 가정 : 변수의 정규분포 가정 불필요

• 편상관관계 분석
• 앞의 상관관계분석은 두 변수들 간의 상관관계를 보는 것이었음.
• 그런데 어떤 두 변수가 다른 제 3의 변수와 상관관계가 높으면 두 변수의 상관관계는 순수한 상관관계보다 높게 나타날 수 있다. 이 때 순수한 상관관계를 알기 위해서는 제3의 변수를 통제해야 한다.
• 편상관관계(partial correlation) 분석은 제3의 변수를 통제한 상태에서 관심을 갖는 두 변수의 상관관계를 분석하는 것이다.
• 예) 여름의 더운 날 콘도 앞에 출몰한 개미숫자와 콘도 앞을 지난 승용차 수는 양의 상관관계를 갖는다. 하지만 개미가 승용차에 붙어서 온 것이 아니라, 여름날 개미는 날씨가 더울수록 더 많이 나타나는 것이다. 온도를 통제변수로 설정해야 한다.
• SPSS 옵션
• 평균과 표준편차 : 각 변수에 대해 평균, 표준편차, 비결측 케이스 수 등을 나타냄.
• 0차 상관 : 0차 상관은 통제변수가 없는 경우의 상관계수를 나타냄.

(출처 : http://pavetech.olhblogspace.com/?p=1574)

'Team'이라는 단어에 'I'는 없다.

팀워크는 믿을 수 있고, 안전하고, 효과적인 의료를 위해서 반드시 필요하다.

Teamwork is essential for reliable, safe, and effective practice.

IOM(institute of medicine)의 대표적인 보고서, To Err Is Human에서는 주로 입원 환자에서 일어나는 환자안전 문제에 대해 다루고 있다.

Although one of these seminal IOM reports, To Err Is Human, focused mainly on inpatient events,13

이와 다르게 PCMH 운동은 외래 환자에 대한 진료의 기준을 세우고자 하는 것이다.

The patient-centered medical home (PCMH) movement seeks to improve care in the ambulatory setting by establishing standards of practice that organize care around individual patients (List 1).15

초기의 PCMH운동 모델로부터..

(1)위와 같은 기준을 달성하기 위하여 다양한 전문직이 효과적으로 팀을 이뤄야 한다는 것, 

(2)향상된 팀워크는 다른 어떤 것의 향상보다 환자 결과(patient outcome)에 가장 긍정적인 영향을 준다는 것이 알려졌다.

Early PCMH demonstration models suggest that achieving these standards requires an effective interprofessional team and that improved teamwork has a more positive influence on patient outcomes than other quality improvement strategies.16

PCMH에서는 환자를 돌보기 위한 여러 노력을 조화(coordinate)시켜야 하나, 대부분의 전문직은 그런 식으로 일하는 것에 대해 훈련받은 적이 없다.

who work in a PCMH must coordinate their efforts to care for a patient, most of these professionals have never trained together to do so.

이러한 훈련의 부족은, 각각의 전문직이 서로서로 고립된 상태로(siloed) 길러지는 보건 전문직의 교육과정상 특히 두드러진다. 또한 이들 중 대부분은 일차 진료를 경험하게 된다. 

This deficit is particularly heightened both in academic health centers where the curricula of health professions students are largely siloed (e.g., physicians-in-training rarely train with nurses- or pharmacists-intraining), and among large numbers of trainees who move in and out of primary care practices.17,18

팀훈련의 과학을 바탕으로 설계된 프로그램은 팀 구성원들의 의사소통기술, 팀행동(team behavior), 직업 수행 능력, 그리고 안전진료환경의 조성에 긍정적인 영향을 준다는 것이 밝혀졌다. 그럼에도 불구하고 대학병원의 일차진료(academic primary care practice)에서는 이런 것이 부족하다.

Evidence shows that programs built on the science of team training benefit through improved team member communication skills, improved team behavior and work performance, and a positive change in the practice safety climate11,19;  nonetheless, experience is lacking in academic primary care practices

Salas 등은 20년간의 효과적인 팀워크를 다룬 연구들을 분석하여 팀워크에 필수적인 "핵심 요소(core component)"를 정의했다. 그리고 이 역량들을 "Big Five"라고 명명하였다. Big Five는 다음과 같다.

(1) 팀 리더쉽 : Team leadership

(2) 상호 업무 감시 : Mutual performance monitoring

(3) 상호 지원 : Backup behavior

(4) 융통성 : Adaptability

(5) 팀 지향 : Team orientation

Salas and colleagues21 analyzed 20 years of teamwork effectiveness research and identified the “core components” of essential teamwork knowledge, skills, and attitudes. They labeled these components, or competencies, the “Big Five,” and these are team leadership, mutual performance monitoring, backup behavior, adaptability, and team orientation

Table 1에 제시된 사례를 바탕으로 성공적인 팀워크에 대한 사례를 제공하고, 팀워크가 잘 작동하는 경우는 어떠한 것인지, 그리고 PCMH standard와는 어떻게 대응될 수 있는가를 나열해두었다.

Further, in Table 1, we juxtapose teamwork failures in the case vignette with teamwork successes, providing potential examples of how high-functioning teams could respond within the framework of the PCMH standards.

팀 리더쉽 (Team Leadership)

팀 리더쉽은 다음과 같은 능력을 포함한다.

팀 구성원의 활동을 조화시키고, 

업무가 적절히 배분되도록 하며, 

수행 결과를 평가하고, 

피드백을 주고, 

팀 수준에서의 수행 능력을 향상시키며, 

고차원의 수행능력에 향한 동기를 부여하는 것.

Team leadership denotes the ability to coordinate team members’ activities, ensure that tasks are distributed appropriately, evaluate performance, provide feedback, enhance the team’s ability to perform, and inspire the drive for high-level performance.23,24

리더쉽이 환자 결과(patient outcome)에 미치는 영향을 측정하는 것은 어려운 일이지만, 기존의 여러 연구로부터 팀 리더쉽은 환자의 일일 목표 달성, 환자의 만족도 상승, 임상에서의 미시적인 수행 능력 향상, 부정적 사건의 감소와 연관이 있다는 것이 밝혀졌다.

Although the impact of leadership on patient outcomes is more difficult to assess, previous researchers have found that positive team leadership practices have been associated with increased patient ability to accomplish daily goals, increased patient satisfaction, improved clinical microsystem performance, and reduced adverse events.29–31

또한 팀 리더십은 마치 액체와 같아서, PCMH팀이나 업무, 문제상황에 따라서 리더의 역할은 변해야 한다. 어떤 상황에서 시스템의 오작동을 발견하고, 개선을 위한 노력을 조화시키는 역할을 하기에 가장 적합한 사람은 그러한 일을 할 수 있도록, 그에 합당한 위치를 부여받아야 한다.

Importantly, team leadership is fluid, and the role of leader varies by PCMH team, task, and problem. The person most appropriate to detect a system breakdown in a given situation and then coordinate improvement efforts should be in a position to do so.

다양한 진료 팀에서 가장 적합한 리더는 그 상황에 따라서 달라질 수 있다. 예컨대 간호사는 환자와의 지속성(continuity)을 유지할 수 있다는 측면에서 적합할 수 있다.

The most appropriate leader for each of the various care teams would depend on the unique staffing of the clinic; however, nurses may serve the role of team leaders effectively, as nurses could provide continuity for the patient in a setting that inherently has a fluctuating provider and student presence.

상호 업무 감시 (Mutual Performance Monitoring)

상호 업무 감시란 팀 구성원이 서로의 의도(intention)과 역할, 책임을 공유하고 이해함으로써, 팀의 성공을 위해 다른 사람의 업무 수행을 감시해줄 수 있는 능력을 말한다.

Mutual performance monitoring denotes the ability to develop a shared understanding among team members regarding one another’s intentions, roles, and responsibilities so that members can accurately monitor one another’s performance for the purpose of collective success.24 

이러한 역량은 "마음챙김(mindfulness)"과 몇 가지 특성을 공유하고 있다. Mindfulness는 고위험이 동반되는 산업에서 신뢰도와 안전을 높이기 위해 만들어졌으며 다음과 같은 것들을 포함한다.

실패를 염두에 두고, 그것에 대비하기.

전문가는 그의 지위나 등급에 무관하게 존중하기

예측하지 못했던 상황이 발생할 경우 적응하기

더 큰 그림을 염두에 둠과 동시에 구체적인 업무에 집중하기

위계구조를 상황에 맞게 바꾸거나, 심지어는 없애버릴 줄 알기

This competency shares several characteristics with “mindfulness,” a construct used to increase reliability and safety in other high-risk industries. Mindfulness includes 

remaining concerned about and guarding against the possibility of failure even in the most simple or heretofore successful of endeavors, 

deferring to expertise regardless of rank or status, 

being able to adapt when the unexpected occurs, 

concentrating on a specific task while having a sense of the bigger picture, 

and being willing to alter and flatten hierarchy as best fits the situation.32

환자 진료를 향상시키기 위한 첫 번째 단계는 진료와 관련한 광범위한 토론을 함으로써 팀워크의 의미를 찾고 공통된 진료 목표를 설정하는 것이다.

A first step to improving care for this patient and others at the clinic might be to hold a practice-wide discussion so as to explore the meaning of teamwork and create shared practice goals

팀의 모든 구성원은 매주 미팅을 통해서 반복적으로 일어나는 문제를 함께 다뤄야 하며, 여기서 어떠한 전략을 취해야 과정(process)가 최적화되고, 업무 능력이 향상될 수 있을가에 대한 토론이 이뤄져야 한다. 가끔은 팀 미팅에 환자 혹은 환자들을 초청할 필요가 있다.

All team members should assist with identifying recurring problems to address at the weekly practice-wide meetings during which they should together discuss what strategies will best streamline processes and improve performance. The team should consider inviting a patient or small patient panel to become partners in the team improvement efforts by attending all or some of these team meetings.

환자를 조언자로 삼아 진료와 관련된 서류, 정책, 프로그램의 발전을 꾀한 일부 health care system도 있다.

Several health care systems, such as PeaceHealth Oregon West Network, have worked with patient advisors to help develop or revise practice documents, policies, and programs.33

상호 지원 (Backup Behavior)

상호 지원이란 다른 팀 구성원의 도움을 요청할 때, 실시간으로 업무를 전환함으로써 변화하는 업무량과 압박이 증가하는 상황 속에서도 밸런스를 유지해내는 능력을 말한다. 

Backup behavior denotes the ability to anticipate the needs of other team members and shift tasks in real time to achieve and maintain balance during times of variable workload or increased pressure. 

팀 구성원은 하나의 업무 내에서 서로를 도울 수도 있고, 한 업무를 서로 독립적으로 나눠서 처리할 수도 있으며, 업무 능력 향상을 위한 조언을 서로 줄 수도 있다. 상호 지원은 단순히 필수적인 업무를 도와주는 것과 다르다. 상호 지원은 팀 구성원이 과도한 업무에 치이거나, 다른 스케쥴 등이 있을 때도 일어난다.

A team member can assist in performing a task, can complete a task separately, or can provide feedback to improve performance.34 Backup behavior is different from simply helping in the essential determination of need; backup behavior occurs only when a team member experiences overload or has a schedule- or logistical-based need.35,36

상호 지원이 성공적이 되려면, 팀 구성원들은 다른 구성원의 임무에 익숙해야 하며 필요에 따라서는 교차 훈련(cross-trained)을 받을 필요도 있다. 성공적인 상호 지원이 이뤄지기 위해서는 보건 전문직 피훈련자들이 기본적인 자세를 바꿔야 한다. 성공은 '독립성(in-dependence)'을 통해 달성되는 것이 아니라 진정한 의미의 '상호의존성(inter-dependence)'이 이뤄질 때 가능하다. 물리적 작업 공간을 공유하고 진료 시간을 공유하는 것은 상호작용 증진, 의사소통 증진을 통해서 상호 지원을 촉진시킨다.

For backup behavior to be successful, team members must be familiar with one another’s roles, and they must be cross-trained where appropriate. Successful backup behavior also requires a fundamental shift in the attitude of health professions trainees—from success defined as independence to success defined as interdependence. Sharing physical workspace and clinic time helps to facilitate both this attitude and backup behavior itself by providing more opportunities for interacting, communicating, and detecting team member cues and triggers.38 

융통성 (Adaptability)

융통성은 팀 구성원들이 근무 환경으로부터 오는 피드백에 맞춰서 전략을 수정해나가는 능력을 뜻한다.

Adaptability denotes the capability of team members to adjust their strategies for completing tasks on the basis of feedback from the work environment.39 

이러한 능력은 보상적 행위(compensatory behavior)를 필요로 하는데, 각각의 팀 구성원은 상호간에 합의된 목표를 달성하기 위해서 팀의 자원을 재분배할 수 있어야 하고, 환경이 바뀌면 행동의 순서를 바꿀 수도 있어야 한다. 융통성에 필요한 기술은 변화가 일어났음을 감지하는 것과, 진료의 질과 진료 결과에 미칠 수 있는 잠재적인 부정적 영향을 찾아낼 수 있는 것이다.

This capability requires compensatory behaviors; that is, each team member must be able to redistribute team resources or alter a course of action in response to changing conditions,40 allowing the team to meet mutually defined goals. Skills needed for adaptability include recognizing that a change has occurred (i.e., situational awareness) and identifying the potential negative impact it could present for care quality or outcomes.

개개인 입장에서, 팀 구성원은 진료의 공통된 모델에 대한 훈련을 받고, 개인의 목표와 책임보다 팀을 강조하는 교육을 받아야 한다. 역할극은 적응반응(adaptive response)를 배우는데 좋다.

Individually, each team member should receive training on a shared model of care, emphasizing team rather than individual goals and responsibilities. Role-play simulations can help each of them learn adaptive responses

팀의 입장에서는, 대부분의 구성원들이 환자에 대한 경험을 이야기 할 때, 모든 사람이 시스템의 문제를 찾아내고, 이로부터 결과를 향상시키기 위한 방법을 제안하는 것에 대해 불편함을 느끼지 말아야 한다.

At a team level, when the members discuss the experience of this patient at the weekly practice meeting, all should feel comfortable identifying system problems or suggesting processes or adaptations to improve outcomes.

팀 지향 (Team Orientation)

팀 지향이란 팀의 목표를 개인의 목표보다 우선하는 것, 다양한 관점과 시각을 추구하는 것, 자신의 노력을 상호의존성(interdependence)의 관점에서 인식함으로써 다른 팀 구성원을 존중하는 것을 뜻한다. 

Team or collective orientation denotes the tendency to prioritize team goals over individual goals, to encourage different viewpoints and perspectives, and to show respect and regard for each team member by evaluating and integrating his or her input in an interdependent manner.23,24,42 

팀 지향을 잘 따른다는 것은 (1)개개인의 직무를 다른 사람의 것과 맞추어가고, (2)다른 사람에게 도움을 요청하며, (3)팀의 성과에 기여하고, (4)팀 멤버십을 즐기는 것을 말한다. 몇몇 연구들은 팀 지향을 강조하는 팀에서 여러가지 것들이 더 우수함을 보여줬다.

A collectively oriented individual works well with others, seeks others’ input, contributes to the team outcome, and enjoys team membership.43 Several studies provide evidence that teams scoring higher on collective orientation measures demonstrate faster, more accurate problem solving,44 higher productivity,45 improved cooperation,46,47 improved team performance,42,48 and improved supervisor ratings.49

역량의 상호의존성과 통합 (Competency Interdependence and Integration)

Salas 등은 팀워크의 구성요소를 지지하는 것들로서 공동의 mental model을 개발하고, 상호 신뢰를 쌓으며, closed-loop communication을 활용하는 것을 언급했다.

Salas and colleagues21 describe other supporting teamwork elements, including the development of a shared mental model (i.e., a common understanding of the relationship between the team’s tasks and goals and how team members interact), the achievement of mutual trust, and engagement in closed-loop communication, that all help coordinate the five competencies

행동으로 옮기기 (Call to Action)

의료 체계가 비용, 질, 접근성 등에서 광범위한 실패를 경험하면서, Academic Health Center에 전문직 직업군간 협력 훈련 모델을 도입하라는 압박이 거세지고 있다. 이와 같은 모델을 도입하여 훈련을 시킨다면, 팀워크 능력을 갖출 것이라는 기대 때문이다. 하지만 이러한 요구에도 불구하고 서로 독립된 상태로 고립된 교육과정이 바뀌는 것은 요원해 보인다.

Widespread health system failures of cost, quality, and access are pushing academic health centers to adopt and test models of interprofessional training with the expectation that trainees will graduate with the teamwork competencies described in this Perspective.54 However, despite calls encouraging interprofessional education,19 the entrenched silos

in training curricula have proven hard to overcome.

Core Competencies for Interprofessional Collaborative Practice: Report of an Expert Panel가 발간된 바 있고 Salas 등이 마하는 것과 유사한 역량을 강조하고 있다.

This six-member committee produced and disseminated a report, Core Competencies for Interprofessional Collaborative Practice: Report of an Expert Panel,18 which addresses many of the same competencies described by Salas and colleagues.

새로운 지급체계에서는 진료의 질적인 측면을 양적인 측면보다 강조하며, 환자가 얼마나 만족하는지부터 진료팀이 예방 가능한 재입원을 얼마나 잘 관리했는지까지 다양한 요소들이 포함된다

New payment models seek to reward value over volume of care, such that value is determined by various metrics ranging from how satisfied patients are to how well a care team avoids preventable rehospitalizations.56

결론, 미래 (Conclusion and Next Steps)

1974년, Wise 등은 이렇게 말했다. "매주 일요일 오후, 팀워크 실제로 중요해지는 단 두 시간을 위해서 매주 40시간을 팀워크 훈련에 투자하는 축구팀은 매우 이례적이다. 병원 조직에서의 구성원들은 매주 40시간 이상 팀으로 일해야 하는데도 불구하고, 일년에 단 두시간도 '팀으로서 일하는 것'에 투자하지 않기 때문이다."

In 1974, Wise and colleagues57 wrote: “It is ironic indeed to realize that a football team spends 40 hours each week practicing teamwork for the two hours on Sunday afternoon when their teamwork really counts. Teams in organizations seldom spend two hours per year practicing when their ability to function as team counts 40 hours each week.”57 

안타깝게도 Wise가 저 말을 한 이래로 별로 달라진 것은 없다. 보건 전문직 훈련의 모든 측면에 있어서 팀 지향이 개개인에 대한 것을 대체해야 한다. 교과과정, 정책, 교육, 평가 등의 모든 것이 '성공의 독립성(independence)'이 아니라 '성공의 상호의존성(interdependence)'을 다뤄야 한다.

Regrettably, not much has changed in many academic primary care practices since then. A team orientation must replace individualistic notions within all aspects of health professions training, and curricular content, policies, pedagogy, and assessment must align interdependence—not independence— with success.

Academic primary care practice의 문화를 바꾸는 것은 쉽지 않은 일이다. 많은 과제들이 놓여 있지만, 보건 전문직의 훈련 프로그램은 미래의 진료 팀의 구성원들은 다가올 고부가가치의 의료 환경에서 팀으로서 일하는 것을 대비해야 한다. 'Team' 이란 단어에 'I'는 없다. 

Changing the culture of academic primary care practice is hard work. Despite the many challenges ahead, health professions’ training programs must prepare future health care team members to work together to share in the emerging future of high-value health care delivery. There is no “I” in team.

There is no "i" in teamwork in the patient-centered medical home: defining teamwork competencies for academic practice.

(출처 : http://scienceroll.com/2012/08/15/a-cartoon-guide-to-becoming-a-doctor/)

<대충 요약>

- 모든 것이 좋다 vs 좋아하는 것이 없다. : 모든 과가 다 좋으면 가정의학과

- 성적이 나쁘다, 좋다, 완전 좋다

= 성적이 완전 좋은데...

- 외과 체질이면 : 정형외과, 성형외과, 신경외과, 일반외과, 비뇨기과

- 외과가 별로면 : 피부과, 안과, 영상의학과

= 성적이 그저그런데...

- 성격이 좀 Nerd 라면 => 병리과나 신경과

- 아이가 좋으면 => 소아과

- 아이는 그냥 딱 2분간만 좋으면 => 산부인과

- 자는 아이만 좋으면 => 마취과

- 아이는 냄새나! => ADHD가 있으면 응급의학과, 잠에 대한 것도 따져보고, 성격도 따져보고 온갖 것 다 따져봤는데도 모르겠다면 내과.

= 성적이 나쁜데...

- 사람을 좋아하고, 직접 만지는 것도 좋으면 => 재활의학과

- 사람을 좋아하는데, 만지기는 싫다면 => 정신건강의학과

<감상>

- 성적 좋은 외과 성향 학생에게 일반외과, 비뇨기과 추천하는 것만 빼면 우리나라하고 많이 비슷한 것 같기도.....

- 산부인과는 우리나라 상황이 상황인만큼 비교가 힘들고..

- ADHD 있으면 응급의학과...에서 푸흣.

(출처 : http://www.glasbergen.com/?s=Dr.+Google)

점점 더 환자들이 인터넷에서 의학적 조언을 구해서 온다구. 

아무래도 살아남으려면 내 이름을 '닥터 구글'로 바꿔야 할까봐.

POC(진료현장)에서 의학적 의사결정을 위해 사용되는 자료(resource)는 기술의 발전에 따라 진화해왔다. 진료현장 의사결정에 대한 첫 번째 논문을 보면, 교과서 등의 자료가 잔뜩 담긴 'evidence cart'를 회진때 끌고 다녔다고 한다.

Resources used at the point-of-care (POC) for medical decision making have evolved with changes in technology. One of the first articles published on resource use during POC decision making in a teaching hospital described taking an “evidence cart” on rounds, containing medical textbooks and journals loaded onto a CD-ROM.1

요즘은 의학, 의료 어플이 설치되어 있고 인터넷 접속이 가능한 스마트폰과 태블릿을 사용한다.

today: smartphone and tablet technology loaded with medical applications and Internet connectivity

POC에서 사용되는 정보 자료원에 대해 관심을 가져야 하는 이유가 두 가지가 있다. 

한 가지는 임상적 의사결정에 영향을 줄 가능성이 있기 때문이다. 따라서 양질의 정확한 자료가 중요하다. 

두 번째는 대부분의 레지던트가 임상 환경에서 환자를 통해서 학습을 하게 되기 때문이다. 

Bedside에서 정보가 접근가능해지기 전에는 논문이 주된 정보원이었다. 그러나 2006년에 연구를 보면 요즘의 레지던트들은 온라인 정보를 더 많이 활용하는 것으로 나타났다. 98%의 레지던트는 UpToDate를 사용하며 44%가 온라인에서 논문을 검색하고 35%는 구글과 같은 검색엔진을 사용하는 것으로 나왔다.

There are two main reasons that we should pay attention to the information resources used by our learners at the POC. First, information resources have the possibility to affect clinical decisions; therefore, they must be of high quality and accuracy. Second, the majority of resident learning is directed by patient encounters within the clinical environment.2 Before the advent of technology for accessing information at the bedside, journals were the preferred resource for answering clinical questions.3 However, one study4 suggests that by 2006, residents were more likely to turn to online electronic resources. Ninety-eight percent of the residents in that study used UpToDate (an evidence-based, physician authored clinical knowledge database), 44% performed online literature searches, and 35% used Web-based search engines such as Google.

좀더 최근의 연구 결과를 보면80%의 주니어 의사들은 적어도 일주일에 한 번 구글 검색을 사용한다고 밝혔다. 또한 젊은 의사들은 점차 더 많이 Web 2.0 커뮤니티 를 활용하는데, 구글, 페이스북, 위키피디아 같은 것들이 그것이다. Web 2.0 자료들은 다수의 사용자가 지속적으로 자료를 업데이트하는 특징이 있다. 일반적으로 논문을 신뢰할 수 있는 자료원으로 보는 반면, 이러한 온라인 자료들에 대한 신뢰도는 조금 떨어진다.

In a more recent study, 80% of junior physicians reported using Google at least once over the course of a week.5 Additionally, young physicians are increasing their use of Web 2.0 community resources, including those available through Google, Facebook (online social network), and Wikipedia (online encyclopedia that can be edited and updated by users).5,6 Web 2.0 resources are broadly defined as those where multiple users continually update and remix data.7 Whereas educators generally consider journals a trusted resource, online resources such as Wikipedia are considered more questionable in the information they provide.6

많은 레지던트 프로그램에서는 자료에 대해서 비판적으로 평가하는 방법이라든가, 양질의 근거자료를 검색하는 방법을 가르친다. 이러한 교육에 대한 결과는 긍정적으로 나오기도 하고, 별 효과가 없는 것처럼 나온 것도 있다.

Many residency programs address this concern by having curricula in place to teach critical appraisal of the literature and how to search for quality evidence.8 The impact of these curricula on resident usage patterns has been mixed.9,10 In one study, 95% of residents participating in an evidence-based medicine (EBM) workshop accessed the primary literature through Ovid (private vendor for accessing MEDLINE database) or PubMed (free database for accessing primarily MEDLINE) only 58% in the control group. In both groups the most frequently accessed resources were summary resources such as UpToDate, MD Consult (Web-based medical resource providing synthesis of medical information), and E-medicine (online medical reference), and 56% of residents used nonmedical search engines (including Google, MSN, and Yahoo) at least once.10 A separate study demonstrated that residents were more likely to approach authoritative sources (faculty) 44% of the time to answer clinical questions at the POC, despite having prior EBM training.11

펍메드(PubMed)나 Ovid MEDLINE을 사용하는데 가장 주요한 장애물은 사용하는 것이 불편하고(inefficient), 여기서 얻은 자료를 적절하게 활용할 지식이나 기술이 부족한 것을 꼽는다.

Barriers to using PubMed and Ovid MEDLINE have included a sense among residents that this is an inefficient use of their time and that they have inadequate knowledge and skill to efficiently employ these resources.12,13

구글스칼라가 PubMed와 비교해서 의학적 자료 제목 검색이 부족한 것은 사실이나, 인터페이서는 좀 더 사용자 친화적이고 짧은 시간을 들여서도 자료를 얻기가 편하다.

Although the Google Scholar search is challenged by the absence of the medical subject headings found in PubMed, the interface is more user-friendly and may lead to information in a fraction of the time.14

앞선 연구결과들이 내과 레지던트들의 학습과 자료 탐독(reading)행태를 연구했지만, 진료현장(POC)에서 어떤 자료원을 활용할 것인가를 결정하는 요인이 무엇인지에 대한 연구는 적다.

Although prior studies have looked at learning and reading behaviors of internal medicine residents,2,4 little is known about the drivers of resource selection at the POC

속도, 신뢰성, 정보의 질, 휴대성이 가장 주요한 요소로 나왔다.

Speed, trust in the quality of information, and portability were the biggest drivers of resource selection for the participants in our study

이러한 결과는 "활용도 = 관련성 x 정확성 / 필요한 시간"이라는 공식과도 잘 맞아떨어진다.

These results are consistent with the Usefulness Equation, U = RxV/W, which describes that a physician’s goal is to find the most trusted and relevant information in the shortest time.17

우리가 한 연구에서는 레지던트들이 이미 그들이 보는 환자와 '연관된' 정보를 찾는 것이기 때문에, 정보의 관련성 요소는 이미 충족된 것으로 간주되고, 남은 요소들은 속도와 신뢰도가 된다.

In our study, the relevance is implied because residents are seeking information related to their patients at the POC. Thus, the factors left are work (speed) and validity (trust).

앞선 연구 결과는 시간이 중요한 요소임을 밝히고 있다. 그리고 이 '시간'은 레지던트들에게는 더욱 중요하다.

Prior studies have demonstrated that time is a significant factor for physicians when searching for information,12 and this seems to become an even more significant variable for residents.

65%의 전공의가 신뢰도를 PubMed나 MEDLINE을 선택하는 중요한 이유로 꼽았으며, 신뢰도가 중요한 긍정적 요소이긴 하나, 우리의 연구결과에서는 시간 이라는 요소가 중요하게 등장하였다.

Although 65% of residents listed trust as a factor leading them to select PubMed/MEDLINE as a resource, and trust was a significant positive factor, our results suggest that time factors may lead residents to choose with greater frequency resources that are both trusted and also can be accessed more conveniently and quickly

구글 검색 엔진은 위키피디아와 비슷하게 빠르지만, 신뢰도는 떨어지는 것으로 나타났고, 탐색 단계에서 주로 활용되는 것으로 나타났다. 한 레지던트는 "솔직히 말하면, 나는 잘 모르는 것에 대해서 알아보는 용도로는 구글이 빠르기 때문에 사용한다. 구글이나 구글스칼라로 방향을 잡은 다음에, 더 신뢰도 높은 자료를 찾는다"라고 했다.

Google search engine, which, similar to Wikipedia, was listed as fast but less trusted, was used mostly in the discovery phase, where residents are searching for general information about a disease or for a trusted Web site. As one resident noted, “Honestly, I just use Google for speed, for vague or unknown things, and after Google or Scholar gives me a direction to turn, I go to a more trusted source for clinical decision making.”

진단에 있어서 구글 검색의 유용성은 이미 보여진 바 있고, 우리 응답자의 42%도 진단을 하는 방법으로 구글에 증상/징후를 넣고 검색한다고 했다.

Google’s diagnostic effectiveness has been described previously,20 and 42% of our respondents reported using Google as a tool for inputting signs/symptoms of a disease to make a diagnosis

펍메드와 비교했을 때, 구글스칼라는 비슷한 검색결과(sensitivity)를 보여주나, precision에 있어서는 조금 떨어진다.

compared with PubMed searches in the literature, with Google Scholar demonstrating similar recall (sensitivity) but poorer precision than PubMed.21

구글과 UpToDate는 주요한 임상 토픽들에 대해서 근거 중심의 답변을 얻기에 용이하며, 5분이라는 시간 제한을 두면 PubMed나 Ovid에 비해서 더 정확한 편이다. 이러한 결과는, 만일 시간이 중요하다면 구글과 Uptodate가 효과적인 대안임을 말해준다.

Google and UpToDate answered evidence-based questions more quickly on major clinical topics, and more correctly within a five-minute time frame, than did PubMed and Ovid.14,22 This suggests that if time is of the essence, Google and UpToDate are effective alternatives

6S 모델은 레지던트들에게 어떻게 '쓸모있는' 정보를 검색할 수 있는지에 대한 프레임웤을 제공한다.

The “6S” model may provide a framework for how we can teach residents to find “useful” information.23

레지던트는 쏟아지는 정보에 압도당하는 일이 흔하고, 정보를 다루는 기술이 부족하므로 피라미드의 상단부터 접근하는 방식을 익혀야 한다. 

Because resident physicians may be overwhelmed by the volume of information available to them and may lack necessary information management skills, they can be trained to begin searching for evidence toward the top of the pyramid (“summaries” if “systems” are not in place), working their way down the pyramid (increasing the work) as needed to answer the clinical question (see Figure 3).

추가적으로, 구글과 같은 검색엔진은 예컨대 "고나트륨혈증에서 물 부족량을 어떻게 계산하는가?" 같은 질문에 대한 답을 얻는 용도로 활용될 수 있다.

Additionally, search engines such as Google can be used somewhat as a “system” to answer a particular question (e.g., How do I calculate a water deficit for a patient with hypernatremia?).

응답자 레지던트들이 속도와 신뢰도와 휴대성을 중요시하는 것은 분명해보인다. 제한된 시간과 과량의 정보는 특정 자료원을 활용하는 것에 있어서 가장 큰 장애물이다.

It is clear that the responding residents favored speed, trust, and portability in their resources used at the POC. Time and information overload (related to work spent) appear to be the biggest barriers to resource use, supporting the usefulness equation.17

레지던트에 대해서 어떤 정보들이 활용가능한지 뿐만 아니라, 언제 6S 피라미드의 아래 단계까지 파고 들어야 하는지, 혹은 언제 스스로 연구를 해야 하는지를 가르쳐야 한다. 또한 가능한 자료에 대해 접근해서, 효과적으로 다루는 방법도 가르쳐야 할 것이다.

We should be training our resident physicians not only about what quality information is available (the resources themselves) but also about when to delve deeper into the information pyramid and go directly to the studies themselves, as well as how to navigate to resources, manage, and be good stewards all of the information that is available.

Should We Google It? Resource Use by Internal Medicine Residents for Point-of-Care Clinical Decision Making.

(출처 : http://meded.ucsf.edu/radme/faculty-development)

교수법 향상 개입의 효과

EFFECTIVENESS OF TEACHING-IMPROVEMENT INTERVENTIONS

어떤 교수개발 모델 혹은 개입방법을 사용할 것인가를 결정할 때, 관련 연구들의 결과를 참고하는 것이 도움이 된다. 교수법 향상에 관한 최근의 연구들은 과거의 연구와 비슷한 결론을 도출하고 있다. 교수향상을 위한 개입방법의 영향에 대한 실험논문은 많지 않지만, quasi-experimental 연구를 비롯한 다른 논문들이 많이 있다.

When considering which faculty development models and interventions to use, it is helpful to base these decisions upon the results of educational research. The most recent reviews of the research on instructional-improvement interventions in medical education17,18.are in accord with prior reviews.5,39-42 While there is a paucity of experimental research on the effects of teaching-improvement interventions, there is a large and growing body of quasi-experimental and qualitative research demonstrating the efficacy of longer workshops, students' ratings coupled with individual consultation, and faculty development fellowships

Workshops

이틀 혹은 그 이상 길이의 워크숍은 한 가지 이상의 개입방법을 포함하고 있으며, 실제 수행과 피드백, Reminder가 교수자의 지식, 태도, 기술에 영향을 주는 것으로 연구되어 있다.

Workshops that are two days long or longer, involve more than one type of intervention, and are followed up with practice, feedback, and reminders have demonstrated effects on teachers' knowledge, attitudes, and skills. 21,22,37,44-56

이러한 결론은 Davis 등의 메타분석 결과와도 비슷하다.

This conclusion is similar to that reached by Davis and colleagues 57 in a meta-analysis of continuing medical education programs intended to change the practice, knowledge, attitudes, and skills of physicians

Teaching Evaluations with Consultation

학생으로 하여금 교육을 평가하게 하는 것은 교육자의 행동을 바꿀 수 있으며, 특히 개개인에 대한 자문이 더해질 경우 더욱 그렇다.

Evaluations of teaching by students can lead to changes in teaching behaviors, particularly if accompanied by individualized consultation in which the instructor is provided assistance in interpreting results and devising changes in

teaching practice in a nonthreatening environment.60

임상 교육에 대한 최근의 연구 결과에서 평가 결과를 제공할 때 개개인에 대한 조언을 함께 하는 것의 중요성이 자주 강조되고 있다. 전향적인 무작위 시험에서 개개인에 대한 피드백을 준 것이 기술 향상과 평가 전-후의 차이가 가장 컸다.

Three recent studies in clinical education reinforce the importance of individualized advice in reporting ratings. A prospective, randomized trial of the effect of feedback on clinical teaching by Schum and Yindra63 suggests that individual feedback was associated with higher ratings on four skills and larger pre-post differences among participants than among controls

Wilson은 가장 통계적으로 중요한 변화를 보인 평가 아이템들은 구체적이고, 자세하고, 행동에 관한 것(concrete, specific, behavioral) 이었다 라고 하였다.

Wilson found that rating "items on which the greatest number of faculty showed statistically important change were those for which the suggestions were most concrete, specific, and behavioral.69.

Faculty Development Fellowship Programs

교수개발 프로그램에 대한 fellowship program은 더 자세하면서 포괄적인 기전을 다루고 있으며, 비교적 최근에 등장하였다.

Faculty development fellowship programs have emerged in recent years as a more in-depth and comprehensive mechanism for strengthening the instructional skills and scholarly abilities of faculty members

A COMPREHENSIVE PROGRAM OF FACULTY DEVELOPMENT

전문가 개발 (Professional Development: Joining the Academy)

교수개발은 교육사업에 있어서 몇 단계에 걸쳐서 교수들을 참여시켜야 한다. 

시작 단계에서, 모든 교수들은 기본적인 교육 기술을 습득해야 하며, 그 기관의 학문적 가치, 규범, 기대에 대해 이해하고 있어야 한다.

Faculty development programs need to address the several levels of faculty involvement in the educational enterprise. 67·69 At the entry level, all faculty members should possess basic teaching skills and be oriented to the academic values, norms, and expectations of the institution

자신의 교육에 대한 성찰의 기회가 주어짐에 따라서 일부 교수들은 좀 더 교육학적 지식을 습득해야 하며 여기에는 다음과 같은 것들이 포함된다. 

With opportunities to reflect upon their teaching practices, a subset of teaching faculty will develop into teachers with more pedagogic content knowledge, 19 which integrates...

 knowledge of content, learners, 

teaching skills, context, and, in medicine, patients. 

이 단계에서 일어나는 변화의 원동력은 더 발전된 교육 경험, guided reflection, 교육 이론과 실습에 대한 광범위한 노출 등이다.

This second level occurs as a result of more advanced teaching experience, guided reflection, and broader exposure to educational theory and practice

세 번째 단계에서 교육프로그램에 리더쉽을 발휘하는 교수들이 생겨난다. 임상실습이나 레지던트 프로그램의 책임자를 맡게 되며, 교과과정 위원회의 위원장이나 교육에 관심이 있는 주니어 스텦들의 멘토로서 역할을 할 수 있다.

At a third level, there are those faculty members who provide leadership to educational programs, serving as directors of clerkship and residency programs, as chairs of course and curriculum committees, and as mentors to junior colleagues

interested in teaching

일부 소그룹의 교수들은 Teacher-scholar의 네 번째 단계에 도달하며, 교육을 가르치는 것과 교과과정의 과정과 결과(process and outcome of teaching and the curriculum)으로 인식한다.

A small group of faculty members constitutes a fourth level-teacher-scholars, who approach education with questions about the process and outcomes of teaching and the curriculum

마지막으로 학교에는 정책, 과정, 조직구조를 집행하며 의미있는 참여를 이끌어내고, 교육의 향상을 가져오는 일을 할 수 있는 일부 교수들과 집행부가 있다.

Finally, schools have a group of faculty members and administrators who are committed to and capable of creating policies, procedures, and organizational structures that encourage meaningful participation in and improvement of education.7

이러한 다양한 종류의 교육자들을 개발하고 유지하기 위해서 교수개발 프로그램은 넓은 범위의 활동을 포함해야 한다.

In order to develop and sustain the work of these various types of educators, faculty development programs should include a range of activities:6, 70- 72

Professional Development: Joining the Academy

academic community의 새로운 일원으로서, 교수는 academic profession에 대한 사회화가 되어야 한다. Benor와 Mahler는 "조직, 조직의 철학, 그리고 조직의 교육적 접근에 대한 개개 교수들의 정체성을 확립해야 한다"라고 강조했다.

As new members of the academic community, faculty members need to be socialized into the academic profession. Benor and Mahler stress the importance of "enhancing the identification of the individual teacher with the institution, its philosophy, and its educational approaches." 71

새로운 교수 구성원에 대해서 다뤄야 할 내용은 교수에게 요구되는 가치와 규범, 기대와 같은 것들이며, 특히 선생님으로서의 역할이 중요하다. 

Issues to be addressed for new faculty members include the values, norms, and expectations of the faculty, particularly as teachers; 

the skills of scholarship as defined by the institution; 

the establishment of a network of experienced and knowledgeable colleagues; 

and knowledge of the steps for academic advancement, including how to document accomplishments as a teacher.

Instructional Development

<초급 교육 기술 Initial teaching skill>

교수 개발은 교수들이 기본적인 교육 기술을 학습하는 것으로부터 시작하며, 이는 교수에게 요구되는 교육적 역할과 연결이 되어야 한다. 

presentation and discussion facilitation skills; 

strategies for teaching during patient care; 

instructional planning and reflection skills; 

evaluation, feedback, and grading skills; 

and information technology skills

<가르침과 배움을 연결시키기 Connecting teaching and learning.>

가르치는 것을 학습하는 것과 연결시킬 수 있어야 한다. 몇 년의 교육을 경험하고 나면 교수들은 왜 어떤 방법은 통하고 어떤 방법은 통하지 않는지에 대해 생각하게 된다. 그들은 학습자에 대해서 더 관심을 가질 수도 있고, 가르치는 사람인 본인에 대해서는 덜 신경을 쓸 수도 있다. 이 때야말로 교수-학습에 대한 것을 가르치기에 가장 좋은 때이며, 학습 이론과 교육 임무를 연계시키는 과정에 참여시킬 수 있는 기회이다. 교육수행을 되돌아보면서 교수들은 그들이 가르쳤던 경험으로부터 학습을 한다.

After several years of teaching, faculty members often begin to wonder why certain teaching methods work while others do not. They may also begin to focus more on the learners and less on themselves as teachers. This is the best time to introduce them to the literature on teaching and learning, and to engage them in the process of connecting learning theory to teaching practices. Reflective educational practices involve faculty members in learning from their experiences of teaching. 

실용적인 지식에 대한 토론과 교육에 대한 생각에 대해 이야기하고, 학습에 대한 연구를 리뷰하면서 경험이 많은 교수들은 어떻게 가르쳐야 할 것인가에 대한 자신만의 이론을 구성할 수 있다.

Through discussion of their practical knowledge and beliefs about teaching, and review of research on learning, more experienced teachers can begin to construct a personal set of principles to guide decisions76 about how to teach specific content to particular learners in distinct situations. 3,18,19,27

Leadership Development

<교과과정 개발과 리더십(Curriculum development and leadership in medical education)>

교육프로그램의 발전을 위해서는 그들이 이끌어 갈 집단의 사고체계를 Re-framing하고, 조직의 활력을 위해서는 변화를 유도하는 것이 필수적이라는 것을 일깨워 줄 수 있는 효과적인 리더가 필요하다.

Educational programs need effective leaders who are capable of reframing the thinking of those whom they guide and of encouraging change as an essential component of institutional vitality. 78

공식적이든, 비공식적이든 리더는 서로 다른 리더십 스타일을 이해하고 어떻게 사용해야 하는가를 알아야 한다.

Both types of leaders, formal and informal, need to understand different leadership styles and how to use them.

<Instructional scholarship>

교육 리더들은 teacher-scholar처럼 그들이 지휘했던 교육 프로그램의 성과와 질을 평가할 책임이 있다. 프로그램 평가를 디자인하고 수행하는 능력은 지속적인 질적 향상에 필수적이다.

Educational leaders, as teacher-scholars, are responsible for evaluating the quality and outcomes of the teaching programs that they direct. Skills in the design and implementation of program evaluation are essential to the success of continuous quality improvement.

Organizational Development: Educational Policies and Procedures

교수개발의 목적은 교수 구성원들이 교육자로서의 역할을 잘 하도록 하는 것이고, 이를 통해서 지속적 학습(continual learning)에 대해 보상을 하고 이를 장려하는 조직을 만드는 것이다. 교육 리더와 교수개발의 전문가들은 서로의 책임을 공유하고 교육적 미션과 가치를 공유하며, 교육과 관련된 의사결정과정에 교수들을 활발히 참여시켜야 한다. 

The goal of faculty development is to empower faculty members to excel in their role as educators and in so doing, to create organizations that encourage and reward continual learning. 70 Educational leaders and professional faculty developers share the responsibility for creating and promoting a shared educational mission and shared values, for actively involving the faculty in decision making related to education, for providing opportunities for teaching improvement, and for shaping the systems for evaluating and rewarding teaching.7

교수와 행정가들은 교육에 가치를 두고, 지속적 학습을 중시하는 조직의 분위기를 만들 수 있다. 

Faculty members and administrators can create an organizational climate that values education and the process of continual learning. For example, a teaching-evaluation system 80,81 with established procedures for reporting educational contributions of faculty members such as the educator's portfolio11 can carry important messages about how teaching is valued and how faculty members should allocate their time.

Strategies for improving teaching practices: a comprehensive approach to faculty development.

(출처 : http://www.partnersforeffectiveteaching.com/links-overview/)

의과대학 교수들에게 창의적이고 효과적인 교수자, 성공적인 연구자, 그리고 생산성이 높은 임상가 되어야 한다는 요구가 강해지고 있다.

Increasing demands are being placed upon medical school faculty members to be creative and effective teachers, successful investigators, and productive clinicians.

이러한 압박은 교과과정의 개혁, 의료시장의 경쟁 심화 등등에 기인한다.

These pressures derive from curriculum reform from competition in the health care marketplace, and from increasing competition for scarcer resources to support research. 

이러한 변화로 의대교수들은 새로운 지식, 기술을 습득해야 하는 입장에 놓였는데, 특히 교육적 상황에서 더욱 그러하다. 

Such changes require faculty members to acquire new knowledge, skills, and abilities-especially in the instructional arena. 

In their teaching roles, faculty members are being asked to develop more time-efficient ambulatory care clinic instruction, more small-group teaching, more problem-based tutorials, new types of case-based discussions, and new computer-based instructional programs. 

어떠한 투자가 이루어져야 할까? 교수 개발을 위해서 취해야 할 전략은 무엇일까?

In order to promote academic excellence, what investments should be made to help faculty members master these new skills? Which faculty development strategies actually produce changes in faculty members' instruction?

20세기의 첫 절반동안, 잘 가르친다는 것은 내용을 잘 안다는 것의 한 부분과 같았다. 교수가 특정 학문에 대한 지식을 안다면, 그것을 가르칠 수 있다고 생각했다. 따라서 교수능력을 향상시키기 위한 주된 방법은 안식년, 연구비, 학회 참석 등등이었다.

During the first half of this century, teaching expertise was assumed to be part of content expertise. If a faculty member acquired the knowledge of the discipline, she or he could teach. Thus, the primary mechanisms for enhancing teaching were academic leaves, sabbaticals, research funding, and travel to professional meetings.1

시간이 지나며, 가르친다는 것은 내용을 잘 아는 것과 연관은 있지만, 한편으로는 분리되어 있는 개념으로 변해갔다. 대부분의 교수들은 가르치는 법을 자신을 가르쳐준 선생님이 어떻게 가르치는가를 봄으로써 배웠다.

Over time, teaching has come to be recognized as a skill associated with, but separate from, content expertise.Most faculty members learn to teach not from learning their content but from observing it being taught.

이러한 관찰을 통한 도제식 교육으로 인하여 교수들은 점차 '통하는' 방법은 계속 사용하고, 잘 통하지 않는 방법은 버리는 식의 교육을 하게 되었다.

This apprenticeship of observation resulted in their emulating teaching practices that were helpful while rejecting ones that were not

경험을 통해서 가르치는 법을 배우는 것은 느리고 고통스러운 과정이다. 교수개발 프로그램은 이러한 데에 들어가는 시간을 줄이고 교수 능력 향상을 위한 지침을 주기 위한 목적이 있다.

Learning to teach from experience alone can be a slow and painful process. Faculty development programs were begun to reduce the time required to learn to teach and to provide guidance for teaching improvement

다양한 접근법이 등장했고, 이러한 접근법은 주로 학습에 관한 이론의 발전과 그 궤를 같이한다.

A variety of approaches to teaching improvement have emerged, generally in association with changing theories of learning.9

THE 1970s: BEHAVIORAL THEORIES AND TEACHING IMPROVEMENT

1970년대 : 행동주의 이론과 교수 향상

1970년대의 교수 향상 전략은 교수-학습과 관련된 행동주의적 접근의 영향을 많이 받았다. 학습은 '행동의 변화'라 정의되었고, 반복, 연습, 피드백, 행동교정강화를 거치는 작고 선형적인 과정을 통해서 이뤄지는 것이라 여겨졌다.

Teaching-improvement strategies created in the 1970s were strongly influenced by behavioral approaches to teaching and learning.10 Learning was defined as a change in behavior and was believed to be facilitated by providing instruction in small, linear steps through drill, practice, and feedback, and by reinforcing correct responses

교수들에게 '잘 가르친다는 것'은 어떤 특정한 기술을 연마하는 것과 같았다.

Faculty were taught that good teaching involved clearly defined skills such as...

creating an instructional set with objectives, 

providing learners with practice opportunities and feedback, 

increasing wait time after asking questions, 

and using various techniques for enhancing enthusiasm and motivation

기관에서의 학생들의 강의평가는 가르침(instruction)을 향상시키기 위한 목적이 있었고, 문서로 된 피드백을 제공하면 자동적으로 향상될 것이라 기대했다.

Students' ratings of teaching were instituted nationally to increase feedback to faculty members for the purpose of improving instruction. By providing written feedback to instructors, we assumed that they would automatically know how to improve

그러나 1970년대 초반의 일부 연구는 학생들의 강의평가로 제공되는 피드백만으로는 '가르치는 행동'을 향상시키지 못한다는 것을 보여줬다. 교수자들은 평가에 대한 해석을 곁들여 개개인에 대한 조언을 해줄 때 향상이 이뤄졌다.

Studies in the early 1970s by Centra12 •13 in higher education suggested that feedback from students' ratings alone was ineffective in modifying instructional behaviors. Teachers were more likely to change when provided with individual consultation on the interpretation of rating results and suggestions for improvement.

메사추세츠 대학에서는 가르치는 기술에 대한 문제에 대해 진단과 치료의 개념을 접목한 자문 모델을 만들엇다. Skeff도 비슷한 자문 모델을 만들었는데, 그의 방법을 사용하면 집중적인 피드백을 통해서 교수법에 대한 다양한 자문을 할 수 있었다.

At the University of Massachusetts, The Clinic to Improve University Teaching developed a consultation model for improving teaching skills, based on a medical model with a variety of tools for the diagnosis and treatment of teaching problems.14 Skeff developed a similar consultation model in medical education.15 In his intensive feedback method, a facilitator...

helps the clinical teacher review feedback on teaching performance, 

offers a framework for analyzing teaching using clearly defined criteria, 

and plans for improvements that are then assessed through subsequent videotaping and students' ratings.

이러한 교수개발의 행동주의적 모델은 워크숍과 자문을 통해서 주로 이뤄졌고, 1970년대에 보편화되어 지금까지 이어져오고 있다. 1977년, 72개의 의과대학이 교수개발 프로그램을 제공하는 의학교육 부서(unit)를 만들었다. 그러나, 그 시기에 의대교수들을 대상으로 한 설문조사를 보면 그러한 프로그램에 참여한 교수는 거의 없고, 교육에 대한 공식 과정을 밟은 숫자는 더 적었다.

These behavioral models of faculty development, conducted mainly through workshops and consultation, were the norm in the 1970s and continue today. By 1977, 72 medical schools had established medical education units with some capacity to provide faculty development. 1r' However, a survey of medical school faculty members during that period indicated that few faculty members had participated in programs on teaching offered by these offices and fewer still had taken formal courses on education. 2

THE 1980s: COGNITIVE THEORIES AND TEACHING IMPROVEMENT

1980년대 : 인지이론과 교수 향상

학습에 대한 인지이론은 1970년대에 행동주의 이론과 경합하기 시작하여, 1980년대 들어서 교실에서 다룰 만한 주제가 되었다. 이 새로운 패러다임에 의하면, 학습은 자발적으로 의미를 재구성하는 것(active construction of meaning)이라고 할 수 있었다. 겉으로 드러나는 행동보다는 정신적인 과정과 개념적인 구조에 더 관심을 두었다. 

Cognitive theories of learning began to compete with behavioral theories in psychology during the 1970s and entered the classroom in the 1980s. In this new paradigm, learning involved the active construction of meaning. 17 Mental processes and conceptual constructs rather than overt behaviors became the focus of interest. 

이 이론에 기반한 필수적인 교수법 전략은...

학습자가 이미 가지고 있는 개념(전개념, preconception)을 파악하고

=> 기존의 지식 위에 새로운 지식을 지어서

=> 새로운 지식에 대한 더 발전된 개념 틀을 만들어주고

=> 그 맥락(환경, context)와 관련된 내용을 넣어주고, 

=> 학습자가 그 내용과 활발히 작용할 수 있도록 자극하며

=> 학습자가 어떻게 학습할 수 있는가(learning how to learn, metacognition, 메타인지)를 학습하도록 하는 것이다.

Essential instructional strategies included identifying learners' preconceptions, building new knowledge upon prior knowledge, providing advanced organizers and conceptual scaffolding for new content, embedding content in relevant context, promoting active learner engagement with content, and teaching learners how to, learn (i.e., the executive monitoring and control functions of metacognition).

1980년대에 인지학습이론은 영향력이 점점 강해져서 교수들의 실용적 지식(practical knowledge)과 논리적 사고를 하는 기술은 교수향상 프로그램의 주된 타겟이 되었다. 1980년대 중반에 나온 교수자의 변화에 관련한 연구 프로젝트를 보면, Richardson은 "가르치는 것을 배우는데 있어서 교실에서의 활동(classroom action)은 실용적 지식에 비해서 덜 중요하다. 실용적 지식이 있어야 교수자들은 자신의 과거 경험과 비교하여 상황과 맥락을 판단하고, 지식에 근거한 행동을 할 수 있다."라고 했다.

In the 1980s, as cognitive learning theories grew in influence, teachers' practical knowledge and reasoning skills became the focus of teaching-improvement programs. In a report on a teacher-change research project in the mid-1980s, Richardson concluded that the literature on learning to teach "suggests that classroom actions are of less importance as a focus of change than the practical knowledge that drives or is a part of those classroom actions. Practical knowledge allows a teacher to quickly judge a situation or context and take action on the basis of knowledge gained from similar situations in the past."18· 

더 나은 교수자가 되는 것은 단순히 특정한 교수법이나 교수 기술을 가르치는 것 이상이 되었다. 더 나은 교수자가 되는 것은 가르치는데에 필요한 실용적인 지식과 기술을 학습함으로서, 알고 있는 지식을 학생에게 의미가 있는 용어(term)이나 활동(activities)로 전환할 수 있는 능력을 의미했다. Shuhnan은 "pedagogical content knowledge"라는 용어를 도입했고 Irby는 같은 것을 의사에 대해 표현하면 "case-based teaching scripts"라고 했다.

Becoming a better teacher was viewed as more than mastering a set of specific teaching behaviors. Better teaching involved learning practical knowledge and skills for teaching and knowing how to translate content expertise into terms and activities that were meaningful to specific students. Shuhnan 19 termed this "pedagogical content knowledge" and lrby 1 named the same special form of teacher knowledge of clinicians "case-based teaching scripts." 

'가르치는 것'에는 어떻게 학생들이 학습하는지를 이해하고, 교실(또는 clinic, 외래)에서 교육에 필요한 활동을 조직하고, 학습을 최대화 할 수 있도록 하는 기술 등이 요구된다. 학습에 대한 교수자의 생각을 바꾸는 것은 새로운 교수 기술을 학습하는 것에 있어 필수적인 것이다. 교수 향상을 위한 주된 방법으로 등장한 워크숍이나 자문은 기술적인 훈련 뿐만 아니라 학습에 대한 원리를 같이 가르치는 쪽으로 가고 있다.

Teaching requires an understanding of how students learn and the ability to craft instructional activities in the classroom and the clinic to maximize learning.2° Changing teachers' beliefs about learning was viewed as an essential precursor to the acquisition of new teaching skills.21 Workshops and consultations, the emerging mainstays of teaching-improvement programs, began to couple skill training activities with discussions meant to assist faculty members in developing a conceptual understanding of the learning principles underlying various teaching behaviors.

THE 1990s: SOCIAL LEARNING THEORIES AND TEACHING IMPROVEMENT

1990년대 : 사회학습이론과 교수 향상

고등교육에서의 교육을 향상시키기 위한 노력은 1990년대도 이어졌다. Academic institution에서 교육과 교육자들의 지위 향상과 더불어 scholarship에 대한 개념도 확장되었다. 이러한 접근법은 의미에 대한 사회학습이론으로부터 등장했다.

Efforts to improve teaching in higher education have continued into the 1990s with a growing emphasis upon improving the status of teaching and teachers in academic institutions, broadening the definition of scholarship to include teaching, promoting reflective teaching practices, and developing collegial arrangements for learning from the experience of teaching. These approaches grew out of a changing view of learning as the social construction of meaning.21

사회적 구성주의자의 시각에서 학습은 새로운 지식 커뮤니티에 속하여 사회화되는 과정과 같았다. 이러한 과정은 학생들이 커뮤니티에 활발하게 참여하고, 그 사회에서 구성(constructed)된 의미를 내재화시키는 과정이 필요했다.

In the social cnnstructivist view, learning is defined as socialization into a new knowledge community. This process occurs through the student's active participation in the community and the internalization of socially constructed meaning.

워크숍이나 자문에 대한 접근도가 높아졌음에도, 대부분의 대학과 의과대학 교수들은 대부분의 교수법을 직접 해보면서(on the job) 배웠다. 가르치는 중간에 가끔은 문제점이, 가끔은 가능성이 교수의 관심을 끌었다.

In spite of increasing access to workshops and consultations on teaching, the majority of university and medical school faculty members continue to learn the most about teaching from their "on the job" experiences. In the midst of teaching, a problem or possibility attracts the attention of the teacher.

예를 들어, 교수들은 왜 학생들이 헷갈려하는지 궁금해했고, 그 혼동을 줄여주기 위해서 실험을 하기도 했다.

For example, a faculty member might wonder why students appear to be confused and might begin to experiment with various ways of reducing that confusion. 

각기 능력이 다른 교수들은 Shoen이 말한 "reflection on action(행동 후 반성)"을 교수 향상의 기초로 삶았다.

Teachers differ in their ability to use what Shoen24 terms "reflection on action" as the basis for the ongoing examination of professional improvement.

Killen은 자신에 대한 성찰과정에서 성찰을 같이 할 수 있는 파트너를 활용하는 것에 대해 묘사했다.

Killen25 describes the use of reflective partnerships for purposes of improving teaching.

교수 향상에 대한 피어 코칭(Peer coaching)은 교수들이 연구를 하면서 논문을 쓰고 토론을 하는 것과 같이, 서로 교육에 대한 생산적인(formative) 토론을 하는 것과 같다.

Peer coaching for teaching improvement27-29 involves faculty members in collaborative arrangements with one another in the formative discussion of teaching, just as one might take a research paper or grant to a colleague for purposes of garnering new insights.

Strategies for improving teaching practices: a comprehensive approach to faculty development.