섬과 군도: 프로그램적 연구와 기회주의적 연구의 조화(Perspect Med Educ, 2020)
Islands and archipelagos: Reconciling programmatic vs. opportunistic research in health professions education
Glenn Regehr

 

연구 프로그램에 참여하는 것이 무엇을 의미하는지 생각해 볼 수 있는 몇 가지 방법이 있습니다. "프로그램적"이라는 개념을 어떻게 정하느냐는, 당신의 직업에서 [기회주의적 연구]의 위치에 대해 어떻게 생각하는가에 영향을 미칠 것입니다.

  • 실제로 보건직 교육 분야에서는 특정 주제 분야를 선택하고 대부분의 연구 시간을 해당 분야에서 보내는 연구자들이 있습니다. 이들 중 일부는 임상 진단 및 관리에 대한 전문지식의 성격과 같은 보다 개념적인 문제에 초점을 맞춘다.
  • 다른 이들은 특정 교육 혁신 또는 평가 도구의 개발 및 개선과 같은 보다 구체적인 문제에 초점을 맞춥니다.
  • 또한 다른 이들은 위탁 결정의 성격과 기록 방법(개념적 질문과 실제적 질문을 모두 포함하는)과 같은 중간의 공간을 찾는다.  

There are several ways to think about what it means to engage in a program of research. How you choose to frame the notion of “programmatic” will affect how you think about the place of opportunistic research in your career.

  • There are indeed some researchers in health professions education who pick a specific topic area and spend the majority of their research time in that area. Some of these individuals focus on a more conceptual issue, such as the nature of expertise in clinical diagnosis and management.
  • Others focus on more concrete problems, such as the development and refinement of a particular educational innovation or assessment tool.
  • Still others find a space that is somewhere in between, such as exploring the nature of entrustment decisions and how to record them (which encompasses both conceptual and practical questions).

그러나 이러한 고도로 집중된 개인들도 어떤 이유로든 종종 다른 연구 분야로 이탈할stray 가능성이 높습니다. 연구자의 핵심 주제 분야가 아니더라도 연구를 희망하는 타인에 대한 일정 수준의 지원이 직무기술에 포함되어 있기 때문일 수 있다. 또는 연구자가 포기할 수 없는 기회에서 비롯될 수도 있다(내 동료 중 한 명은 특정 주제와 상관없이 연구팀과 함께 일하는 것이 흥분되어 가끔 연구 프로젝트에 참여하는 것을 묘사한다). 일부 핵심 연구 분야에 대한 그들의 깊은 헌신 때문에, 이러한 한 분야에 집중하는 연구자들은 [(그들이 적극적으로 추구하는) 프로그램적 연구]와 그들이 [기회주의적으로 참여하는 "기타" 연구] 활동을 구별할 수 있다. 따라서, 그들은 적극적으로 그들이 참여하는 기회주의적 연구의 양을 제한하고 그들의 연구 프로그램에 최대한 초점을 맞추려고 노력할 수 있습니다.

Yet even these highly focused individuals are likely to stray into other areas of research occasionally, for any number of reasons. Their side forays may be because their job description includes a certain amount of support for others who are hoping to conduct research, even if it is not directly in the researcher’s core topic area. Or it may result from chance opportunities a researcher feels cannot be passed up (one colleague of mine describes occasionally joining research projects because she is excited to work with members of the research team regardless of the particular topic). Because of their deep commitment to some core research area, these focused researchers may drawthe distinction between “their” programmatic research(which they actively pursue) and the “other” research activities they engage in opportunistically. Thus, they may try to actively limit the amount of opportunistic research they engage in and keep as much focus as possible on their own research program(an approach that your supervisor seems to be recommending). 

저 자신의 연구 접근법은 프로그램적 연구와 기회주의적 연구의 경계를 모호하게 만드는 경향이 있습니다. 내 여러 연구결과물에서 이어지는 주제도 있지만, 그 주제들은 각각 다른 사람들과의 작업 때문에 기회주의적으로 생겨났다. 그리고 각각은 새로운 개인이 그 분야에 대한 관심과 새로운 관점을 가지고 나에게 다가오기 때문에 앞으로 나아갑니다. 예를 들어, "나의" 자기 평가 관련 연구작업은 수년 전 정신과 레지던트와의 가벼운 산책에서 시작되었는데, 그는 어떤 학문적인 분야에 관심이 있느냐고 물었더니 학생들의 자기 평가를 개선하고 싶다고 말했다. 이어진 대화로 우리는 과연 자기 평가가 무엇이고, 무엇을 위한 것인지에 대해 궁금해지기 시작했다. 이것은 그가 새로운 자기 평가 모델(상대 순위 모델이라고 부르는 것)을 개발했기 때문에 그의 석사 논문의 주제가 되었습니다. 

My own approach to research has tended to blur the boundaries between programmatic and opportunistic research. There are certain themes that run through my work, but each of those themes arose opportunistically because of my work with others. And each moves forward because a new individual comes to me with an interest in the area and a new perspective on the issue. As an example, “my” self-assessment work began many years ago during a casual walk with a psychiatry resident who, when I asked him what scholarly area he was interested in, said that he wanted to improve students’ self-assessment. The ensuing conversation led us to start to wonder what self-assessment really was, and what it was for. This became the topic for his Master’s thesis, as he developed a new model of self-assessment (something he called the relative ranking model).

그 연구 프로그램을 뒷받침해준 몇 가지 연구 후에, 그는 다른 방향으로 나아갔다. 그래서 그 "내" 연구의 영역은 몇 년 동안 그 분야의 연구를 더 진행했고, 몇 년 후 그 분야를 연구하기 시작한 한 주니어 동료가 나에게 접근하였다. 이 새로운 공동작업자는 임상의가 실무에서 안전을 유지하는 방법에 대한 보다 합리적인 개념화로서 자가 모니터링 개념을 발전시킨 여러 연구를 주도했습니다. 그 기간 동안, 또 다른 어떤 외과 동료는 수술에서 안전한 실습에 대한 개념을 이해하는 데 관심을 보였고, 이로 인해 저는 일상적인 실습에서 자가 모니터링을 탐구하는 그녀의 박사 논문을 돕게 되었습니다. 

After a few studies supporting that research program, he moved in different directions. So that area of “my” research lay fallow for a few years until a junior colleague started working inthe area and approached me to collaborate with him. This new collaborator led several studies that developed the idea of self-monitoring as a more sensible conceptualization of how clinicians stay safe in practice. During that time, a surgeon colleague was showing interest in understanding the notion of safe practice in surgery, which led to my supporting her PhD thesis exploring self-monitoring in everyday practice (what she called “slowing down when you should”).

나에게 있어, 그 연구 분야는 다른 학생 및 동료연구자들의 관심 때문에, [피드백에서 "자기"의 역할에 대한 탐구]로 바뀌었습니다. OSCE 측정, 직장 기반 평가, 전문 정체성 구축 또는 임상 추론에 대한 전문 지식과 관련된 내 연구 주제에 대해 비슷한 이야기를 할 수 있습니다. 이 중 어느 분야도 '내 연구'로 적극적으로 추진하지는 않았지만 기회가 생기면 그 사람의 관심사와 내가 생각해 온 것을 함께 연구하게 되어 기뻤다. 그리고 저는 그 특정 분야에 대해 생각하기 시작했습니다. 왜냐하면 어떤 사람이 처음에 저에게 흥미로운 문제를 가지고 다가왔기 때문입니다. 그래서 아마도 나의 연구 스타일에 대한 가장 좋은 설명은 다른 사람들과의 상호작용을 통해 기회주의적으로 발생하는 교육의 실질적인 문제들을 해결하는 [프로그램적 접근방식]을 가지고 있다는 것입니다. 

For me, that area of research has now morphed into explorations of the role of the “self” in feedback because of the interests of other students and collaborators. I could tell similar stories about my research themes around OSCE measures, workplace-based assessment, professional identity construction, or expertise in clinical reasoning. I did not actively pursue any of these areas as “my research”, but when opportunities arose, I was happy to marry the person’s interests with something I had been thinking about. And I only started thinking about that particular area because someone had initially approached me with an interesting problem they wanted to explore. So perhaps the best description of my own research style is that I have a programmatic approach to addressing the practical problems of education that arise opportunistically through my interactions with others. 

그러나 내가 해온 모든 연구 연구활동의 보다 심층에는 "프로그램적" 일관성이 있습니다. 즉, 제가 작업 중인 모든 분야에 일관된 [개념 렌즈 세트]입니다. 저는 우리들(또는 적어도 우리들 대부분은)이 특정 학문분야의 훈련을 통해 자신만의 렌즈 세트를 개발한다고 생각합니다. 우리는 부분적으로는 멘토와 감독자로부터, 부분적으로는 우리가 선택하여 읽고 따르기로 한 문헌으로부터 '렌즈의 세트set of lenses'를 물려받습니다. 이 렌즈들은 우리가 세계를(그리고 그 세계의 문제를) 프레이밍하는 방법을 정의합니다. 그것은 상황을 해석하는 방법, 우리가 자연스럽게 던지는 질문의 종류, 그래서 우리가 찾을 수 있는 해답을 형성합니다.
However, there is also a deeper level of “programmatic” coherence across all my research enterprises: the consistent set of conceptual lenses that I bring to whatever I am working on. I think each of us (or at least most of us) develop our own set of lenses through our disciplinary training. We inherit them, in part, from our mentors and supervisors and, in part, from those we choose to read and follow in the literature. These lenses define the ways in which we tend to frame the world (and its problems). It shapes our ways of interpreting situations, the sorts of questions we naturally ask and, therefore, the sorts of answers we can find.

따라서, 우리의 개념적 렌즈는 해당 분야의 다른 사람들과의 관계 속에 우리를 위치시킵니다. 제 뿌리는 인지심리학에 있습니다. 그리고 제가 개발한 모든 연구 질문들은 인지주의 틀을 가지고 있습니다. 그래서 주제와 상관없이 저는 항상 [개인]에 초점을 두고 있습니다. 즉, 사람들이 주변의 세상에 대해 어떻게 이해하는지, 그리고 그러한 이해가 그들의 결정과 행동방식에 어떻게 영향을 미치는지 말입니다. 물론, 다른 사람들은 그들만의 렌즈를 가지고 옵니다: 사회학, 수사학, 정신분석학, 인구과학, 시행과학, 또는 비판 이론. 

 Thus, our conceptual lenses position us relative to others in the field. My own roots are in cognitive psychology, and all the research questions that I develop have this cognitivist framing. So regardless of topic, my focus is always on the individual—how people develop an understanding of the world around them and how that understanding affects their decisions and ways of acting in the world. Others, of course, bring their own lenses: sociology, rhetoric, psychometrics, population sciences, implementation sciences, or critical theory (to name just afew). 


위의 개념적 렌즈는 여러분의 "프로그램" 연구에 대한 또 다른 사고방식을 제공합니다. 여러분이 다루는 [특정한 문제]들은 상당히 정기적으로 바뀔 수 있지만, 여러분이 그 문제들에 [적용하는 렌즈]들은 더 일정할 것입니다. 비유하자면, 저는 저의 연구 접근법과 그 결과로 생긴 공동 출판 기록을 [바다의 섬]에 비유합니다. 저와 함께 일하는 각 공동작업자는 우리가 건설하고 있는 섬의 소유권을 합법적으로 주장할 수 있습니다(특정 주제 또는 질문). 하지만 1만 미터 상공에서 이 모든 섬들을 보면, 하나의 군도를 이루고 있다는 것이 명백해집니다. 내가 이 일에 기여한 것은 [단순히 섬의 구축하는 것]이 아니라 [각각의 섬이 구축된 수면아래에 자리잡고 있는 개념적이고 방법론적인 땅덩어리]이다. 한 사람의 작업이 군도에서 너무 멀리 떨어져 있다면, 섬 자체(연구)가 형성되기 전에 훨씬 더 많은 기초 작업(대양 바닥에 재료를 붓는 일)이 필요하다. 하지만 만약 내가 내 땅 가까이에 있는 사람을 협상할 수 있다면, 그것은 그 사람의 섬의 발전을 더 쉽게 지지해주고 내 군도를 확장시켜준다. 

These conceptual lenses offer another way of thinking about your “program” of research. The specific problems you address may change fairly regularly (because of the various opportunities that arise) but the lenses you apply to them (the way you frame them and explore them), will be more constant (although these too might evolve with time). By way of analogy, I liken my research approach and my resulting collaborative publication record to islands in an ocean. Each collaborator I work with can legitimately claim ownership of the island we are co-constructing (the particular topic or question). But if one looks at all these islands from10,000 metres up, it becomes clear that they forman archipelago. My contribution to the work is not just the building of the island, but the conceptual and methodological landmass that sits under the water on which each of the islands are built. If a person’s work is too far away from the archipelago, then it takes a much greater amount of foundational work (pouring material onto the ocean floor) before the island itself (the study) can take shape. But if I can negotiate the person close to my landmass, then it more easily supports the development of the person’s island and it extends my archipelago. 

특정 학문을 기반으로 한 박사과정 프로그램을 통해 보건 직업 교육 분야에 진입한 많은 사람들에게, 우리는 그 땅덩어리의 모양을 명시적으로 정의할 필요도 없었고, 따라서 어떻게 그것이 HPE 유형의 섬들을 효과적으로 지지할 수 있을지에 대해 생각해볼 필요도 없었습니다. 이러한 이유로 나는 종종 [이 분야에 입문하는 사람들]에게 그들만의 선언문manifesto을 쓰는 데 시간을 할애할 것을 추천한다. 그렇게 한다면, 자기자신과 다른사람 모두가 [자신이 어떤 관점을 이 분야로 가지고 왔고, 그 관점이 어떤 독특한 시각을 제공하며, 그리고 그 새로운 통찰이 어떻게 다루고있는 문제를 해결하는 데 도움을 줄 수 있는지]를 알게 될 것이다.

For many of us who come to the field of health professions education from a discipline-based PhD training program, we have never had to explicitly define the shape of that landmass, nor think about how it might effectively support HPE types of islands. It is for this reason that I often recommend to those entering the field that they spend some time writing their own manifesto in order to help them develop a clear understanding for themselves and others

  • what perspective they bring to the field,
  • what their perspective allows them to uniquely see, and
  • how that new insight might help others in the field address the problems they are grappling with. 

 

이것은 다른 사람들이 당신의 군도의 10,000미터 경치를 이해하고 감상할 수 있도록 도와줍니다. (현장에서 무작위로 주제를 수집한 것처럼 보일지라도 CV의 일관성을 유지합니다.) 또한 협업 대상을 합리적으로 선택할 수 있도록 지원합니다(만약 대상을 선택할 수 있는 상황이 아니라면 협업을 의미 있게 만들게끔 도와준다). 이 선언서는 일반적으로 쓰기가 쉽지 않고 때로는 1-2년 정도 걸릴 수 있다. 왜냐하면 그것은 단지 여러분이 누구인지 말하는 것이 아니라, 자기 자신의 배경, 목표, 그리고 렌즈를 가진 다양한 분야의 전문가들과 관련 있는 청중들에게 이치에 맞는 방식으로 shaping하는 것이기 때문입니다. 

This helps others understand and appreciate the 10,000 metre view of your archipelago (the coherence of your CV, even if it might look like a random collection of topics on the ground). And it helps you make rational choices about what to collaborate on (or how to make a collaboration meaningful if choice is not an option). This manifesto is generally not easy to write and can sometimes take up to a year or two, because it is not just a matter of stating who you are but shaping it in a way that makes sense (and sounds relevant) to an eclectic audience of disciplinarians and practitioners with differing backgrounds, goals and lenses of their own. 

중요한 것은 [다른 사람들에게 당신의 관점을 가르치는 것]이 아니라, [그 관점이 드러낼 수 있는 것의 힘을 보여주는 것]입니다. 하지만 잘만 한다면, 그러한 문서는 당신의 땅덩어리의 쓰여진 표현과 당신이 프로그램적으로 일련의 섬을 공동 건설할 수 있는 토대가 될 수 있습니다.

The point is not to teach others your perspective, but to show them the power of what that perspective can reveal. But if done well, such a document can become the written manifestation of your landmass, and the foundation on which you can co-construct a set of islands programmatically. 



Perspect Med Educ. 2020 Dec;9(6):367-369.

 doi: 10.1007/s40037-020-00628-7. Epub 2020 Nov 19.

Islands and archipelagos: Reconciling programmatic vs. opportunistic research in health professions education

Glenn Regehr 1

Affiliations expand

Free PMC article

No abstract available

Likert 스케일, 측정의 수준과 통계의 '법칙' (Adv in Health Sci Educ, 2010)

Likert scales, levels of measurement and the ‘‘laws’’ of statistics

Geoff Norman






종종 통계기법을 걸고 넘어지는 리뷰어로부터 좌절을 겪는다.

One recurrent frustration in conducting research in health sciences is dealing with the reviewer who decides to take issue with the statistical methods employed.


그러나 일부 코멘트는 그저 틀린 말일 뿐이며, 연구설계의 문제보다는 리뷰어의 역량의 문제를 보여주곤 한다.

Some of these comments, like the proscription on the use of ANOVA with small samples, the suggestion to use power analysis to determine if sample size was large enough to do a parametric test, or the concern that a significant result still might be a Type II error, are simply wrong and reveal more about the reviewer’s competence than the study design.


여러가지가 지적되곤 하지만, 여전히 남는 문제는 '틀린 결론을 내릴 확률이 정말 높아지는가'에 대한 문제이다. 통계학자들은 이를 robustness라 부른다. 그 확률이 그다지 높아지지 않는다면, 진행해도 되는 것이다.

But what is left unsaid is how much it increases the chance of an erroneous conclusion. This is what statisticians call ‘‘robustness’’, the extent to which the test will give the right answer even when assumptions are violated. And if it doesn’t increase the chance very much (or not at all), then we can press on.


모수적 방법은 매우 다재다능하고 강력하다. 현대의 모수적 통계법은 정규분포의 간격척도 자료 사용을 가정하고 있다. 유사하게 일반화가능도이론도 ANOVA를 기반으로 한 것으로서 모수적 방법이다.

It is critically important to take this next step, not simply because we want to avoid ‘‘coming to the wrong conclusion’’. As it turns out, parametric methods are incredibly versatile, powerful and comprehensive. Modern parametric statistical methods like factor analysis, hierarchical linear models, structural equation models are all based on an assumption of normally distributed, interval-level data. Similarly generalizability theory, is based on ANOVA that again is a parametric procedure.


하나씩 알아보겠다.

I will explore the impact of three characteristics-sample size, non-normality, and ordinal-level measurement, on the use of parametric methods. The arguments and responses:



1) 샘플크기가 너무 작아서 모수적 방법을 사용할 수 없습니다.

1) You can’t use parametric tests in this study because the sample size is too small


어디에도 모수적 방법을 사용하는 가정으로 샘플사이즈에 대한 제한을 두고 있지는 않다. ANOVA와 t-test 는 동일한 가정을 기반으로 한다. 두 그룹에 대한 ANOVA의 F test는 t-test의 제곱과 같다. 어디에도 샘플사이즈가 작으면 비모수적방법이 모수적방법이 더 적절하다는 근거는 없다.

This is the easiest argument to counter. The issue is not discussed in the statistics literature, and does not appear in statistics books, for one simple reason. Nowhere in the assumptions of parametric statistics is there any restriction on sample size. It is simply not true, for example, that ANOVA can only be used for large samples, and one should use a t test for smaller samples. ANOVA and t tests are based on the same assumptions; for two groups the F test from the ANOVA is the square of the t test. Nor is it the case that below some magical sample size, one should use non-parametric statistics. Nowhere is there any evidence that non-parametric tests are more appropriate than parametric tests when sample sizes get smaller.


비모수적 방법이 극도록 보수적인(즉 틀린) 답을 내놓을 한 가지 상황이 있는데, 바로 자료를 이분화하는 것이다. 자료를 이분화하면 통계적 power를 크게 떨어뜨릴 수 있다.

In fact, there is one circumstance where non-parametric tests will give an answer that can be extremely conservative (i.e. wrong). The act of dichotomizing data (for example, using final exam scores to create Pass and Fail groups and analyzing failure rates, instead of simply analyzing the actual scores), can reduce statistical power enormously.



샘플사이즈가 안 중요한 것은 아니다. 몇 가지 이유로 인해서 문제가 될 수 있다.

Sample size is not unimportant. It may be an issue in the use of statistics for a number of reasons unrelated to the choice of test:

(a) 너무 샘플 수가 작으면 외적타당도가 문제가 될 수 있다.

(a) With too small a sample, external validity is a concern. It is difficult to argue that 2 physicians or 3 nursing students are representative of anything (qualitative research notwithstanding). But this is an issue of judgment, not statistics.

(b) 샘플 수가 작으면 분포에 대한 우려가 있다. 하지만 5명 이상이면 족하다. 걱정해야 할 것은 검사를 수행할 수 있느냐가 아니라 검사의 robustness이다.

(b) As we will see in the next section, when the sample size is small, there may be concern about the distributions (see next section). However, it turns out that the demarcation is about 5 per group. And the issue is not that one cannot do the test, but rather that one might begin to worry about the robustness of the test.

(c) 샘플 수가 작으면 더 큰 효과가 있어야만 통계적 유의성이 나타난다. 그러나 '통계적으로 유의한 것은 통계적으로 유의한 것이다'

(c) Of course, small samples require larger effects to achieve statistical significance. But to say, as one reviewer said above, ‘‘Given the small number of participants in each group, can the authors claim statistical significance?’’, simply reveals a lack of understanding. If it’s significant, it’s significant. A small sample size makes the hurdle higher, but if you’ve cleared it, you’re there.



2) 데이터가 정규분포를 따르지 않기 때문에 t test나 ANOVA를 사용할 수 없다.

2) You can’t use t tests and ANOVA because the data are not normally distributed

This is likely one of the most prevalent myths. We all see the pretty bell curves used to illustrate z tests, t tests and the like in statistics books, and we learn that ‘‘parametric tests are based on the assumption of normality’’. Regrettably, we forget the last part of the sentence. For the standard t tests ANOVAs, and so on, it is the assumption of normality of

the distribution of means, not of the data. The Central Limit Theorem shows that, for sample sizes greater than 5 or 10 per group, the means are approximately normally distributed regardless of the original distribution. Empirical studies of robustness of ANOVA date all the way back to Pearson (1931) who found ANOVA was robust for highly skewed non-normal distributions and sample sizes of 4, 5 and 10. Boneau (1960) looked at normal, rectangular and exponential distributions and sample sizes of 5 and 15, and showed that 17 of the 20 calculated P-values were between .04 and .07 for a nominal 0.05. Thus both theory and data converge on the conclusion that parametric methods examining differences between means, for sample sizes greater than 5, do not require the assumption of normality, and will yield nearly correct answers even for manifestly nonnormal and asymmetric distributions like exponentials.



3) ANOVA나 Pearson correlation (혹은 회귀분석)과 같은 모수적 방법은 자료가 서열척도고 그래서 정규성을 가정할 수 없다면 사용해서는 안된다.

3) You can’t use parametric tests like ANOVA and Pearson correlations (or regression, which amounts to the same thing) because the data are ordinal and you can’t assume normality.


개별 Likert 척도가 서열척도라도, 여러 Likert 척도의 합은 등간척도이다.

The question, then, is how robust are Likert scales to departures from linear, normal distributions. There are actually three answers. The first, perhaps the least radical, is that (...) But their strongest argument appears to be that while Likert questions or items may well be ordinal, Likert scales, consisting of sums across many items, will be interval.



숫자는 숫자일 뿐이다.

The second approach, as elaborated by Gaito (1980), is that this is not a statistics question at all. The numbers ‘‘don’t know where they came from’’.


컴퓨터는 주어진 숫자에 대한 결론을 주는 것일 뿐이다. 그 숫자에 대한 결론이 틀렸다고 할 수는 없드며, 연구자가 결정해야 할 것은 그 숫자에 대해서 이뤄진 분석이 그 아래 깔려있는 구인(construct)를 잘 반영하는가에 대한 판단이다.

And all the computer can do is draw conclusions about the numbers themselves. So if the numbers are reasonably distributed, we can make inferences about their means, differences or whatever. We cannot, strictly speaking, make further inferences about differences in the underlying, latent, characteristic reflected in the Likert numbers, but this does not invalidate conclusions about the numbers. This is almost a ‘‘reductio ad absurbum’’ argument, and appears to solve the problem by making it someone else’s, but not the statistician’s problem. After all, someone has to decide whether the analysis done on the numbers reflects the underlying constructs, and Gaito provides no support for this inference.


ANOVA나 다른 비슷한 검사에 대해서는 비정규성으로 인해서 생길 수 있는 문제는 앞에서 다뤘다.

So let us return to the more empirical approach that has been used to investigate robustness. As we showed earlier, ANOVA and other tests of central tendency are highly robust to things like skewness and non-normality. Since an ordinal distribution amounts to some kind of nonlinear relation between the number and the latent variable, then in my view the answer to the question of robustness with respect to ordinality is essentially answered by the studies cited above showing robustness with respect to non-normality. 


그러나 상관관계나 회귀분석은 어떨까? 여기서는 더 이상 평균의 분포에 대해서 이야기하지 않는다. 여기서는 분포의 양 극단이 어딘가 - 궁극적으로 회귀선을 고정(anchor)하게 되므로 - 가 중요하다. 따라서 skewness나 비정규성이 틀린 답을 줄 수도 있다.

However, when it comes to correlation and regression, this proscription cannot be dealt with quite so easily. The nature of regression and correlation methods is that they inherently deal with variation, not central tendency (Cronbach 1957). We are no longer talking about a distribution of means. Rather, the magnitude of the correlation is sensitive to individual data at the extremes of the distribution, as these ‘‘anchor’’ the regression line. So, conceivably, distortions in the distribution—skewness or non-linearity—could well ‘‘give the wrong answer’’.


만약 Likert 분포가 왜곡되어있거나 다른 바람직하지 못한 특성을 가진다면 상관관계나 회귀계수를 산출할지 말지가 통계적 문제가 되고, 이는 다시 'robustness'의 문제라고 할 수 잇다. 여기서는 중심극한정리가 도움이 되지는 않지만, 우리에게 도움이 될 만한 연구들이 있다. Pearson correlation은 왜도나 비정규성에 대해서 robust하다.

If the Likert ratings are ordinal which in turn means that the distributions are highly skewed or have some other undesirable property, then it is a statistical issue about whether or not we can go ahead and calculate correlations or regression coefficients. It again becomes an issue of robustness. If the distributions are not normal and linear. what happens to the correlations? This time, there is no ‘‘Central Limit Theorem’’ to provide theoretical confidence. However, there have been a number of studies that are reassuring. Pearson (1931, 1932a, b), Dunlap (1931) and Havlicek and Peterson (1976) have all shown, using theoretical distributions, that the Pearson correlation is robust with respect to skewness and nonnormality. (...)They concluded that ‘‘The Pearson r is rather insensitive to extreme violations of the basic assumptions of normality and the type of scale’’.


Spearman과 Pearson 계수의 상관관계는 0.99이고 기울기는 1.001이었다. 심각하게 왜곡된 자료에서도 비슷했다. 둘은 거의 동일한 결과를 주는 것이다. 동순위자가 많은 경우에 Spearman이 조금 다른 답을 주긴 하지만, 이는 Spearman이 동점자를 처리하는 방식의 문제이지 Pearson 상관의 문제는 아니다. Pearson correlation은 이들 가정에 위배되더라도 매우 robust하다.

For the original data, the correlation between Spearman and Pearson coefficients was 0.99, the slope was 1.001, and the intercept was -.007. Even with the severely skewed data, the correlation was still 0.987, the slope was 0.995, and the intercept was -.0003. The means of the Pearson and Spearman correlations were within 0.004 for all conditions. For this set of observations, the Pearson correlation and the Spearman correlation based on ranks yielded virtually identical values, even in conditions of manifestly non-normal, skewed data. Now it turns out that, when you have many tied ranks, the Spearman gives slightly different answers than the Pearson, but this reflects error in the Spearman way of dealing with ties, not a problem with the Pearson correlation. The Pearson correlation like all parametric tests we have examined, is extremely robust with respect to violations of assumptions.



4) 명목, 순위 척도에서는 ICC(혹은 일반화가능도 이론)을 사용할 수 없으며 Kappa나 Weighted Kappa를 사용해야 한다.

4) You cannot use an intraclass correlation (or Generalizability Theory) to compute the reliability because the data are nominal/ordinal and you have to use Kappa (or Weighted Kappa)


Kappa was originally developed as a ‘‘Coefficient of agreement for nominal scales’’ (Cohen 1960), and in its original form was based on agreement expressed in a 2 9 2 frequency table. Cohen (1968) later generalized the formulation to ‘‘weighted kappa’’, to be used with ordinal data such as Likert scales, where the data would be displayed as agreement in a 7 9 7 matrix. Weighting accounted for partial agreement (Observer 1 rates it 6; Observer 2 rates it 5). Although any weighting scheme is possible, the most common is ‘‘quadratic’’ weights, where disagreement of 1 unit is weighted 1, of 2 is weighted 4, of 3, 9, and so forth.


Surprisingly, if one proceeds to calculate an intraclass correlation with the same 7-point scale data, the results are mathematically identical, as proven by Fleiss and Cohen (1973). And if one computes an intraclass correlation from a 2 9 2 table, using ‘‘1’’ when there is agreement and ‘‘0’’ when there is not, the unweighted kappa is identical to an ICC. Since ICCs and G theory are much more versatile (Berk 1979), handling multiple observers and multiple factors with ease this equivalence is very useful.



Summary

Parametric statistics can be used with Likert data, with small sample sizes, with unequal variances, and with non-normal distributions, with no fear of ‘‘coming to the wrong conclusion’’. These findings are consistent with empirical literature dating back nearly 80 years. The controversy can cease (but likely won’t).





 2010 Dec;15(5):625-32. doi: 10.1007/s10459-010-9222-y. Epub 2010 Feb 10.

Likert scales, levels of measurement and the "laws" of statistics.

Author information

  • 1McMaster University, 1200 Main St. W., Hamilton, ON, L8N3Z5, Canada. norman@mcmaster.ca

Abstract

Reviewers of research reports frequently criticize the choice of statistical methods. While some of these criticisms are well-founded, frequently the use of various parametric methods such as analysis of variance, regression, correlation are faulted because: (a) the sample size is too small, (b) the data may not be normally distributed, or (c) The data are from Likert scales, which are ordinal, so parametric statistics cannot be used. In this paper, I dissect these arguments, and show that many studies, dating back to the 1930s consistently show that parametric statistics are robust with respect to violations of these assumptions. Hence, challenges like those above are unfounded, and parametric methods can be utilized without concern for "getting the wrong answer".

PMID:
 
20146096
 
[PubMed - indexed for MEDLINE]



의학교육연구에서 포커스그룹의 활용: AMEE Guide No. 91

Using focus groups in medical education research: AMEE Guide No. 91

RENE´ E E. STALMEIJER1, NANCY MCNAUGHTON2 & WALTHER N. K. A. VAN MOOK1,3 1Maastricht University, the Netherlands, 2University of Toronto, Canada, 3Maastricht University Medical Centre, the Netherlands



Focus groups in this Guide are defined as ‘‘. . . group discussions organized to explore a specific set of issues . . . The group is focused in the sense that it involves some kind of collective activity . . . crucially, focus groups are distinguished from the broader category of group interview by the explicit use of the group interaction as research data’’ (Kitzinger 1994, p. 103).





포커스그룹의 정의

A popular data-collection technique used in qualitative research is the ‘‘focus group’’, originally called ‘‘focused group interview’’ which was initially described by Merton & Kendall (1946). Focus groups in this Guide are defined as:


. . . group discussions organized to explore a specific set of issues . . . The group is focused in the sense that it involves some kind of collective activity . . . crucially, focus groups are distinguished from the broader category of group interview by the explicit use of the group interaction as research data (Kitzinger 1994, p. 103).



의학교육에서의 포커스그룹Focus groups in medical education


For example, focus groups have been a method of choice for performing 

    • needs assessments (e.g. MacDonald et al. 2007; Telner et al. 2008), 
    • program evaluation (e.g. McIntosh et al. 2008; Stergiopoulos et al. 2010), 
    • exploratory data collection (e.g. Bombeke et al. 2012; Cleland et al. 2012), 
    • explanatory data collection (e.g. Smithson et al. 2010; Duvivier et al. 2012), and 
    • design and validation of questionnaires (e.g. Wade et al. 2012; Riquelme et al. 2013; Strand et al. 2013). 


Where historically, focus groups were used as part of a mixed methods approach in which both quantitative and qualitative data was being collected, the use of focus groups as the principal method of investigation has increased in the last decade (e.g. Stalmeijer et al. 2009; Mann et al. 2011; Slootweg et al. 2013) (see Box 1).



포커스그룹 정의하기 Defining focus groups



포커스그룹의 역사 

The history of focus groups


Focus groups are generally seen to have emerged in the 1940s when they were first used by Paul Lazarsfeld. The technique was further developed within sociology by Merton & Kendall (1946) during the Second World War to test the reactions of people to propaganda and radio broadcasts. They later grew to be an established research method in the field of marketing and organizational development (Barbour 2007).



Focus groups came into the education realm in the 1970s during a time of growing interest in participatory approaches to carrying out research (Freire 1970).



However, focus groups as a research method of choice did not become prevalent until the mid-1980s (Coˆte´-Arsenault & Morrison-Beedy 2005).



패러다임

Paradigmatic fit


의학교육이 다루는 분야

Medical education as a field of inquiry is committed to pursuing scientific, social, and cultural questions related to medical training and practice as well as issues relevant to the health professions more broadly.


구성주의적 패러다임에 가장 잘 맞음. 포커스그룹연구에서 도출된 지식은 실증주의적 용어인 타당도, 신뢰도, 일반화가능도 등의 개념과 맞지 않음.

Focus groups as a method fit most commonly within a constructivist paradigm which views reality (ontology) as socially negotiated or constructed and knowledge (epistemology) as a product of the social and co-constructed interaction between individuals and society. More importantly, focus groups, as a method of data gathering, fit under a methodological umbrella concerned with how people make meaning from their experiences in the world (phenomenology, see Box 2 and Glossary). The researcher engaging in focus groups is interested in participants’ ideas, interpretations, feelings, actions and circumstances. The knowledge that focus group research produces is therefore not measurable according to such precepts as validity, reliability or generalizability which all belong to ideas and values posited within a positivist paradigm.





포커스그룹 정의내리기 Defining focus groups


포커스그룹은 다음과 같은 특성을 갖는다.

Focus groups involve:

  • – a discussion within a (small) group of people is the focus of the research,
  • – a discussion within the group is focused on a certain topic,
  • – a group led by a researcher/moderator/guide who stimulates active engagement of participants in a discussion,
  • – an interaction between group members which is used to gain depth in the exploration of the topic of discussion,
  • – an understanding that this interaction is also a focus of the analysis



포커스그룹과 집단면담의 차이

Focus group versus group interview


There is a fundamental difference between the two research techniques with the critical point of distinction being the role of the researcher and his/her relationship to the researched (Smithson et al. 2000 cited in Parker & Tritter 2006, p. 25). 


  • ‘‘In group interviews the researcher adopts an ‘investigative’ role: asking questions, controlling the dynamics of group discussion, engaging dialogue with specific participants. This is premised on the mechanics of a one-to-one, qualitative, in-depth interview being replicated in a broader (collective) scale’’ (p. 26). 
  • In a focus group, the researcher takes on a peripheral role acting as a moderator or facilitator; that is, facilitating the group discussion between participants not between her/himself and the participants. ‘‘It is the inter-relational dynamics of the participants that are important, not the relationship between the researcher and the researched (Parker & Tritter 2006, p. 26).




Why and when to use focus groups?

왜 사용하는가 Why use focus groups


As mentioned earlier the main reason for using focus groups is to gather information from different participants’ points of view.


잘 밝혀지지 않은 분야의 연구에 적합(Exploratory)

So, one aim of focus groups is to record, understand and explain the meanings, beliefs and cultures that influence the participants’ feelings, attitudes and behaviors (Rabiee 2004). Focus groups are thus particularly appropriate for exploratory research, i.e. research in poorly understood or ill-defined topics (Kitzinger 1995).


예비 데이터를 확신, 강화하는 용도로 사용가능함 (Explanatory)

A second aim of focus groups is to further strengthen and confirm preliminary data from studies that possibly used other research tools, i.e. an explanatory design study. Although focus groups are more often used for exploratory and explanatory purposes, they can also be used as confirmatory tools (Stewart et al. 2007).




언제 사용하는가 When to use focus groups

연구 시작 전, 연구 중간, 연구 이후에 사용할 수 있음.

Focus groups can be used prior to, during and after other investigations or research. However, since focus groups are particularly appropriate for research in poorly understood or ill-defined topics (Kitzinger 1995), they are frequently used early in a research project, and are often even employed as a starting point, to lay the foundation for subsequent research using other research techniques such as surveys. Focus groups can also be used after other research methods in order to help further explore the data collected, to gather in-depth information or to refine or interpret previously gathered data; in other words to study associations that need clarifications, elaboration or ‘‘salvaging’’ (Powell & Single 1996).



언제 사용하지 않아야 하는가 When not to use focus groups

연구문제가 민감한 문제나 개인적 정보에 대한 것이어서 여러 사람 앞에서 말하기를 꺼려하는 주제일 경우. 예상되는 참가자들이 권력상의 차이로 인해서 포커스그룹동안 거의 말을 하지 않을 것이 예상되는 경우. 이 두 가지 모두 일대일 면담이 낫다.

Cases in which focus groups might not be the best method of data collection are studies in which research questions are directed at gathering potentially sensitive or personal information that people might not want to share within a larger group. Also, studies situated in research settings which are characterized by large power differentials between potential participants are advised not to use focus groups since the power differential might cause participants to stay silent within a focus group setting in fear of repercussions for sharing their opinion. In both cases, one-on-one interviews are preferred over focus groups (Barbour 2007).




Challenges to the focus group method

'견고한 질적 자료'가 부족하다는 우려, 그리고 전체 집단을 대표하지 못한다는 우려

The first concern cited is the lack of ‘‘hard quantitative data’’ produced, and the second relates to the composition of groups that may not necessarily be representative of a larger or the whole population (Stewart et al. 2007).


"다른 방법으로는 도달하지 못하는 곳에 갈 수 있음"

With respect to the first concern, unlike constructivist research approaches, a positivist research perspective seeks quantitative data that can be proven to be ‘‘true’’ and therefore can be reliably applied universally across multiple sites (generalizable). In fact, when properly employed focus groups can ‘‘reach the parts that other methods cannot reach’’ (Kitzinger 1995).


연구자는 수합된 정보의 깊이와 풍부함에 관심을 두게 되며, 이것이 곧 다른 맥락에서도 "진실"임을 의미하진 않음

The researcher is interested in the depth and richness of the information collected and is not suggesting the findings are ‘‘true’’ in other contexts.


질적 연구에서 '대표성'이란 구체적인 맥락과 주제 영역에 대한 것이지 인구집단에 대한 것이 아님.

The second concern about group composition also reflects a misunderstanding about the objectives of qualitative methods in which ‘‘representativeness’’ is tied to the specific contexts and topic areas and not to the representation of a population. These differences will become clearer in the following sections on sampling strategies and decisions about focus group formats. Also raised as a concern is the notion that qualitative research is ‘‘vague’’, or lacks rigor.


포커스그룹을 연구방법으로 선택하는 것을 방법론적, 패러다임적 이해에 맞게 정당화할 수 있어야 한다. 의학교육연구는 더 이상 '무엇을 했는가'만을 기술하는 것으로 충분하지 않다.

Therefore, it is important to be able to rationalize your choice of focus groups as a method according to methodological and paradigmatic understanding. Medical education research has matured and we are no longer in an age when stating what you did is enough to satisfy research standards




준비 Preparing for focus groups


(1) Who are my potential participants and how many should I include?

(2) How should I compose the groups; who should be in them?

(3) How big should the groups be?

(4) How will I compose my questions to explore and answer the key research question



샘플링 Sampling

'질문'과 '현상'에 부합하는 표본을 구성해야 한다. 'what'과 더불어 'how'를 고민해야 한다.

As with all qualitative methods, a sample must ‘‘fit with the question’’ and ‘‘fit with the phenomenon’’ being investigated (Crabtree & Miller 1999). However, as well as considering ‘‘what’’ is sampled the researcher must consider ‘‘how’’ to go about assembling meaningful groups.


질적연구의 표본수집은 집단을 대표하기보다는 집단의 다양성을 대표해야 한다.

‘‘The purpose of qualitative sampling is to reflect the diversity within the group or population under study rather than aspiring to recruit a representative sample’’ (Barbour 2007). The ‘‘focus’’ of focus groups is the emergence of opinions, meanings, feelings, attitudes and beliefs about a topic area and so it is the dynamics within any group as much as the answers provided to questions that will provide the researcher with essential data.


두 가지 방법이 있다.

In this respect, sampling is considered by some qualitative researchers to always be ‘‘purposeful’’. Patton identifies sixteen kinds of purposeful sampling strategies (Crabtree & Miller 1999), however for the purposes of focus groups these can be narrowed down. The two most common approaches are referred to as ‘‘theoretical’’ (Glaser & Strauss 1967; Mays & Pope 1995) sampling and ‘‘purposive’’ (Kuzel 1992) sampling.



이론기반 표본수집 Theoretical sampling


Theoretical sampling is described by Glaser & Strauss (1967) as the ‘‘process of data collection for generating theory whereby the analyst jointly collects, codes and analyses the data making decisions about what data to collect next and where in order to develop theory as it emerges’’.


포커스그룹을 어떻게 구성할것인가에 대한 결정은 포커스그룹을 진행하는 동안 드러나는 개념에 의해서 명확해진다. 귀납적이고 반복적인 전략을 통해서 연구가 진행됨에 따라서 포커스그룹의 구성과 멤버쉽이 바뀔 수 있다.

In other words, decisions about focus group composition serve to further elucidate concepts that emerge during the focus groups themselves. This is an inductive and iterative strategy in which composition and membership in a focus group may change as the research progresses.



목적기반 표본수집 Purposive sampling

목적기반 표본수집에서는 자료가 수집된 이후 비교를 위한 선택 기준을 활용한다. 목적이 무엇인가를 염두에 두고, 샘플은 이 목적에 맞는 집단을 선택하고 그렇지 않은 사람들은 배제한다.

Purposive sampling anticipates the use of selected criteria in making comparisons once the data have been generated (Barbour 2007). It starts with a purpose in mind and the sample is thus selected to include people of interest and exclude those who do not suit the purpose.


목적기반 표본수집을 하면 참가자 수가 늘어나야 한다는 오해를 흔히 하지만, 한 명의 참가자가 여러 기준을 만족시킴으로써 다양성을 확보하면 예상보다 적은 수의 참가자로도 가능하다.

There is a common misunderstanding that purposive sampling necessarily inflates the number of participants involved. However, as Barbour (2005) suggests, each participant may potentially meet several of the desired criteria in terms of diversity making multiple comparisons possible with fewer participants than at first might be apparent (Barbour 2005).


포화 Saturation


It is considered good practice in qualitative research to sample until saturation is achieved. This refers to a time when no new ideas about your topic or problem emerge from the various focus groups. Strauss & Corbin (1998) suggest that ‘‘saturation should be concerned with reaching the point where it becomes ‘‘counter-productive’’ and that ‘‘the new’’ which is discovered does not necessarily add anything to the overall story, model, theory or framework (p. 136).



그룹 구성: 같지만 다르게? Group composition: same but different?


Decisions about heterogeneous versus homogeneous groups as well as issues of power relations within groups all factor into the possibility of gathering rich focus group data. Other considerations include the degree of familiarity among the participants – strangers versus friends, colleagues versus professional peers and the level of compatibility among the participants (Crabtree & Miller 1999). Focus groups are essentially social gatherings in which one’s comfort with sharing is an important consideration. So, as suggested by Crabtree & Miller (1999, p. 115), the best focus group participants ‘‘will have some degree of personal or professional investment in the topic under examination either as a consumer, provider or policy maker’’ ensuring that they will have something to say on the topic under examination.



균질 구성 Homogeneous group composition

참가자들의 '배경'이 유사해야지 그들의 '태도'가 유사해서는 안된다.

‘‘Focus groups should be homogeneous in terms of background and not attitudes’’ (Morgan 1988, cited in Barbour, p. 59).


예상되는 장, 단점

    • Similar contexts may also promote a sense of safety in expressing conflicts or concerns (Crabtree & Miller 1999). 
    • Disadvantages include the possibility of ‘‘group think’’ or the lack of diversity in ideas as well as hidden agendas or power struggles within a group.



비균질 구성 Heterogeneous group composition


장점

As the name implies a heterogeneous sample brings together participants from diverse backgrounds and experience in order to stimulate discussion and provide new insights into the topic area. Introducing a range of differences in a group may facilitate ideas and potentially conflicting perspectives into conversation may inspire group members to consider the topic under discussion in a different light (Crabtree & Miller 1999, p. 115).


장점: 사전에 설정된 가정이 없다, 솔직할 수 있다, 동일한 의견을 따라 움직일 가능성이 낮다, 비밀이 지켜진다.

One of the advantages of heterogeneous group compositions in cases where the participants do not know each other is that everyone comes to the meeting without pre-set assumptions about the other people in the group. Another advantage is that with this anonymity comes the possibility of more candid input on emotional or highly charged topics. A heterogeneous group is also less likely to be swayed toward consensus agreement by a dominant member who they may never see again. Finally, the preservation of confidentiality is more likely in a disparate group of individuals who are unlikely to cross paths.


단점

Furthermore, a clear disadvantage of a diverse group composition is the possibility of power imbalances and lack of respect for differing opinions (Crabtree & Miller 1999, p. 115).


단점

Apart from issues of expertise, one dominant person can effectively destroy a productive and open group dynamic.


익명성이 오히려 단점으로 작용할 수도 있음. 의견을 표현할 때 과격해지거나 다른 사람의 발언을 저해할 수 있다. 그러나 약간의 의견불일치나 긴장은 꼭 나쁜 것만은 아니다.

The very anonymity that allows for the freedom of expressing ones thoughts can also become a destructive and silencing force for the rest of the group requiring sophisticated moderation. However, a little bit of disagreement and tension is not necessarily a bad thing in a focus group and can be used to help clarify what lies beneath opinions and perspectives.




그룹의 수 Number of groups


Most researchers agree that there is no magic number of focus groups for the successful completion of your data collection.


Crabtree & Miller (1999, p. 118) suggest that when focus groups are to be the sole source of data collection a minimum of four to five focus groups is recommended. Barbour suggests that nominal three or four focus groups are advisable if you want to conduct across group analysis looking for patterns and themes.


Focus groups are often singular events with a particular configuration of participants unlikely to be called to meet a second time. However, there are exceptions to this depending on the topic and the overall intent of the study.





그룹의 크기 Size of groups


The optimal size of a focus group is agreed to be between six to ten participants (Morgan 1996; Crabtree & Miller 1999; Barbour 2005; Krueger & Casey 2000) although as with other elements of qualitative research methods this varies depending on the research context and topic area.



그룹의 크기는 다양성이 드러날 만큼 크면서, 개개인의 의견이 충분이 드러날 만큼 작아야 한다. 말하고 싶어하는 사람이 말할 기회를 가지지 못하고 옆사람과 작게 이야기한다는 것은 그룹이 너무 크다는 하나의 신호이다.

Coˆte´-Arsenault & Morrison-Beedy (2005) suggest that group size depends not only on the topic but also on other factors such as gender, and developmental levels of the participants (p. 175). The groups should be large enough to allow for varying opinions and perspectives and small enough to allow each individual to participate fully and be heard (Coˆte´-Arsenault & Morrison- Beedy 2005; Krueger & Casey 2009). When a group exceeds a dozen people there may be a tendency for the group to fragment. Participants who want to speak may not have the opportunity to and so begin sharing their views by whispering with their neighbors. This is always a signal that the group is too large.


그룹이 너무 크면 연구자도 힘들다. 그러나 너무 작으면 참가자가 말을 해야한다는 압박을 느끼고 포커스그룹보다는 집단면담식으로 될 가능성도 크다.

For social science (and health sciences) research Barbour (2007) advocates for a maximum of eight participants per group for a number of reasons. In terms of moderating groups (picking up and exploring new leads as these emerge), she suggests that with the requirement of researchers to identify individual voices, seek clarifications and further explore any differences in views that merge make larger groups exceedingly demanding. Also, in terms of analysis, focus groups are subject to verbatim transcription and detailed and systematic scrutiny meaning that the data set will be rich without being overwhelming. A minimum number of three or four participants is possible (Kitzinger & Barbour 1999; Bloor et al. 2001) and for some topics may be preferable. However, if a group is too small each participant may feel the pressure to speak, turning the session into more of a group interview rather than focus group dynamic (also see later on running a focus group).




세션의 길이 Length of focus group session


1시간~1.5시간

Although there is no hard and fast rule about how long a focus group should run, it is best to plan for between one hour to one and a half hours depending on the topic and the degree of interaction and engagement by the participants. If


2시간은 넘지 않게

However, there is a point of exhaustion for both participants and focus group facilitators so it is not recommended to extend a session more than two hours.




질문 준비하기 Creating questions for your focus groups


We recommend preparing a list of questions that will help you as the researcher and for the moderator to guide the discussion within the focus group. This list is known as a discussion guide, an interview guide, or a questioning route (Krueger & Casey 2009).



In their 2009 guide, Krueger & Casey stress the importance of preparing a questioning route, and suggest the following steps in designing your guide:




First, brainstorm together with a few people that are familiar with and knowledgeable about your subject. The aim of this phase is to explore and then focus in on ‘‘key questions – those questions that will drive the study’’ (p. 52).



질문을 개방형으로 만들고, 단순화, 구어체로 만든다. 문구 뿐만 아니라 질문의 순서도 중요하다. 일반적인 것에서 구체적인 것으로, 긍정적인 것에서 부정적인 것으로, 힌트가 없는 것에서 있는 것으로 하는 것이 좋다.

The next step is to phrase questions so that they are openended, simple and conversational in nature. These types of questions allow participants to decide the direction of their response, decide when to join the conversation and keep the discussion going. Not only phrasing but the sequencing of questions is important. Krueger & Casey (2009) suggest that general questions should come before specific questions, positive questions before negative questions, and un-cued questions before cued questions.



각 질문에 걸릴 시간을 예상하는 것도 중요하다.

In the additional steps described by Krueger & Casey they stress the importance of estimating time needed for responses for each question and the possibility of needing to revise the questions when necessary. Box 5 provides an overview of the categories of questions relevant to ask within focus group research, whilst Box 6 provides special considerations when working with on-line focus groups.



Running a focus group

모더레이터의 역할 The role of moderator


역할

The role of the moderator is a demanding and challenging one, and moderators will need to possess good interpersonal skills, be good listeners, non-judgmental and adaptable.


역할

The main responsibility of the person running a focus group is to facilitate discussion and exchange of ideas between participants.


한 사람이 moderator의 역할을 하고 다른 사람이 기록을 하는 것이 좋다. 또한 그룹간 일관성이 있어야 하므로 역할과 책임을 주의해서 준비해야 한다.

However, it is recommended that just one moderator facilitates and the other takes notes and checks the recording equipment during the meeting. There also needs to be consistency across focus groups, so careful preparation with regard to role and responsibilities is required (Gibbs 1997).


미팅이 시작되면 moderator의 역할이 중요해진다. 그룹의 목적에 대해 명확히 설명하고, 사람들을 편안하게 해주며, 사람들의 상호작용을 촉진해야 한다.

Once a meeting has been arranged, the role of moderator or group facilitator becomes critical, especially in terms of providing clear explanations of the purpose of the group, helping people feel at ease, and facilitating interaction between group members.


논쟁을 유도하기도 한다.

During the meeting, moderators may need to promote debate, perhaps by asking open questions.


모든 사람에게 발언 기회를 줘야 한다. 동시에 지나치게 동의하는 모습을 보여서도 안된다. 그러면참가자들은 moderator의 기분을 맞추려고 할 것이기 때문이다. 개인적 의견을 피력하는 것을 지양해야 한다.

Moderators also have to ensure everyone participates and gets a chance to speak. At the same time, moderators are encouraged not to show too much approval (Krueger 1988), so as to avoid participants’ attempts to please the moderator. Moderators must avoid giving personal opinions so as not to influence participants towards any particular position or opinion.



상반된 역할? Moderator – conflicting roles?

PI가 moderator를 하는 것은 적절치 못하다.

In many circumstances it is not appropriate for the principal investigator to act as the moderator. The danger that lies in this role allocation may be that the principal investigator is too focused on the research question and potential personal theories underlying this question.


그룹이 모르는 사람을 moderator로 지정할 수도 있다.

Another main consideration in the decision to appoint someone unknown to the group as a moderator


Appointing an unknown moderator avoids influencing the discussion based on personal knowledge or experience (Gibbs 1997).




옵저버의 역할 The role of the observer

moderator와 observer를 따로 두는 것이 좋다.

When possible it is a benefit to have both a moderator and an observer (other member from the research team or research assistant) take part in the running of a focus group. An observer offers another set of eyes and ears and is valuable in picking up non-verbal nuances in participant reporting that may be missed by the moderator.


포커스그룹이 끝나면 moderator와 observer가 모여서 추가적인 관찰내용과 관련된 생각들을 공유하는 시간이 필요하다.

Following a focus group, it is good practice to allow time for both the moderator and the observer to jot down additional observations and thoughts related to the focus group which can then be included in follow-up research meetings (Gibbs 1997).




스타일 Moderator styles


두 가지 스타일이 있고 각각이 적합한 연구목적이 있다.

Generally speaking moderators can take on two broad styles, the directive and the non-directive style. 

    • The directive moderator style is most appropriate when the questions to investigate are numerous and focused (e.g. technical documents, new program or questionnaire to assess) and when we want to better understand intriguing and specific data collected through another process such as a survey or interview (explanatory design). The advantage of a high degree of moderator control is the specificity of the data that emerges.
    • The non-directive moderator style is however more suited for exploratory research, i.e. to find new research avenues, brainstorming, or broadening and deepening understanding about the research area.


좋은 포커스그룹의 비밀은 moderator가 주도권을 갖지 않는 것이다.

The secret to a good focus group is that it is not moderator-dominated (Gibbs 1997).




Group dynamics



However, some (more disruptive) group dynamics cannot be predicted. Below are several suggestions for moderators on how to deal with the more disruptive group dynamics.



파괴적인 구성원 Countering dominating or disruptive group members

It’s a good idea to ‘‘go around the group’’ occasionally in order to counter the tendency of the group to accept one person’s view as the group consensus. In the introduction, it is also useful to ask them not to be concerned about agreement with other people in the group.


For example, ‘‘So and so has told us why she feels that medical students should have a strong science training before entering medical school. Does anyone have another view about this?’’



말을 하지 않는 구성원 Shy or silent participants

It is a moderator’s responsibility to ensure that everyone has an opportunity to share their views.

In order to invite participation, it is not out of place to directly ask a participant who has not contributed.


The reasons for silence by certain group members may relate back to group composition and power relations within the group and this should be taken into account when composing your group (Gibbs 1997).



묻는 말에만 대답하는 그룹 Groups in which participants only answer directly to the moderator and do not open up to exchange of ideas with each other

A trick to open up conversation between participants is to cast your eyes around the group when the person who is answering the question is responding.




Analyzing focus group data



The majority of the data is generated when the audio records are transcribed verbatim, but besides that the moderator and the observer have gathered valuable observational data. Therefore, it is important that the moderator and observer debrief after each focus group discussion to share their experiences and add an additional layer of data on the spoken words produced by the participants (also see section titled ‘‘The role of the observer’’).



분석을 위한 팁 General tips for qualitative data analysis


자료의 질 Data quality

The quality of your data analysis is inseparably linked to the quality of your data.


자료의 질은 다음과 같은 요소에 의해서 영향을 받는다.

The quality of focus group data will be reliant on a number of factors. 

    • First of all, the number of participants in the focus group will be of influence: both too few and too many participants can potentially result in just a shallow discussion.
    • Second, the quality of the sampling procedure will be of influence: were the right people invited to answer the research question? Was the group composition favorable to an in-depth discussion? 
    • Third, the quality of your questions and the questioning route determine data quality. Therefore, focus groups need a preparatory period in which the research team discuss and design the questioning route. 
    • Finally, the skills of the moderator will determine to what extent relevant topics were sufficiently explored and whether all participants will have been able to have a meaningful contribution in the discussion (Barbour 2007; Krueger & Casey 2009).



분석 소프트웨어? Data analysis software: yes or no?

The quality of your data analysis is determined by the quality of the researcher(s) performing the data analysis and not the quality of the software program that is used to perform the analysis (Kidd & Parshall 2000; Pope & Mays 2009).




목적을 잊지 않기 Keeping your eye on the ball

Given the fact that focus group research produces a lot of data, often 30–50 pages per focus group, it is important that during the analysis you keep your purpose and/or your research question in mind so that you do not get overwhelmed (Krueger & Casey 2009).



‘‘The coding frame should be flexible enough to incorporate themes introduced by focus group participants as well’’ (p. 117).



분석틀 Analytical frameworks

All kinds of analytical frameworks for analyzing focus group data can be used. These frameworks should be aligned with the methodology (e.g. grounded theory and phenomenology) (Creswell 2013) and may also be informed by a specific focus (e.g. discourse analysis and conversation analysis).





연역적 vs 귀납적 Deductive versus inductive data analysis

Analyzing focus group data is an iterative process between at least two researchers or team members involved in the process. One can choose to analyze data deductively or inductively. A deductive approach involves reading your transcripts to which you apply a predetermined set of themes or coding structure



After an initial reading of the transcripts independently by each research team member, the group comes together to compare notes and begin the building process. This cycle of reading and meeting to discuss the data continues until the group is satisfied that they have a coherent story related to the participants’ views on the topic or issue under study. As a note, there will be information that you cannot ‘‘put’’ anywhere. The idea or comment(s) may sit outside the rest of the themes or codes. This is important. Do not throw out or eliminate data because it does not fit; save it somewhere so that you can come back to it at a later date (Krueger & Casey 2009).




Focus group specific tips for qualitative data analysis


자료분석의 종류 Types of data analysis relevant for focus group data


This richness is partly connected to the fact that focus groups produce three levels of data: 

(1) data about individuals, 

(2) data about the group discussion and 

(3) data about group interaction (Onwuegbuzie et al. 2009).


All these levels of data are potential avenues for analysis yet few focus group studies pay attention to all levels of data.



속기록에 숨겨진 내용을 보기 Look beyond the transcripts

다음과 같은 내용들을 보아야 함.

What the researcher should not overlook is all other potential data sources surrounding focus group research. 

    • Firstly, when working together with an observer the potential to collect observational data about the group interaction is present. 
    • Secondly, it is usually worthwhile to use a small questionnaire to collect demographic data of the participants. In this way, the time of participants and the moderator is optimally used and the questionnaire provides an additional data source.
    • Thirdly, the observer could also record non-verbal communication by participants and the interaction between participants to provide an additional dimension to the data transcription and interpretation. 
    • Fourthly, when performing multiple focus groups, researchers might decide to perform analysis where they compare the discussion between groups but also focus on the discussion within a single group. 



합의와 의견불일치, 어디서 오는가 Consensus and disagreement and where it comes from

An important aspect of analyzing focus group data is identifying the extent to which agreement or disagreement occurred within the group and how perspectives arose or were modified within the group process (Kidd & Parshall 2000).



침묵도 자료다 Silences are also data

동의의 표현일수도 있지만, 잘 몰라서 침묵하는 것 일수도 있음.

An underused type of data is the presence of silences within the focus group discussion. Silence could indicate several things, e.g. consensus about a certain topic but also nonfamiliarity with an issue. It is therefore worthwhile to analyze at what points in the data silences arose and to supplement this with observational data to get a more in-depth understanding of the nature of the silence




Quality and ethics in focus group research



Quality of focus group research

다음의 네 가지 요소를 갖춰야 함.

Good qualitative research should be credible, transferable, dependable and confirmable (Frambach et al. 2013).



Credibility

‘‘Credibility is the extent to which the study’s findings are trustworthy and believable to others’’. Practices that are described to ensure the credibility of a study are the use of data, method, and/or researcher triangulation (see Glossary), prolonged engagement with the data and member checking (see Glossary). Depending on the aim of the focus group study, the relevance of a member check might differ




Transferability

The transferability of a study is determined by the extent to which its findings can be transferred to another contextIn order for an audience to judge transferability, researchers are advised to produce thick descriptions (Glossary) of the context under study, to explain the sampling strategy used, and to discuss the extent to which the finding of the study resonate with empirical and theoretical work already published.



Dependability

‘‘Dependability is the extent to which the findings are consistent in relation to the contexts in which they were generated’’. This means that researchers will continue to collect data in a given setting until ‘‘saturation is met’’ (Glossary) indicating that no new themes resulted from the inquiry. This requires that collection and analysis go hand in hand as to assure meaningful and in-depth data collection towards answering the research question (iterative data collection and analysis).



Confirmability

To demonstrate confirmability of the research, the researcher needs to provide insight into how he/she came to certain decisions and conclusions during the research process (audit trail). The concern here is that the participants and settings were not the main source of the findings but the researchers’ potential biases. The researchers therefore need to show reflexivity (Glossary). Furthermore, the researcher needs to consciously search for data and literature that might disconfirm the findings and also discuss the findings with peer researchers (peer debriefing).



Ethics in focus group research

‘‘Ethics or moral philosophy involves systematizing, defending, and recommending concepts of right and wrong conduct’’ (Fieser 2009). When applying this to the field of qualitative research this means protecting the interests of the participants on the one hand, without compromising the aim of the research data for the good of others on the other (Orb et al. 2001)


They also postulated that the paucity of literature on ethics maybe due to the assumption that qualitative research is harmless to the participants, and they noted that medical research committees sometimes have difficulty making judgment on research proposals submitted for their judgment (Gauld & McMillan 1999; Morse 2001; Richards & Schwartz 2002).



잠재적 위험 Potential risks in qualitative research

Principally, participants are fully autonomous, and usually share information on a voluntary basis. A balanced relationship between researcher and participant facilitates disclosure, trust, and awareness of as well as respect for potential ethical issues (Orb et al. 2001). Nevertheless, it can easily be envisaged that when probing into rationales during focus groups it is difficult to avoid touching upon issues that may provoke anxiety and distress in certain participants.


‘‘Old wounds’’ may unexpectedly open (Orb et al. 2001). However, some anticipation regarding problematic focus groups scenarios is necessary and influences the composition of the groups (Barbour 2007).


연구자의 직업적 배경 뿐만 아니라 개인적 배경(성별, 연령, 인종, 사회계층)도 중요하게 영향을 줄 수 있다.

Evidently, the professional background of a researcher can also impact on the focus group, but personal characteristics (such as gender, age, ethnicity, and social class) are considered equally important (Richards & Emslie 2000).




Writing up focus group research

‘‘Qualitative researchers today acknowledge that the writing of a text cannot be separated from the author’’ (Creswell 2013). Therefore the authors of a qualitative research study need to make clear how they were involved in the research and why certain decisions were made



Methods section

The methodology and focus group rationale

To demonstrate credibility and trustworthiness of your data the choices for methodology, design and focus groups as a method given your research question need to be explained. If multiple methods for data collection were used their intended purpose in the research should be described.


Describing

For reporting of qualitative research it is important to “paint the picture” of where, how and from whom data were collected. This is necessary for the reader to be able to judge the transferability of the results to their own setting (Denzin & Lincoln 2005). This includes reporting how participants were chosen (sample), recruited and identified for characteristics that made them valuable for answering your research questions. Furthermore, the number and characteristics of the group composition should be explain; homo- or heterogeneous, number of groups, number of participants per group and how long the discussions lasted.


Further consideration should be given to the extent the discussion was structured, semi-structured on not structured, as well as how the questioning route was designed and used. These explicit descriptions of the research process help readers to paint the outlines of the context in which the data were gathered (Morgan 1996).


Who performed the research?

Not only the characteristics of the participants but also of those of the researchers involved in the study, the moderator and the observer/research assistant should be described. Paradigmatically speaking, qualitative research acknowledges the influence that the researcher has on the research process (Bunniss & Kelly 2010; Bergman et al. 2012). Therefore, it is important for the audience to know who performed what part of the research and what their backgrounds are. The next step is that the research team reflects on the influence that they might have had on data collection and data analysis, this process is called reflexivity (Malterud 2001).


Analysis

With regard to the analyses, the researchers need to describe which data analysis procedures they used and which principles informed their analysis, as well as who was involved in the process, to what extent theory was used to inform data analysis, and to what extent member checking was applied (Malterud 2001). As mentioned earlier, it is important to identify your methodology and how your use of focus groups is supported by the underlying precepts. If there are guidelines that informed your research design, these will assist in the analysis of your data. Finally, if software for data analysis was used, the software package and its version should be mentioned.


Results section

Presentation of quotes: do’s and don’ts

Depending the methodology, the role the focus groups had in the research design, the type of data analysis you chose to apply, and the word-limit provided by the journal, various presentations of the results are possible. By presenting verbatim quotes, the researcher gives the audience insight into “the data from which the patterns and constructs arose during analysis” (Holloway & Wheeler 2010). Richardson (1990) describes three types of quote presentation: (1) short eye-catching quotes indicating a short paragraph from the transcript demonstrating a theme, (2) embedded quotes, are short(er) in-text quotes and (3) longer quotations. Especially, the latter is very much dependent on the style of the journal. For focus group research, it can be valuable to both demonstrate quotes from individuals in the group but also group interactions showing how the discussion between participants evolved.


Visual representations

Depending on the methodology and the findings researchers might decide to present a visual depiction of their findings. Grounded theory, e.g. aims to build a theory grounded in the data. A visualization of the concepts represented within this theory might help the audience to get a better overview of the interaction of the various themes within the theory.


Discussion section

The aim of this section is to reflect on the results in the light of already published empirical and/or theoretical work. As such, the researcher tries to contribute to the knowledge within the field. With the discussion, the researcher might also demonstrate the transferability and confirmability of the research. Therefore, often one will see qualitative papers where reflexivity is both part of the “Methods” section and of the “Discussion” section.




Confirmability: The extent to which the findings are based on the study’s participants and settings instead of researchers’ biases.


Credibility: The extent to which the study’s findings are trustworthy and believable to others.


Deductive analysis: Reading your transcripts to which you apply a predetermined set of themes or coding structure.


Dependability: The extent to which the findings are consistent in relation to the contexts in which they were generated.


Epistemology: Theory of knowledge. What are the origin, nature, and limits of knowledge about reality?


Inductive analysis: Reading your transcripts for emerging themes and trying to articulate what concept/definition/meanings of the main topic arises from the data.


Methodology: Strategic approach to answer the research question and to gain knowledge. What is the research design?


Grounded theory: Systematic, qualitative procedure used to generate a theory that explains, at a broad conceptual level, a process, an action, or an interaction about a substantive topic


Ethnography: “(…)The study of social interactions, behaviors, and perceptions that occur within groups, teams, organizations, and communities” (Reeves et al. 2008)


Phenomenology: “A philosophy which explores the meaning of individuals’ lived experience through their own description. The research approach adopted is based on this philosophy” (Holloway & Wheeler 2010)


Action research: “A cyclical approach to research in which researchers are, or collaborate with, practitioners to effect change or use an intervention, evaluate it and modify their practice in the light of evaluation. The process goes on until the optimum situation has been achieved” (Holloway & Wheeler 2010)


Mixed methods: The collection, analysis and integration of both qualitative and quantitative data in a single study.


Ontology: Theory of the view on reality. What is the nature of physical and social reality?


Paradigm: An interpretative framework, which is guided by “a set of beliefs and feelings about the world and how it should be understood and studied” (Guba 1990).


Positivism: A paradigm which aims to find general laws and regularities based on observation and experiment parallel to the methods of the natural sciences (there is one truth and it can be observed) (Holloway & Wheeler 2010).


Post-positivism: Paradigm stating that there is one truth but it can never be truly observed. Pays attention to falsification and probabilities (Creswell 2013).


Critical theory: Paradigms which aims to critique and change society as a whole, aimed at factors that constrain and exploit individuals (Illing 2007).


Constructivism: Paradigm which states that knowledge and all meaning is not discovered but socially constructed. Meaning is not created but constructed out of the world that is already there (Illing 2007).


Purposive sampling: “Sampling individuals and sites for study which are thought to purposefully inform an understanding of the research problem and central phenomenon in the study” (Creswell 2013).


Reflexivity: An attitude of attending systematically to the context of knowledge construction, especially to the effect of the researcher, at every step of the research process (Malterud 2001; Mauthner & Doucet 2003).


Saturation: Also known as “informational redundancy” (Lincoln & Guba 1985) indicating that everything of importance to the research agenda of the project has been obtained. We can speak of data saturation (sampling to redundancy) and theoretical saturation (no new concepts or dimensions are emerging during data analysis).


Transferability: How well the study’s findings inform medical education contexts that differ from that in which the original study was undertaken.


Theoretical sampling: “sampling individuals or texts whom the researchers predict (based on theoretical models or previous research) would add new perspectives to those already represented in the sample” (Kuper et al. 2008).


Triangulation: Using different perspectives on the same research question to either validate findings or provide a richer understanding of the topic at hand. Examples of triangulation are: (1) methods triangulation (using several methods to answer the same research question), (2) theoretical triangulation (using several theoretical frameworks to create a broader understanding of the findings) and (3) researcher triangulation (multiple researchers playing a part in data collection and or analysis) (Flick 2004; Walsh 2013).








 2014 Nov;36(11):923-39. doi: 10.3109/0142159X.2014.917165. Epub 2014 Jul 29.

Using focus groups in medical education researchAMEE Guide No. 91.

Author information

  • 1Maastricht University , the Netherlands .

Abstract

Qualitative research methodology has become an established part of the medical education research field. A very popular data-collection technique used in qualitative research is the "focus group". Focus groups in this Guide are defined as "… group discussions organized to explore a specific set of issues … The group is focused in the sense that it involves some kind of collective activity … crucially, focus groups are distinguished from the broader category of group interview by the explicit use of the group interaction as research data" (Kitzinger 1994, p. 103). This Guide has been designed to provide people who are interested in using focus groups with the information and tools to organize, conduct, analyze and publish soundfocus group research within a broader understanding of the background and theoretical grounding of the focus group method. The Guide is organized as follows: Firstly, to describe the evolution of the focus group in the social sciences research domain. Secondly, to describe the paradigmatic fit offocus groups within qualitative research approaches in the field of medical education. After defining, the nature of focus groups and when, and when not, to use them, the Guide takes on a more practical approach, taking the reader through the various steps that need to be taken in conducting effective focus group research. Finally, the Guide finishes with practical hints towards writing up a focus group study for publication.

PMID:

 

25072306

 

[PubMed - in process]


우리나라 보건의료에서 일차의료 연구의 필요성과 활성화 방안

Primary care research in South Korea: its importance and enhancing strategies for enhancement

김 유 일1·홍 지 영2·김 경 우3·고 유 라4·성 낙 진1* | 1동국대학교 일산병원 가정의학과, 2건양대학교 의과대학 예방의학교실, 3인제대학교 서울백병원 가정의학과, 4강원대학교 의학전문대학원 가정의학과교실

Yu-Il Kim, MD1·Jee Young Hong, MD2·Kyoungwoo Kim, MD3·Eurah Goh, MD4·Nak-Jin Sung, MD1*

1Department of Family Medicine, Dongguk University Ilsan Hospital, Goyang, 2Department of Preventive Medicine, Konyang University College of Medicine, Daejeon, 3Department of Family Medicine, Inje University Seoul Paik Hospital, Seoul, 4Department of Family Medicine, Kangwon National University Postgraduate College of Medicine, Chuncheon, Korea

*Corresponding author: Nak-Jin Sung, E-mail: snj@dongguk.ac.kr





서 론


전 세계적으로 의료비 상승, 의료의 불균형에 대한 문제가 대두되고 있다. 우리나라에서도 높은 의료비 증가율과 의료 불균형 문제, 의료비 지출의 효율성에 대한 문제제기가 있어왔다[1]. 각 나라마다 이 문제를 해결하기 위한여러 가지 방법들을 제시하고 있으며 하나의 대안으로 일차의료의 강화가 이야기되고 있다. 앞에서 밝힌 바와 같이 우리나라에서 연구된 일차의료의 정의는 다음과 같다. 일차의료는 ‘건강을 위하여 가장 먼저 대하는 보건의료를 말하며,환자의 가족과 지역사회를 잘 알고 있는 주치의가 환자-의사관계를 지속하면서, 보건의료 자원을 모으고 알맞게 조정하여 주민에게 흔한 건강문제들을 해결하는 분야’이다. 동시에이러한 일차의료 기능을 효과적으로 수행하기 위해서는 여러 분야 보건의료인들의 협력과 주민의 참여가 필요하다. 이러한 일차의료의 강화 정책을 입안하고 이해당사자를 설득하여 실체화시키기 위해서는 일차의료 연구를 통한 근거제시가 필수적이라 하겠다.


일차의료 연구는 1966년 Mc Whinney가 가정의학 연구분야에 대하여 최초로 기술하였는데, 여기에서 일차의료의질병 역학, 증상평가, 진단을 위한 징후나 검사, 심리 사회적요인 등을 특징으로 삼았다. 이 후로 10년 정도의 기간 동안계속해서 임상 전략(clinical strategy), 가족 중심(focus onfamily), 교육방법 연구, 공공보건 및 정책관련 연구 등의 특징적인 요인이 추가되었다. 1990년대 초에는 이제까지의 의사의 관점에서 본 연구에 더하여 환자의 관점, 환자의 가족과의 관계를 중요시하는 연구와 가정의의 지역사회에 대한 책임감을 동시에 강조하였다. 2000년대 이후부터는 연구의제의명확화, 필요한 연구의 우선순위 평가, 보건서비스 및 정책결정에 이바지하기 위한 의견 개진 및 연구논문이 많이 나오게되었다[2].


일차의료는 전 세계적으로 적용되는 기본 개념이 있지만국가의 제도, 경제적 수준, 문화적 배역 등에 따라 효율적인진료 행태, 효과적인 정책은 다를 수밖에 없다. 국가적, 지역적 현실에서의 효율성과 효과를 알아내기 위해서는 많은 연구가 필요할 것이다. 이런 보건의료적 맥락에서 일차의료연구의 필요성과 활성화 방안을 전반적으로 개괄해 보는 것은 시의적절한 일이라고 생각된다.


일차의료 연구의 필요성


일차의료 연구는 일차의료의 기능을 이해하고 일차의료를 효과적으로 수행할 수 있도록 하는 연구를 말함이다[3].이러한 일차의료 연구는 여러 연구의 한 분야로 간주하기 보다는 일차의료와 함께 포함시켜 보아야 한다. 왜냐하면 일차의료의 연구 분야는 다른 전문분야에서 거의 다루지 않는문제를 다루고 있으며, 주요 급성질환의 가능성이 적은 환경에서 임상질환을 다루고 있고, 마지막으로 두 개 이상의 문제를 동시에 가지는 경우를 자주 맞이하기 때문이다[4]. 일차의료를 방문하는 환자의 특성은 미분화된 증상을 가지고있는 경우가 많으며 여러 의학적인 검사를 받기 이전의 상태이므로 처음부터 명확한 진단을 내릴 수 없는 상황이 많아기존의 연구결과를 바로 적용하기가 어려운 경우가 많다.반면에 종합병원에 방문하는 환자들은 질병의 경과가 어느정도 진행되어 심하지 않은 질환과 자연적으로 호전되는 질환은 걸러지는 경우가 많다. 이러한 종합병원의 환경에서실시하는 임상연구의 경우 책임연구원부터 시작하여 예산,진단방법, 치료방법, 대상 환자군 등에서 일차의료 환경과는차이를 보이며 더욱이 특정 질환에 중점을 두어 연구를 하는경우가 많아 기존 연구의 결과를 일차의료를 방문하는 환자에게 적용하는데 한계를 보일 수밖에 없다[5]. 실제로 심방세동 환자에서 와파린을 사용하는 것이 효과적이라는 사실은 잘 알고 있지만 일차의료에서는 현실적으로 검사결과를빨리 확인 할 수 없기 때문에 대부분의 경우에서 와파린을사용하기가 어렵다. 그러므로 일차의료에 적용하기 위해서는 일차의료 환경 내에서 연구를 시행하고 결과를 적용하는것이 반드시 필요하다. 이러한 일차의료 연구는 기초 및 임상의학 연구와 국민 보건의료 전달 사이의 중개연구(translationstudy)의 역할을 수행 할 수 있으며 다른 연구보다 실제 임상에도 쉽게 적용할 수 있다[2]. 결과적으로 의학지식의 임상적용의 효율성이 증가하고 기간이 단축되는 장점이있으므로 환자의 요구에 부합하고 국민 건강에 도움이 될 수있는 일차의료 연구가 의학적 측면뿐만 아니라 정책적 측면에서도 꼭 필요한 연구 분야라고 할 수 있다.


현재 우리나라가 가지고 있는 의료 문제점을 해결하기 위해 제시되는 여러 가지 일차의료 강화안은 이론적으로 부분적효율성을 보일수도 있을 것이다. 하지만 실제 현실에 적용할때 여러 가지 문제점이 발생할 가능성이 높다. 이러한 문제점을 정확히 파악하고 개선해 나가기 위해서는 일차의료를 다양한 측면에서 이해하기 위한 노력이 필요할 것이다. 즉 일차의료의 기능을 이해하기 위한 연구, 일차의료의 적용으로 인한결과를 파악하는 연구를 하여 객관적으로 파악할 수 있는 근거가 필요하다. 특정 질환에 국한된 문제보다는 다양한 문제가 동시에 존재하는 인구집단과 서로 다른 임상 환경을 대상으로 하는 연구가 수행되어야 보건정책 수립 및 효과적인 의료자원 배분에 대한 근거가 마련될 것이다. 게다가 아직까지일차의료에 대한 연구가 부족한 우리나라의 한정된 자원으로 효율적인 일차의료 체계를 수립하려면 일차의료 연구체계를 강화하여야 한다. 특히 일차의료 연구체계의 강화를 위해서 직접 일차의료에 참여하고 있는 의사들의 적극적인 참여가 필수적이다. 실제 일차의료 상황에서 나타나는 문제점의 제시 및 해결을 위한 연구설계, 도출된 결론의 적용 및 정책수립의 모든 과정에서 일차의료인이 반드시 필요함은 명백한 사실이므로 적극적인 참여를 유도하는 방안이 필요하다. 그리고 현재까지의 연구는 대부분이 외국의 연구결과이므로 우리나라의 상황에 적용하기에는 다소 한계가 있어 우리나라의 현실에 적합한 일차의료 연구가 시급한 상황이다.


일차의료 연구의 분류


일차의료의 연구 분야는 특정한 한 분야에 국한된 것이아니라 말 그대로 일차의료를 더 잘 이해하고 잘 수행하기위한 연구를 말함이다[3]. 전통적으로 일차의료 연구는 기초연구와 정책관련 연구로 나누어지며 전자는 일차의료의 연구 도구 개발을 위한 연구를 말하며 후자는 임상 및 정책 판단에 도움이 되는 연구를 말한다[6]. 하지만 이러한 각각의분류체계는 명백하게 나누어져 있는 것이 아니라 상호보완적이며 서로 공유하는 부분을 가지고 있다[3].


1. 기초연구


이 분야에 해당하는 많은 연구들은 일차의료에 관한 측정을 원활하게 해주는 역할을 한다. 여기에는 건강상태 파악,질병의 중증도 측정, 의료의 질 평가 절차, 진료의뢰 필요성평가, 문제해결 방법의 개발 및 적용, 진료의 효율, 환자협조의 평가, 환자의 의학적 권고에 대한 반응 측정방법, 연구기록 보관 및 자료수집의 효율성 개선, 일차의료에 대한 지역사회 측정 방법의 개발, 일차의료에서 지역사회 자료의 효과적인 이용방법 개발에 관한 연구가 있다. 예를 들어보면 인지기능이 떨어진 환자를 대상으로 하는 연구에서 ‘조기발견이 더 좋은 치료효과를 가지는가?’라는 연구는 임상연구라할 수 있고, ‘가장 중요한 진단 및 치료결과는 무엇이며 그 평가방법은?’ 이라는 연구는 여기에 해당된다. 또 다른 예를 본다면 임상에서 시행하는 혈액검사에서 ‘(특정 질환)환자에있어서 질병관리, 비용, 환자의 불편감등을 모두 고려한다면언제/얼마마다 검사를 시행하는 것이 가장 좋은가?’라는 연구가 이 분야에 해당이 된다.


2. 정책관련 연구


1) 임상연구


일차의료 기능이 환자에게 미치는 영향에 중점을 두는 분야이다. 여기에는 환자가 아파서 병원을 찾도록 하는 요인,일차의료 환경에서 호소하는 증상과 징후의 의미, 가장 효과적이고 효율적인 진단 및 치료 방법, 치료 유무에 따른 여러건강관련 문제들의 자연 경과를 결정하는 요소에 대한 연구들을 포함하고 있다. 이 때 사용하는 평가방법은 삶의 질, 사망률, 가족 건강, 의료비용과 같은 환자에게 직접적으로 의미 있는 방법들을 사용한다.


2) 보건서비스 연구


일차의료 연구에 있어서 매우 중요한 분야로 일차의료 기능 자체에 중점을 두어 연구하는 것이다. 즉 일차의료의 질과 효용성을 향상시키기 위한 모든 문제를 해결하는 데 중점을 두게 된다. 하지만 보건의료분야에서 다루는 대용량의자료와는 달리 더 좋은 방법을 찾기 위하여 상대적으로 적은대상자를 가지고 질적, 양적인 연구가 동시에 이루어지기도한다. 예를 들어 본다면 야간 발한을 호소하는 환자에 대하여 ‘일차의료 상황에서 야간 발한을 호소하는 환자의 원인은무엇인가?’라는 주제로 하는 연구는 임상연구라 할 수 있는반면에, ‘흔하고 중요하지만 쉽게 무시되는 야간 발한이라는상황에서 어떻게 임상의가 체계적으로 선별할 수 있는가?’라는 주제는 보건서비스 연구 분야에 해당이 된다.


3) 보건체계 연구


이 분야는 상기 3가지 분야의 연구결과를 좀 더 큰 범위로확장시킨 것이다. 여기에는 교육 분야 연구, 새로운 발견의보급과 적용에 대한 연구, 일차의료 분야에 대한 질적으로향상된 체계의 실현에 대한 연구, 보건정책에 대한 연구가포함된다. 앞에서 예를 들었던 환자에 대한 연구에서 본다면 ‘야간 발한이 중요한 증상이라면 국민들에게 어떻게 교육을 하여야 경각심을 가질 수 있나?’라는 연구주제와 ‘인지기능 검사를 시행하는 대상의 연령은 몇 세 이상으로 하는 것이 효과적인가?’라는 연구가 이 분야에 해당이 된다.


4) 일차의료수련 연구


일차의료를 실현하기 위한 인력양성 체계 및 효율성에대한 연구로 의학교육부터 전문가 양성까지를 포함한다. 이분야에서는 일차의료 연구 경력, 업무능력, 전문가들의 효율적인 배분과 관련된 연구를 시행한다. ‘질병분포에 대한 지식을 학생 수업과정에 어떻게 포함시킬 수 있는가?’, ‘어떠한방법으로 일차의료 의사가 일차의료의 원칙을 배울 수 있을까? 그리고 어떻게 내용을 더 효과적으로 만들 수 있는가?’라는 내용이 이에 해당된다.


일차의료 연구의 동향


1. 외국의 상황


최근의 일차의료 연구는 기존 일차의료의 효용성의 근거를 더욱 발전시키는 한편 제3세계에서도 효율성 및 형평성에 기여한다는 근거를 제시하고 있다[7]. 뿐만 아니라 여러나라에서 일차의료 강화 및 질 향상을 위한 다양한 시도와그에 따른 효과에 대한 연구들이 발표되고 있으며, 주민이참여하는 일차의료 연구망 연구를 지향하는 움직임이 일고있다[8]. 그렇지만 외국 일차의료 연구의 현황을 이 글에서모두 기술하는 것은 현실적으로 불가능하기에 기초연구 분야, 일차의료 효과, 효율 및 형평, 일차의료 연구망 연구로나누어 대표적인 연구들을 살펴보고자 한다.


1) 기초연구 분야


일차의료 측정(primary care measurement)은 의료전달체계 및 개인 의료공급자의 성과 평가뿐만 아니라 일차의료의 책임성, 일차의료의 질, 자원의 적정이용, 진료결과, 의료사고 발생 등을 측정하는 것을 포함한다. Shi [8]에 따르면,가장 대표적인 일차의료 측정도구인 일차의료평가도구(PrimaryCare Assessment Tool, PCAT)의 경우 브라질 및 스페인 등 다른 언어권 국가들에서 적용하기 위한 도구 신뢰도,타당도 검증 연구들이 진행되었으며, 환자와 공급자 관점에서 일차의료 공급의 다양한 분야를 측정하기 위하여 HealthTracking Physician Survey, International Health PolicySurvey, Ambulatory Care Experiences Survey 등이 진행되었다. 이 외에도 의료보험 청구 자료, 의무기록 자료 리뷰를 통해 일차의료의 질, 성과 및 비용-효과성을 측정하는 연구들이 진행되었다.


2) 일차의료 효과, 효율 및 형평


    • Campbell 등[9]은 2004년 일차의료 의사들과 영국 보건당국과 계약된 32억 달러 규모의 성과지불제도(pay-forperformance)가 만성질환자에게 제공되는 일차의료의 질에미친 영향을 살펴보았다. 영국 전역의 42개 일차의료기관을대상으로 임상지표를 수집하였고, 관상동맥질환 15개, 천식12개 및 제2형 당뇨병 21개 지표였다. 2003년과 2005년 지표가 천식과 제2형 당뇨병에서 유의하게 개선된 것으로 나타났다.
    • Safran 등[10]은 미국의 관리의료(managed care)의 5개제도인, 관리형 성과지불제(managed indemnity), 수진 시선택제(point of service), 의사-모형 건강유지기구(staffmodelhealth maintenance organization, HMO), 집단-모형 건강유지기구(group-model HMO) 및 네트워크-모형건강유지기구(network-model HMO) 사이에 성과를 비교분석하였다. 관리형 성과지불제도가 일차의료 질 지표가 가장 좋고, 수진 시 선택제와 네트워크-모형 건강유지기구가다음으로 좋은 성과를 보인 것으로 나타났다. HMO는 가장낮은 성과를 보이는 것으로 나타났다.
    • Momany 등[11] 은 미국 아이오와주 메디케이드의 일차의료 사례관리 사업이 1989-1997년간의 수급권자 1인당 의료비용의 감소에 영향을 미쳤는지를 살펴보았다. 분석 대상기간 동안 6천 6백만 달러의 의료비용을 절감하였고, 절감수준은 시간이 흐를수록 증가되는 것으로 나타났다. 또한이 사업이 부재 시 예상되는 메디케이드의 지출보다 3.8%감소하는 것으로 나타났다.
    • Beal 등[12]은 2005년 의료지출패널조사(Medical ExpenditurePanel Survey)에 참여한 성인 24,000명(라틴계미국인 6,200명 포함)을 대상으로 환자중심 주치의 의원(patient-centered medical home, PCMH)의 보유 비율 및예방의료(콜레스테롤 검진, 혈압 체크, 유방촬영 및 전립선특이항원 선별검사) 수진율의 인종간 격차가 존재하는지를살펴보았다. 그 결과 백인의 57.1%, 푸에르토리코인의59.3%가 PCMH를 갖고 있는 반면, 멕시코인/멕시코계 미국인의 35.4%, 중남미계 미국인의 34.2%만이 PCMH를 갖고 있는 것으로 나타났다. 또한 PCMH를 갖고 있는 응답자가 유의하게 높은 예방의료 수진율과 환자 만족도를 보고하였고, PCMH를 갖고 있는 라틴계 미국인이 예방의료 수진율의 격차 수준이 낮은 것으로 나타났다.


3) 일차의료 연구망 연구


    • Spann 등[13]은 4개 일차의료 연구망에 참여하는 95명의일차의료 의사에게 진료를 받는 822명의 제2형 당뇨병 환자들을 대상으로 자기기입식 설문조사 및 의무기록 검토를 통해 3개 당뇨관리 지표(당화혈색소, 혈압 및 저밀도지단백 콜레스테롤 수치)의 수준과 관련요인을 살펴보았다. 그 결과,당화혈색소는 인종, 의료기관 유형, 중견의사 치료 참여 및치료법이, 혈압은 의료기관 유형이, 저밀도지단백 콜레스테롤은 인종이 영향을 미치는 것으로 나타났다.
    • Westfall 등[14]은 미국 일차의료 연구망에서 지역기반참여연구의 현황을 살펴보았다. 일차의료 연구망에 참여하는 의사에게 진료를 받는 환자의 지역사회로부터 피드백을받거나 지역사회가 참여하는 기전을 갖고 있는지에 대한 개방형 문항에 응답한 46개 설문지를 분석한 결과 24개 연구망에서 자신의 연구에 지역사회 일원 그리고/또는 환자를참여시키는 기전을 가지고 있으며, 여러 연구망에서 연구 아이디어 생성, 연구계획 검토, 결과 해석 및 배포에 지역사회주민을 활발히 참여시키고 있다고 응답하였다.


2. 우리나라 상황


미국에서 일차의료 전문의 역할을 하는 가정의학이 정착되는 데에는 두 개의 보고서(Millis Commission의 보고서와미국의학교육협회의 가정의학 교육을 위한 Ad Hoc Committee보고서)가 큰 기여를 한 것처럼 좋은 논문이나 보고서는 힘이 있다[15]. 그럼에도 우리나라에서 일차의료의 중요성을 증명해 보이는 실증적인 연구나 보고서가 많지 않다는것은 일차의료지원정책 부재의 하나의 원인이 될 수 있다. 일차의료는 정부나 지방자치단체의 법률이나 재정을 포함하는일차의료 지원정책 없이는 상업성 자본과 세부 초전문화 추세 앞에서는 질 낮은 의료로 비추어지고 고사될 수밖에 없다.


    • 우리나라에서의 조작적으로 일차의료를 ‘대체로 의원급의료기관에서 제공되는 의료서비스’로 생각해 보면, 1989년한국 개원의 진료내용에 관한 연구가 보고된 바 있다[16].일차의료의 질에 관한 연구들로서는 급성호흡기질환에 대한항생제 처방 양상과 같은 임상적 수행성(clinical performance)이나 예방접종, 장비 사용률 현황, 직무분석과 같은 자원역량(resource capacity)이나 지속성, 의뢰 형태와 같은의료서비스 전달체계에 관한 연구들이었다[17].
    • 일차의료의 정의에 대한 본격적인 연구는 2007년 Lee 등[18]이 보고한 델파이 기법으로 개발한 일차의료 개념 정의라고 할 수 있다. 일차의료 개념 정의를 바탕으로 비로소 타당도와 신뢰도를 갖는 일차의료 평가 도구를 개발하는 작업이 이루어졌다. 한국일차의료평가도구(Korean primarycare assessment tool, version 1)는 실제 일차의료가 어떻게 수행되고 있는지를 제공된 서비스에 대해 환자의 관점에서 평가하여 점수로 환산하는데, 최초접촉, 포괄성, 조정성,전인적 돌봄, 가족과 지역사회 지향성의 5개 차원 총 21문항으로 구성되어 있다[19]. 이후 한국일차의료평가도구를 적용하여 일차의료 서비스의 질과 환자의 건강 수준 및 건강행태 등과의 관련성 등 다수의 연구들이 보고되고 있는데, 양질의 일차의료는 환자의 좋은 건강행태[20], 양호한 자가보고 건강상태[21], 장기간의 의사-환자 관계와 관련성이 있었고[22], 가족과 지역사회 맥락에서 포괄적이고 조정적인 진료를 제공하였다[23]. 또한 가정의학과 전문의를 대상으로한 의료기관별 일차의료 평가에서 생활협동조합의원이 가장 높은 점수를 받았고 다음이 개원의이었으며 보건소는 가장 낮은 점수를 받았다[24].
    • 일차의료 수준을 평가하는 방법에는 환자의 관점이외에도 의사의 관점에서, 또는 기관의 관점에서 평가하는 등의다양한 방법이 있지만 추가적인 한국형 일차의료 평가도구개발에 관한 연구는 이루어지지 않고 있다.
    • 한편 거시적 관점에서 우리나라 일차의료 수준을 평가한연구로는 Starfield [6]와 Ahn [25]이 제시한 일차의료의 체계와 내용을 평가하기 위해 개발한 15개 항목의 기준을 이용하여 경제협력개발기구 13개 회원국과 비교한 결과 우리나라 일차의료 수준은 선진국들에 비해 매우 낮은 단계에 있음을 보고한 바 있다.
    • 국내에서 의원과 의원을 이용하는 주민을 대상으로 하는만성병질환 관리에 대한 시범사업이 시행되고 있는데, 이런사업들이 일시적이거나 단편적으로 끝나지 않도록 효과 분석과 평가가 매우 중요하며, 이를 위해서는 사업의 구조, 과정, 결과에 대해 타당한 지표를 선정하고 평가한 자료들이나오면 앞으로의 정책 입안에 도움이 될 것으로 생각한다.물론 지지하는 여러 근거들을 성공적인 정책 시행으로 도입하는 과정에는 정책의 컨텐츠를 비롯하여 경제 사회 문화적맥락, 이해 당사자, 정책 개발과 시행 및 의사소통 등의 과정등 여러 요인들을 고려해야 할 것이다.
    • 의원중심 연구망연구(practice-based research network)는 일차의료 환경에서 일차의료인들이 시행하는 효율적인 일차의료 연구방법이다. 우리나라에서는 ‘천안 의원중심 연구망’이 대표적이며 1996년 6인의 가정의학과 개원의와 대학병원 가정의학과 교수 3인에 의해 조직되었으며,‘고혈압환자의 전통의학 및 민간요법 이용,’ ‘개원가 내원 성인에서의 요실금 유병률,’ ‘가족문제와 성생활 문제의 상담자로서의 가정의,’ ‘가정의는 어떤 환자를 얼마나 의뢰하는가,’ ‘일차의료기관을 이용하는 당뇨병 환자들의 자기관리실태’와 같은 일차의료 기관에서 환자의 의료 이용행태, 의사의 진료행태 등에 관한 연구결과를 발표하였다[26].
    • 또 하나는 포항, 경주 지역 가정의학과 개원의가 참여하는‘포항경주 일차의료 연구망’으로 ‘당뇨병이 동반된 고혈압 환자에 대한 항고혈압제 선택’과 ‘당뇨병이 동반된 고혈압 환자에 대한 항고혈압제 선택의 변화’라는 연구결과를 통해 지역사회 개원 가정의의 처방행태 및 변화에 관하여 보고한 바 있다[27].


연구 활성화를 위한도전과제 및 극복 방안


일차임상진료 현상에서 수많은 환자를 보다보면 자연스럽게 많은 임상적 지식과 경험이 쌓이게 되는데, 이들 중 많은 부분은 서양의 연구결과 및 삼차진료 중심의 의과대학 교육에서는 얻을 수 없는 소중한 임상자료인 경우가 많다. 또한 일차의료 환경에서 몸으로 부딪히는 얻게 되는 보건의료정책에 관련된 문제인식 및 해결방안은 현장에 직접 몸담고있지 않은 보건정책자로서는 쉽게 얻어내기 힘든 소중한 경험의 산물이며 실질적으로 현실을 반영하고 유익한 변화를가져올 수 있는 때로는 유일한 열쇠가 되기도 한다.


그러나 여러 가지 여건 상, 이러한 일차의료의 소중한 재료들이 일차의료 연구로 그리고 이를 바탕으로 한 정책으로까지 잘 반영되지 있다고 말하기는 어려운 것이 사실이다. 이에앞서 고찰해 본 국내외 상황을 바탕으로 일차의료 연구를 가로막고 있는 도전 과제 및 극복방안에 대해 생각해 본다.


1. 일차의료와 그 중요성에 대한 인식 고취


일차의료 연구의 가장 큰 장애물은 일차의료 자체 및 그 중요성에 대한 인식 부족일 것이다[28,29]. 국내 의과대학 교육은 상대적으로 전문과 중심이며, 삼차진료 환경 중심, 보건학적인 관점보다는 임상적인 부분에 교육이 집중되어 있다. 이러한 상황에서 의대생과 일차의료 의사의 대부분은 물론, 심지어 연구를 중심으로 하는 연구자들조차 일차의료 자체에 대한 인식 및 그 중요성에 대해 절감하기 어려우며, 인식이 부족한 분야에 대한 연구가 이루어지기는 현실적으로 어렵다.


따라서 가장 근본적인 변화를 위해서는 일차의료 및 그 중요성에 대한 인식을 환기 위한 교육이 선행되어야 할 것이다.의과대학과정에서뿐 아니라 전공의 및 전문의들을 대상으로도 지속적으로 학회 차원에서의 세미나 개최 및 대한의사협회차원에서의 연수교육 필수화하는 등의 안을 통해 일차의료의기본 의미와 그 중요성에 대한 교육을 해나가야 할 것이다.


2. 연구에 대한 관심 고취 및 인센티브 마련


두 번째로 일차의료 연구의 걸림돌로는 연구 자체에 대한관심 및 유인동기 부족을 들 수 있다. 일차의료 연구의 특성상 실제로 일차의료를 수행하는 일차의료의사가 중심이 되거나 적극적 참여가 있어야 할 것이나 아무래도 개원의들의경우, 유인동기가 있지 않은 한 연구 자체에 대한 지속적 관심을 갖는 것이 쉽지 않은 것이 사실이다.


이를 위해서는 지속적으로 의학연수교육 주제로 일차의료 연구에 대해 다루고 우수일차의료 연구물에 대한 시상 등을 통해 관심을 고취하고, 연구물을 출판하는 개원의에게 연수교육을 면제해 주고 해외연수교육의 기회를 주는 등의 다양한 인센티브를 제공하는 것이 대안이 될 것이다.


3. 연구역량 강화프로그램


설령 일차의료 환경에서 일차의료 연구에 대해 관심이 있고 다양한 아이디어 및 문제인식이 생기더라도 연구방법, 논문작성, 통계 등 연구역량의 부족으로 적절한 연구까지 이어지지 못하는 경우도 많으리라 생각된다. 실제로 개원의 및전공의들을 대상으로 조사한 연구에서 연구수행의 어려움으로 자주 언급되는 것 중 하나가 바로 이런 연구역량의 부족이다[28,30-32]. 이러한 일차의료의의 연구역량 강화를 위해서는 다음과 같은 내용을 제안한다.


1) 지속적인 연구역량 강화교육


학회 및 대한의사협회 차원에서 온오프라인으로 다양한논문작성법, 통계, 연구방법론, 연구윤리, 영어논문작성 등연구역량에 강화교육을 지속적으로 시행한다.


2) 일차의료 연구지원센터


연구소나 대학, 종합병원에 있는 경우, 연구 및 논문작성에 대한 다양한 도움을 임상연구센터 등으로부터 받을 수 있는데에 반해 기관에 속해 있지 않은 경우, 이러한 지원은 물론이고 연구에 필요한 레퍼런스 논문을 읽는 작업부터가 쉽지 않다. 나아가 일차의료 연구와 관련하여 건강보험공단청구자료와 같은 기존의 데이터에 접근하는 것도 개인정보노출 등으로 일반연구자에게는 어려운 것이 현실이다.


예상되는 연구의 어려움을 줄여주는 창구 개설이 필요하다. 일차의료 강화는 의료서비스의 효율성 및 형평성을 증진시키는 국가적 이득을 가져올 수 있기에 정부가 연구지원센터를 직접 설립하는 것이 최상책일 것이다. 현실적 어려움이 있다면 민간에서 설립을 할 수 있도록 지원책을 마련하는 것도 가능할 것이다. 이러한 센터는 개원의를 포함한 많은 잠재적 일차의료 연구자를 대상으로 연구방법 및 논문작성 등에 대한 다양한 자문 역할도 담당할 수 있을 것이다.


3) 일차의료 연구자 양성프로그램


관심이 있는 연구자를 대상으로 지속적인 다양한 지원을통해 우수한 연구자를 발굴하고 양성해 나간다. 지원으로는재정적 지원, 연구비 지원, 교육과정 지원, 해외연수 기회 제공, 일차의료 우수연구자 수상 등의 방안이 있을 것이다.


4. 연구재원의 확충


설령 일차의료의 중요성에 대해 공감하고, 연구에 관심이있으며, 역량이 충분하다 할지라도 재정지원이 없이는 좋은연구결과를 도출하기는 쉽지 않다. 실질적으로 보건의료 연구의 경우 대부분이 기초 연구 및 3차 진료 중심, 고도의 장비 중심으로 편재되어 있어 이에 대한 정책적인 배려가 필요하다. 미국의 경우에 PCMH 개혁을 하면서 관련 논문들이많이 나오는 것을 보면 우리나라에서도 건강보험심사평가원과 같은 국가기관이 일차의료 개혁프로그램을 시행하면서 일차의료 연구가 이루어질 수 있도록 지원을 하는 것이하나의 대안이 될 수 있을 것이다. 또한 국민 건강영양조사,의료패널조사 등, 기존에 자료가 수집되어 있어 연구비가 들지 않는 대규모 국가데이터자료를 활용하는 것 또한 대안이될 것이다.


5. 연구네트워크의 활성화


앞서 나열한 많은 대책들은 대부분 상당한 재정지원을필요로 한다. 반면 연구네트워크의 경우, 상대적으로 적은재정적, 제도적 지원을 필요로 할뿐더러 앞서 장애물로 지적한 연구관심 고취, 연구역량강화 등의 역할을 자체적으로 해낼 수 있는 좋은 방법이다. 앞선 국내외 사례에서 볼 수 있듯이 많은 우수한 일차의료 연구결과들이 상당수 튼튼한 일차의료 연구네트워크를 바탕으로 하고 있다.


일차의료 연구네트워크의 형태로는 참여하는 인구구성에 따라 네 가지 형태를 제시할 수 있는데, 일차의료의사들로만 이루어진 일차의료 연구망, 대학과 일차의료의가 연계한 대학-일차의료 연구망(university-community researchnetwork), 지역사회의 다양한 보건의료 인력(예방의학, 의료관리학전공자, 보건정책, 보건행정 관련자 등)이 참여한일차의료-보건정책 연구망, 지역사회 거주자들까지 연구팀에 관련하여 의사결정에도 참여하는 형태의 지역사회참여일차의료 연구망(community-based participatory researchnetwork)까지를 생각해 볼 수 있겠다. 형태에 관계없이 그 중심에는 실제로 일차의료 현장에 있는 일차의료의가 있어야 할 것이다.


결 론


선진국과 개발도상국을 가리지 않고 의료의 효율성과 형평성 문제를 개선시키기 위한 좋은 방안으로 일차의료 강화가 부상하고 있다. 이러한 가능성을 구체화하기 위해서는일차의료 확대의 필요성과 공감대의 확보, 일차의료 연구 활성화의 사회적 분위기 형성이 필요하며 이러한 변화는 일차의료를 담당하고 있는 의료인을 대상으로 먼저 일어날 필요가 있다. 일차의료 강화를 위한 연구는 기존의 연구와는 환자의 특성, 진료 및 연구 환경에서 큰 차이를 보이므로 일차의료 연구에 있어 가장 효과적인 방법은 일차의료를 담당하고 있는 의료인을 연구 계획단계에서부터 참여시키는 것이다. 연구 시작부터 참여하는 일차의료 담당 의료인의 적극적인 협조로 성공적인 연구결과를 얻을 수 있으며, 이러한연구환경 조성은 필수적이라 할 수 있겠다. 하지만 아직까지는 연구비와 연구 관심의 부족, 저조한 참여율 등 장애요인이 더 큰 것으로 보여 기존 연구자들의 연구활동 강화가필요하며, 관심을 가지고 있는 의료인을 대상으로 적극적인참여 독려가 필요한 상황이다. 그리고 기존과는 다른 환경에서의 연구가 이루어지므로 새로운 연구방법에 대한 시행착오를 최소화 하여야 하며, 노력에도 불구하고 발생하는 문제 해결을 위한 시간이 필요하리라 예상할 수 있다. 일부 제안들은 당장 실행하기에는 많은 현실적인 어려움이 있을 것이다. 그러나 보건의료 부분을 포함한 최근의 정책결정의흐름이 근거기반정책 입안(evidence-based policy making)인 만큼, 산재한 일차의료의 여러 어려운 현실을 타개하기 위해서는 연구의 중요성이 그 무엇보다도 우선된다. 또한우리가 가진 수많은 우수한 의료 인력들의 일차의료 환경에서의 임상경험이 연구결과로 이어진다면 우리나라의 일차의료 현실에 적합한 진료를 하는 데에 있어 큰 도움이 될 것이다. 따라서 일차의료 연구를 위한 재정적인 투자와 동시에 일차의료 담당 의료인의 관심을 고취시키기 위한 홍보, 교육 및연구 네트워크의 강화가 꼭 필요한 시점이라 하겠다.





J Korean Med Assoc. 2013 Oct;56(10):899-907. Korean.
Published online October 15, 2013.  http://dx.doi.org/10.5124/jkma.2013.56.10.899 
Copyright © 2013 Korean Medical Association
Primary care research in South Korea: its importance and enhancing strategies for enhancement
Yu-Il Kim, MD,1 Jee Young Hong, MD,2 Kyoungwoo Kim, MD,3 Eurah Goh, MD,4 and Nak-Jin Sung, MD1
1Department of Family Medicine, Dongguk University Ilsan Hospital, Goyang, Korea.
2Department of Preventive Medicine, Konyang University College of Medicine, Daejeon, Korea.
3Department of Family Medicine, Inje University Seoul Paik Hospital, Seoul, Korea.
4Department of Family Medicine, Kangwon National University Postgraduate College of Medicine, Chuncheon, Korea.

Corresponding author: Nak-Jin Sung, Email: snj@dongguk.ac.kr 


Abstract

Lively discussion has been underway regarding primary care in South Korea as an alternative medical policy in the face of rising medical costs and health care disparities. However, the lack of research about primary care in South Korea makes it difficult to move policymakers, so it is time to enhance primary care research in South Korea. Primary care research can be defined as research directed toward the better understanding and practice of the primary care function. Primary care research traditionally has included basic research, clinical research, health services research related to primary care, health systems research, and research on primary care training; and each field is complementary. In primary care research, participation of primary care physicians is essential because primary care research is different from other conventional studies of disease prevalence, patient characteristics, diagnostic methods, and the treatment environment. Primary care research findings in other countries cannot be applied to South Korea as the characteristics of the health system and medical practice are different. To enhance the research on primary care in South Korea, financial assistance, promoting the research capacity of primary care physicians, and more attention from primary care physicians to research are needed.


공공기관 자료의 의학연구 활용원칙과 윤리지침

Ethical principles and practice guidelines concerning the usage of public database for medical researches

유 상 호1·이 중 엽2·이 기 헌3·이 일 학4·배 종 면5 | 1한양대학교 의과대학 의학교육학교실, 2서울대학교 의과대학 의학연구협력센터, 3서울대학교 의과대학 분당서울대학교병원 가정의학과, 4연세대학교 의과대학 의료법윤리학과, 5제주대학교 의학전문대학원 예방의학교실

Sang-Ho Yoo, MD1·Joongyub Lee, MD2·Kiheon Lee, MD3·Ilhak Lee, MD4·Jong-Myon Bae, MD5

1Department of Medical Education, Hanyang University College of Medicine, 2Medical Research Collaborating Center, Seoul National University College of Medicine, Seoul, 3Department of Family Medicine, Seoul National University Bundang Hospital, Seoul National University College of Medicine, Seongnam, 4Department of Medical Law and Ethics, Yonse



서 론

현재 우리나라에는 국민 생활 구석구석까지 구축된 전산화시스템에서 생산되는 대량의 자료들이 있어서, 전산화정보의 활용에 있어서 그 어느 나라보다도 높은 수준의 편리성, 신속성 그리고 효율성을 확보하게 되었다. 보건의료분야에서 전산화시스템의 활용을 통한 가치창출의 한 예로 개인별로 처방내역 전체를 검토할 수 있게 한 약물사용평가(drug utilization review) 시스템이 있다[1]. 이 시스템을 이용하여 개인식별자료를 활용하여 해당 환자가 처방 받은 내용을 능동적으로 분석하여 의약품의 오용과 남용을 막고 이로 인한 부작용으로부터 환자들을 보호하고 있다. 보건의료관련 전산화자료를 연구에 활용하여 임상진료와 정책결정에 기여할 유용한 정보를 만들어 낼 시스템을 개발하기 위하여 오늘날 선진국들은 치열하게 경쟁하고 있다. 미국의 경우 환자 1억 명의 진료자료를 통합하여 의학연구를 위한 데이터베이스를 구축하는 프로젝트인 Sentinel Initiative를 추진하여진료와 정책의 근거자료를 생산하고 있으며[2], 유럽에서는의약품의 시판 후 유효성과 안전성을 연구하기 위한 목적으로 유럽연합 회원국들의 보건의료 관련 데이터베이스를 통합하는 ENCEPP (The European Network of Centres for Pharmacoepidemiology and Pharmacovigilance) 프로젝트를 추진하고 있다[3]. 이는 행정기관의 전산시스템에 저장되어 있는 건강정보 자료를 적극적으로 활용하여 공공의 이익을 증진하는 좋은 예이다. 전산시스템에 저장되어 있는 방대한 자료를 연구에 활용할 경우, 개인 연구자가 수집하는 소규모 자료로서는 도저히 도출해 낼 수 없는 중요한 의학지식을 얻을 수 있기 때문에, 이러한 자료들은 잠재적 가치가 매우 큰 소중한 연구자료원이다.


그러나 국내의 대규모 전산자료를 활용하려는 연구자는다음의 두 가지 측면에서 큰 어려움을 마주하게 된다. 

    • 첫째로 법률적 측면이다. ‘개인정보 보호법’과 ‘생명윤리 및 안전에 관한 법률’이 각각 2011년 10월과 2013년 3월부터 시행되었다. 개인정보 보호법은그 취지가 개인정보 활용의 오남용을 막기 위한 것을 목적으로 하는것으로 개인의 건강정보를 보호의 대상인 민감정보로 분류하고 있고, 연구 등의 목적으로 건강정보를 사용하고자 할 경우 피험자의 동의를 받거나, 개인식별정보를 익명화하여야 사용할 수 있게 규정하고 있다[4]. 생명윤리 및 안전에 관한 법률은 개인의 건강정보를 개인정보로 정의하고 동의나 법적근거 없이는 비밀로보호할 것을 요구하고 있다[5]. 그러나 국외의 사례를 볼 때,이들 법령의 엄격한 규정을 충족시키는 동의획득절차 등이더 엄격해지면서 해당 법령들이 요구하는 조건들을 충족시키는 연구수행이 현실적으로 어려울 수 있다[6,7]. 
    • 둘째로 공공기관들의 자료관리와 운영 측면의 어려움이다. 여러 공공기관에 산재되어 있는 자료들을 연구목적으로 활용하는것과 관련된 법률적 장벽이 해결된다고 해도, 각 공공기관입장에서는 자료활용 관련 인력 및 자원의 확충이라는 추가부담이 있다. 또한, 전산자료들이 개별 기관별 자료수집 목적에 따라 관리되고 있기 때문에 여러 기관의 자료를 연계하여 분석하고자 할 때의 기술적인 문제를 해결해야 한다[8].


따라서 공공기관이 보유하고 있는 건강 관련 자료를 활용하는 연구를 활성화하면서 관련 법에 저촉되지 않게 하려면,익명화된 형태의 자료를 의학연구에 효과적으로 활용하는체계가 구축되어야 한다. 이러한 체계의 구축과 운영에 있어서 의학연구자측에서는 대규모 전산자료를 이용하는 연구의 특성을 이해하고, 자료의 활용에 대한 윤리원칙과 지침을 숙지하여 준수하는 것이 필요하다. 즉, 공공기관의 대규모 전산데이터를 활용하는 새로운 형태의 연구를 위한 인프라로서 연구자를 위한 윤리원칙과 활용지침이 필수적이다.따라서 본 종설의 목적은 의학연구자가 개인정보를 보호하면서도 공공기관의 자료를 연구 수행에 올바르게 활용할 수있도록 관련 윤리원칙을 제시하고, 해당 원칙을 준수하기 위한 활용지침을 개발하기 위한 것이다.


윤리원칙과 활용지침 개발을 위한수행 내용


1. 공익적 연구의 의미


공익적 연구를 정의하는 것은 또 하나의 연구작업이 될수 있다. 본 종설에서는 기존의 공익적 연구에 대한 정의를연구에 맞게 수용하는 것이 현실적이라고 판단하였다. 이에본 종설에서 공익적 연구란, 일반적으로 개인 또는 조직의사적 이익보다도 사회전체의 이익, 즉, 공익을 우선적으로고려하는 연구로 정의하였다. 여기서 “공익”은 공공재 생산및 공급, 특정 대상 집단의 정당한 이익보장, 다수의 이익을위한 재산권 제약, 공동체 불특정 다수의 이익 보호, 사회의보편적 가치 추구, 사회적 약자를 보호하는 형평성 추구, 사생활 및 개인정보 등의 개인 권리보호, 사회구성원 이익의균형적 반영(공정성), 공개될 수 있는 이익(공개성) 등으로파악할 수 있다[9]. 따라서 공익적 연구에서의 “공익” 개념은연구의 여러 단계, 즉, 연구의 주체, 목표, 방법, 기대성과, 결과 및 결과의 의학적 적용 등에 모두 적용될 수 있다. 다시말해서 “공익적 연구”란 연구자가 제시한 혹은 기대하는 연구결과들이 공공의료의 향상이나 보건의료정책 결정에 도움을 주는 연구라고 정의하였다.


2. 공공기관 자료들의 연계활용 현황


그동안 의학연구에 있어 공공기관자료 활용의 현황을 알아보기 위하여, 대한민국 의학한림원은 대한의학회를 통해산하 학회에게 ‘공공기관 자료의 의학연구 활용에 관한 자료들’을 공문으로 요청하였다. 수합한 9개의 연구결과물을 검토하여 본 결과, 연구목적에 따라 일개 공공기관자료만으로연구를 수행하는 경우와 다른 자료와 연계하여 분석하는 경우들이 있었다. 

    • 첫째 범주는 전체 국민을 대상으로 수집된공공기관의 자료를 특정 질환의 현황 및 통계치를 산출하는데 직접 활용되는 경우들이었다. 
    • 둘째 범주는, 연구자가 구축한 의무기록조사자료, 환자등록자료, 코호트구축자료, 건강검진자료 등에 공공기관 자료를 연계하여 특정 질환에 있어 특정 치료의 유효성과 안전성을 알아낼 목적으로, 또는특정 질환에서의 위험요인들을 규명할 목적으로 사용하는경우에 해당한다. 여기서 의학연구에 활용할 수 있는 공공기관 자료는 주로국가 보건의료사업을 추진하는 공공기관이 생성, 관리하고 있는 자료들이었다.


의학연구에 활용한 대표적인 공공기관과 해당 기관의 보유자료로는 건강보험심사평가원의 요양기관 청구자료, 국민건강보험공단의 자격 및 건강검진 자료, 질병관리본부의보고 및 조사자료, 통계청의 사망원인통계자료, 국립암센터의 한국중앙암등록자료, 보건사회연구원 및 고용노동부의패널자료 등이 있다[10].


한편, 본 종설에서 언급하는 공공기관은 공공기관의 운영에 관한 법률 제4조 내지 제6조의 규정에 따라 기획재정부장관이 지정·고시한 기관으로 한정하며[11], 유전체자료는 의료정보와차별화된 특성을 갖고 있어 본 연구의범위에서 제외하였다.


3. 윤리원칙과 활용지침 개발 과정


윤리원칙과 활용지침 개발을 위해2012년까지 공공기관자료 활용과 관련하여 국내에서 개최되었던 토론회자료와 국내 연구자들이 발표한 보고서들을 수합하여 그 내용을 분석하였으며, 의학연구에 활용할 수 있는 공공기관의 자료를 나열하고 그 특성을 살펴보았다. 또한 해외의 공공기관자료 활용과 관련된 문헌 및 온라인 사이트를 검색하여 자료 활용과 관련된 원칙, 운영 지침,서식 및 활용 사례 등을 살펴보았으며[12,13], 이들에 내재되어 있는 자료 활용지침과 연구자가 준수해야 할 윤리원칙 등을 도출하였다. 마지막으로 해외의 관련 법규를 살펴보았으며 도출된 윤리원칙과 활용지침과 비교 검토하였다. 이러한과정을 통해 얻은 정보를 토대로 연구원들 간의 brainwriting과the anti-problem 방식의 토론을 거쳐 공공기관자료를 활용할 의학연구의 종류와 정보의 내용을 결정한 다음, 공공기관 자료 활용의 윤리원칙을 도출하고, 각 원칙에 따라 연구자가 준수해야 할 활용지침을 개발하였다(Figure 1).


이상의 과정을 거쳐 도출한 윤리원칙과 활용지침이 적극적으로 보급되고 널리 활용되려면 사용자인 연구자 집단, 자료제공자인 환자대표 집단, 자료관리자인 공공기관 책임자,법조계, 보건복지부를 위시한 행정당국의 입장을 수렴하는절차가 필요하다. 이런 절차를 통해 관련 집단의 의견을 적극적으로 반영하여 필요한 부분을 수정할 수 있으며, 원칙과지침의 취지와 내용을 확산시키는 장으로 활용할 수 있을 것이기 때문이다. 따라서 이번 개발 과정에서는 한국의료윤리학회의 검토와 자문을 거쳐 윤리원칙과 활용지침의 일부 내용을 수정하였고, 관련된 여러 학회에서 원칙과 지침의 구체적인 내용과 개발 과정에 대해 공개 발표한 후 얻어낸 자문의견을 적극적으로 반영하여 최종안을 확정하였다.







3대 윤리원칙 및 8개 활용지침


Figure 1에서 제시한 과정을 통해 도출한 공공기관 자료활용에 있어 연구자가 준수해야 할 윤리원칙은 공익성 보장,개인정보 보호, 투명성 확보의 3대 원칙이다(Table 1). 이3대 원칙 각각에 있어 연구자가 따라야 할 활용지침은 다음과 같다.



1. 공익성 보장 원칙에 따른 활용지침


공익성 보장 원칙이란 공공기관의 자료는 공공재 성격을갖기 때문에 연구의 목적과 최종 산물의 활용은 공익성을 보장해야 한다는 원칙을 말한다. 여기서 공익성이란 ‘연구자가제시한 또는 기대하는 연구결과들이 공공 보건의료의 향상이나 정책 결정에 도움이 되는’ 경우를 말한다. 이렇게 공익성 보장의 원칙이 반영되기 위해서 다음 2가지 활용지침을제시한다.


1) 연구목적 및 기대효과에 의거한 활용 제한


공공기관의 자료의 의학연구에 있어서 활용은 목적뿐만아니라 기대효과에 있어서도 공익성이 보장되도록 자료 활용을 규정해야 할 것이다. 공공연구기관이 그 설립 목적을달성하고자 직접 수행하는 연구라면 공익성을 인정할 수 있겠지만, 연구자 개인이나 사기업이 사적인 이익을 목적으로수행하는 연구라면 공익성을 주장하기 어려울 것이다. 

      • 예를들어 국민을 대상으로 갑상선암의 발생 추세가 어떠한지를알아보기 위해 일개 공공기관의 자료로 파악할 경우, 또는그 증가의 원인 중 초음파 검진이 차지하는 비중은 얼마인지를 알아보기 위해 다른 기관의 자료와 연계하여 사용한다면분명히 연구목적과 기대효과 측면에서 공익성이 있다고 판단할 수 있다. 그 결과는 의학연구자뿐만 아니라 보건의료행정당국, 나아가 국민에게 직간접적으로 도움이 되기 때문이다. 
      • 그러나 또 다른 예로 만일 공공기관의 자료를 제약회사가 신약의 개발이나 자사 약품의 판촉에 활용한다면, 또는벤처 기업이 관련 주식 가격에 영향을 주기 위하여 사용한다면 이는 공익성이 결여된 사용이라 할 것이다. 따라서, 사익을 목적으로 하는 임상연구의 경우 공공기관 자료의 활용을배제하여야 할 것이다. 물론 연구의 주체가 영리 기업이라고 하더라도 공익적 목적으로 연구 수행이 되는 경우가 있으며, 반대로 공공기관의 연구비를 수주하여 추진되는 연구자주도 임상연구가 연구자의 사적 이익을 추구하는 경우도 있을 수 있으므로, 연구주체가 영리기업 또는 기타 영리단체인지 여부를 가지고 공익성을 판단하는 것은 아니며, 최종적으로는 총체적 연구목적 및 기대효과를 검토하여 공익성이 충분히 인정되는 경우에만 공공기관 자료를 활용할 수 있도록해야 할 것이다.


연구책임자는 연구목적 및 기대효과에 의거한 활용 제한을 숙지하고 수행할 연구의 목적과 결과 활용에 대하여 공익성을 보장할 책무를 가진다. 그리고 여기서 해당 연구의 공익성 여부를 검토하고 승인하는 주체로서 기관윤리심의위원회(institutional review board, IRB)나 자료를 관리 운영하고 있는 공공기관의 심의기구가 공익성 여부를 검토하는과정을 반드시 거치도록 한다. 해당 위원회나 심의기구는공익성 개념에 대한 나름대로의 판단 기준을 설정해야 하며,자체적으로 운영규정을 가지고 있어야 한다. 이러한 규정에따라 해당 위원회는 연구책임자에게 연구계획서 내에 연구목적과 기대효과가 공익성임을 밝히도록 요구하고, 덧붙여서 공익성 자료 활용을 요청하는 협조 공문서 첨부, 연구비지원 기관 명시화, 연구 참여자들의 이해상충 선언 각서 등을 제출할 것을 요구해야 할 것이며, 연구책임자는 이에 성실히 응해야 한다.


2) 연구 참여자의 이해상충 선언


연구에 참여하는 모든 연구자는 연구 시작부터 종료까지발생 가능한 이해상충을 모두 공개할 책무를 가진다. 앞서공익성 보장을 위해 연구주체가 기업이나 영리단체가 아니더라도 연구목적과 기대효과의 공익성에 따라 자료활용을제한해야 한다고 언급하였다. 그 배경에는 표면적으로는 특정 학회나 연구회가 주도하는 경우라 하더라도, 관련된 제약회사나 의료기기회사 등의 영리활동과 직간접적으로 연관되어 있다면 공익성을 해칠 가능성이 있기 때문이다. 따라서 연구 참여자 모두는 이해상충 여부에 대해 연구계획서 심의 단계부터 공개해야 할 것이다. 이렇게 선언한 내용을 근거로 IRB와 공공기관 심의기구는 공익성 원칙을 지킬 수 있는지 여부를 심의하고, 승인된 경우에만 자료제공이 이루어져야 할 것이다. 또한, 연구가 시작된 이후에도 이해상충에변화가 있다면 해당 연구자는 즉시 연구책임자를 통해 IRB와 공공기관 심의기구에게 보고할 의무를 갖도록 시스템을갖추어야 할 것이다.




2. 개인정보 보호 원칙에 따른 활용지침


사생활 및 개인정보 등의 개인 권리보호가 공익의 중요한속성이기 때문에, 연구목적이나 결과의 활용이 공익성을 갖는다고 하더라도 자료의 활용 과정에서 개인정보 보호 원칙이 지켜지지 않는다면 연구를 통하여 공익성을 실현하였다고 주장할 수 없다. 이에 개인정보 보호 원칙은 공익성 보장원칙과 동등한 비중을 가지며 상호연결되어 있다고 할 수 있다. 공공기관 자료 활용을 신청하는 연구자는 개인정보 보호원칙이 훼손되지 않도록 준수할 활용지침은 다음 4가지이다.


1) 연구대상자의 서면동의


연구책임자는 공공기관 자료 사용과 연계의 필요성을 연구대상자에게 설명하고 서면으로 동의를 확보할 책무를 가진다. 한편 질병의 현황분석이나 통계산출을 목적으로 단일공공기관의 자료를 활용하는 경우에는 연구자가 개인식별정보를 직접 사용하지 않아도 되기 때문에, 개인식별자를 제거한 자료만을 활용하여도 연구수행이 가능하다. 다시 말해서, 연구의 목적이 공익성에 부합되고, 자료제공자인 개인에게 돌아갈 위험이 없는 연구에 대해서는 서면동의의 면제가가능하다. 오히려 원칙만을 강조하여 개인별로 연락하고 동의를 받도록 요구한다면, 동의의 과정에서 이루어지는 개인식별로 인하여 위해가 발생하거나 연구수행 자체가 불가능해질 수도 있다. 

      • 예를 들어, 가습기 살균제의 사용이 특발성폐렴의 발생과 관련이 있다는 가설이 제기되어서, 관련 학회가 주축이 되어 지난 10년 동안 분만실에 입원했던 산모를대상으로 퇴원 3-4개월 후 특발성 폐렴 발생 현황과 추세가어떠한지를 건강보험심사평가원 청구자료를 사용하여 분석해 본다고 가정해보자. 이 경우는 개인식별 정보를 제거하고 연구목적의 정보만 연구자에게 제공되어도 연구가 가능하기 때문에 연구참여자에 의한 서면동의를 면제할 수 있을것이다. 

그러나, 공공기관의 자료를 연계하여 활용하는 경우에는 자료 연계를 위해 개인식별 정보를 연구자가 직접 처리하는 것이 불가피하며 이에 따른 위험을 고려하여 연구참여자에 의한 서면동의가 필요할뿐만 아니라 자료를 제공하는 공공기관 입장에서도 개인정보 보호법에 저촉되지 않도록 하는 절차로서 서면동의가 필수적으로 요구된다.전향적으로 환자를 등록하거나 코호트자료를 구축하면서, 개인식별 정보를 이용한 자료 연계에 대해서는 이에 대한 서면동의를 사전에 확보해야 한다.


문제는 갑작스럽게 발생한 보건문제를 해결하기 위해서불가피하게 후향적으로 연구대상을 모으고 공공기관 자료를 연계해야 하는 경우이다. 만약 기존의 다른 법령에 의해연구 수행의 법적 근거가 있어 개인정보를 활용할 수 있으면다행이지만, 그렇지 못한 경우는 어떻게 해야 할 것인가? 

      • 앞선 예에서, 가습기 살균제의 사용이 특발성 폐렴의 발생과관련이 있다는 가설이 제기되면서, 인과성을 분명히 규명하기 위하여 관련 학회가 심평원 청구자료와 국민건강보험공단 상병자료를 연계한 자료를 이용하여 추적조사를 한다고가정해보자. 가설이 옳다면 향후 예방 가능한 폐렴 발생을막을 수 있는 기회를 갖는다는 공익적 가치 때문에 공익적연구로 볼 수 있으며, 시급성 때문에 불가피하게 후향적 연구로 수행해야 하는 것을 인정할 수 있다. 이 경우 이미 퇴원한 산모의 연락처를 알아내어 개별 접촉해서 자료연계의 동의를 받는다는 것은 연구 수행을 지연하거나 불가능하게 할뿐만 아니라 개인정보 보호 원칙에도 오히려 어긋난다고 할수 있을 것이다. 현실적인 해결 방안은 IRB나 해당기관의심의기구가 연구 목적이나 활용 면에서 공익성이 확보된다고 판단할 수 있다면 개인정보 보호를 위한 윤리지침을 준수한다는 것을 조건으로 자료를 활용할 수 있도록 하는 것이다. 

따라서 실태조사처럼 개인의 식별정보를 활용하지 않는연구를 포함하여, 불가피하게 후향적 연구를 수행해야 하기에 자료연계에 대한 개인의 서면동의를 받기가 불가능한 경우라면, IRB와 해당기관 심의기구 입장에서 공익성 보장과개인정보 보호를 위한 윤리지침을 준수하고 있는가를 확인한 다음 서면동의를 면제하고, 공공기관 자료 활용을 허용하는 것이 현실적 대안이다[14]. 다시 말해서 후향적 연구라 할지라도 연구책임자는 개인정보 보호의 윤리지침을 반드시준수해야 하며, 서면동의 면제의 불가피성을 IRB와 공공기관 자료제공 심의기구에게 설명해야 한다. 반면에 전향적연구를 수행하는 경우라면 연구책임자는 공공기관 자료연계에 대하여 반드시 연구참여자로부터 서면동의를 확보해야 할 것이다.


2) 자료연계용 변수의 최소화


연구책임자는 공공기관 자료연계에 사용할 개인정보를최소화해야 하며, 그 타당성을 확보해야 한다. 자료연계 과정에서 개인정보의 보호뿐만 아니라, 오남용을 막기 위해서는 연계에 사용할 변수는 최소화해야 한다. 연계변수는 자료를 연계할 때만 사용하고, 연계가 완료된 후 삭제하며, 이후 분석에는 연구자료 내에서만 대상자를 확인하는 연구용식별자인 관리변수를 생성하여 활용한다[10]. 연구책임자는활용할 연계변수의 필요성을 제시할 수 있어야 하며, IRB나공공기관 자료제공 심의기구는 해당 변수의 사용에 대한 타당성을 검토해야 한다.


3) 자료연계용 변수 보안 책임


연구책임자는 자료연계 과정의 실무를 담당할 인력(연계관리자)을 따로 지정해야 한다. 연계관리자는 연계변수의보안에 우선적 책무를 가진다. 연계를 하기 전에 관리변수를 따로 생성해서, 연계변수-관리변수만이 담긴 전산파일을연계할 공공기관에 제출한다. 향후 연계변수-관리변수가 담긴 신청 파일은 연계관리자 본인만이 열람할 수 있도록 보안및 관리할 책임을 우선적으로 부여한다[10].


자료제공을 하는 공공기관은 제출받은 전산파일을 이용하여 자료를 연계한 다음, 연계변수를 삭제하고 관리변수와연구용 정보만이 담긴 전산파일을 연구책임자에게 전달한다. 연구책임자는 수령한 전산파일에서 연계변수가 없고 관리변수와 연구용 정보만이 있음을 확인하고, 이를 분석작업에 사용한다. 즉, 연계용 개인식별자는 반드시 다른 파일로개별 보관해야 하며, 연계 후에는 개인식별정보를 삭제한 상태에서 연구를 수행하여야 한다. 만약 분석과정에서 대상자관리가 필요하다고 판단될 경우에 연구책임자는 정해진 서식과 절차에 따라 연계관리자에게 연계변수-관리변수 파일을 열람하고 필요한 사무를 처리하도록 한다. 이 확인 작업은 연계관리자만이 수행하도록 하여 연계변수-관리변수 간의 기밀을 최대한 유지하도록 하고, 진행과정은 모두 문서로기록해야 한다[8,10].


4) 연계자료의 보안관리 및 폐기 준수


연구책임자와 연계관리자는 연계자료의 보안관리 및 폐기를 준수할 책무를 가진다. 연구가 종료된 후에는 개인식별자 파일을 비롯한 연계한 자료 모두를 폐기하여야 하며,이후 다른 목적의 연구에 임의로 재활용되지 않도록 해야 한다. 코호트연구 같이 장기간의 추적관찰이 필요하여 재활용이 필요하다고 판단되는 경우에는 사전에 연구계획서에 이를 반영하여 IRB와 공공기관 자료제공 심의기구의 검토와승인을 받도록 해야 한다. 이러한 보안관리 및 폐기에 있어연구책임자는 관리 책임을 지며, 연구책임자가 지정한 연계관리자는 실무 책임을 진다. 특히 연계변수-관리변수가 담긴 파일은 연계관리자가 우선적으로 폐기하고 그 사실을 문서로 남겨서 자료제공 기관에게 통보해야 한다.




3. 투명성 확보 원칙에 따른 활용지침


투명성은 두 가지 측면-공공기관 자료 제공의 조건에 대한 명료성과, 중복 연구를 예방하고 성과를 확산시키기 위한연구 수행 전반의 공개성-에서 살펴보아야 한다. 이들 측면에서 준수할 활용지침은 다음 2가지이다.


1) 명료한 자료제공 조건 준수


연구책임자는 해당 기관이 요구하는 자료제공의 요건을준수해야 한다. 따라서 자료를 제공하는 공공기관은 자료제공을 위한 조건들을 문서화하고, 신청자에게 공익적 연구를보장하는 관련 서류와 요건을 갖추도록 요구해야 할 것이다. 만약 이러한 조건을 구체화하지 않으면 공공재인 공공자료를 특정 연구자 혹은 특정 기관만이 활용하는 사유화 현상이 생길 수 있으며, 아예 사용할 수 없는 상태가 될 수도있기 때문이다. 특히 자료를 제공하는 공공기관의 장은 이러한 자료제공 업무가 기관의 주요 업무 중 하나라는 점을분명히 인식하여 자료제공과 관련된 실무를 맡을 조직과 인력을 확보하고 운영체계를 갖추어야 한다.


2) 연구수행 전반에 대한 공개의무 준수


연구책임자는 공공기관 자료 활용과 관련된 정보를 공인된 연구등록시스템에 등재해야 한다. 공공기관의 자료는 공공재라는 점에서 공익적 목적의 활용을 적극적으로 권장해야 하지만, 만약 동일한 연구주제에 대하여 동일한 자료를중복하여 사용한다면 연구자원의 낭비라는 측면에서도 문제가 되겠지만, 개인정보 보호라는 측면에서 문제가 될 수있다. 따라서 이미 진행 중인 연구과제에 대해서는 다른 연구자가 열람할 수 있도록 연구계획서를 포함한 관련 정보를공개할 수 있는 연구등록시스템을 활용하는 것이 요구된다.자료를 공개하는 시기는 자료제공의 승인을 받은 후 연구를착수하기 직전이 적절할 것이다. 또한 연구수행으로 얻은연구결과에 대해서도 반드시 해당 시스템에 등록하도록 연구책임자에게 요구해야 할 것이다. 왜냐하면 공익적 연구로얻은 결과가 사회와 국민에게 최대한 확산되고 활용될 수 있도록 하기 위함이며, 자료제공 기관이나 연구자에게 민감하거나 불편한 연구결과가 나올 경우 이런 결과가 사장될 가능성을 배제하기 위함이다.


이상의 연구등록시스템은 자료를 제공하는 공공기관의홈페이지에 등록할 수 있도록 전산체계를 보안하면 가능할것이다. 새롭게 개발하는 것이 어렵다면 기존의 연구등록시스템을 활용하는 방안도 현실적으로 가능하다. 이미 국제적으로는 임상연구와 관련된 모든 연구계획서를 연구시작과함께 등록하는 ClinicalTrials.gov 시스템이 있으며[15], 이곳에 등록할 때 부여받은 과제번호를 논문을 출판하는 과정에서 보통 요구하고 있다. World Health Organization(WHO)에서도 2005년 8월부터 임상연구의 투명성과 타당성 강화를 목적으로 International Clinical Trial RegistryPlatform (ICTRP)을 구축하기로 결정하였으며[16], 우리나라에서도 WHO ICTRP와 연계하는 임상연구정보서비스(Clinical Research Information Service, CRiS) 시스템을개발하여 운영 중에 있다[17].

결론 및 제언


‘공공데이터의 제공 및 이용활성화에 관한 법률’이 2013년7월 30일 제정되어, 2013년 10월 31일 시행될 예정이다[18].제1조 에서 ‘공공데이터의 민간활용을 통환 삶의 질 향상’을목적으로 제시하고 있다. 의학연구는 질병치료와 예방 나아가 국민건강 증진을 목적으로 한다는 점에서 해당 법률의 취지에 맞추어 공공기관의 자료를 적극 활용해야 한다. 이에부응하여 본 종설을 통해 공공기관 자료 활용에 있어 연구자가 준수해야 할 3대 윤리원칙과 8개 활용지침 안이 도출되었으며(Table 1), 이를 의학연구자와 공공기관 및 규제당국에제시하고자 한다. 개별 의학연구자는 본 종설을 통해 도출한 이들 원칙의 취지를 잘 이해하고 지침을 준수해야 하며,공공자료를 생성·보유하는 기관들은 자료생성 및 가공에있어서의 공통의 표준체계를 갖추고, 규제당국은 준수여부평가 및 규제 체계를 잘 구축할 때에, 본 원칙과 지침이 우리나라에서 효과적으로 역할을 할 수 있을 것이며, 공공자료활용 연구 및 그로 인한 사회적 이득이 극대화 될 수 있을 것이다. 의학연구는 사회적 신뢰를 바탕으로 할 때, 국민건강증진을 위한 보건의료 근거 창출의 임무를 제대로 수행할 수있기 때문이다.






J Korean Med Assoc. 2013 Nov;56(11):1031-1038. Korean.
Published online November 14, 2013.  http://dx.doi.org/10.5124/jkma.2013.56.11.1031 
Copyright © 2013 Korean Medical Association
Ethical principles and practice guidelines concerning the usage of public database for medical researches
Sang-Ho Yoo, MD,1 Joongyub Lee, MD,2 Kiheon Lee, MD,3 Ilhak Lee, MD,4 and Jong-Myon Bae, MD5
1Department of Medical Education, Hanyang University College of Medicine, Seoul, Korea.
2Medical Research Collaborating Center, Seoul National University College of Medicine, Seoul, Korea.
3Department of Family Medicine, Seoul National University Bundang Hospital, Seoul National University College of Medicine, Seongnam, Korea.
4Department of Medical Law and Ethics, Yonsei Universtiy College of Medicine, Seoul, Korea.
5Department of Preventive Medicine, Jeju National University School of Medicine, Jeju, Korea.

Corresponding author: Jong-Myon Bae, Email: jmbae@jejunu.ac.kr 
Abstract

In this paper, ethical principles and practice guidelines concerning the usage of public database for medical researches were developed and proposed. Although there are several personal health databases with comprehensive information of each individual, researches aiming at public good are often hindered because of legal, managerial and technical barriers to the usage of public databases. Ethical principles and guidelines are indispensible to promote medical research that will benefit society while protecting personal information from bleaching and abuse. These principles and guidelines should be a basis of trust and supports from society. For this purpose, the meaning of public good was given, and the current status of the linkage and usage of public databases were explored. As a result, three ethical principles-guaranteeing public good, protecting personal information, and transparency were established and eight recommendations were proposed.

Keywords: Medical ethicsCodes of ethicsPractice guidelineDatabase management systems,Medical record linkage.


의학 학술지 및 종합 데이터베이스 누리집 이용에서 새로운 개념과 출판윤리의 이해

An Understanding of New Concepts and Publication Ethics in the Use of Online Medical Journals and their Database Web Sites

배 종 우* | 경희의학전문대학원 소아청소년과 | Chong-Woo Bae, MD

Department of Pediatrics, Kyunghee University School of Medicine, Seoul, Korea

함 창 곡 | 한양의대 영상의학과 | Chang-Kok Hahm, MD

Department of Radiology, Hanyang University College of Medicinea, Seoul, Korea

* Corresponding author: Chong-Woo Bae

E-mail: baecw@khnmc.or.kr





서 론


과거 인쇄 출판물에 의존하던 의학 학술지 시대에서, 최근 의학논문 학술지는 누리집(journal homepage)의웹싸이트를 구축하여 보다 편리하게 운영되고 있다. 논문의작성, 투고, 심사, 열람, 자료 축적 등을 누리집을 통해할 수있게 되었다. 또한 한 개의 학술지 누리집이 아니라 여러 의학학술지들을 함께 모은 종합적인 데이터베이스 누리집들도 활발하게 운영되고 있어, 언제 어디서라도 쉽게 접근하여, 이용하고자하는 목적에 맞게 활용 할 수 있는 시대가 전개되었다.


하루에도 전 세계적으로 수많은 의학 관련 논문들이 쏟아져 나오고 있는 홍수 속에서, 자신이 목적하는 논문의 자료를 취사선택하거나, 자신의 논문 내용을 누리집을 통해 전세계 여러 사람에게 널리 알리는 것은 중요하며, 이를 위해종합적으로 운영되고 있는 의학논문 데이터베이스 누리집의 운영에 대하여 이해를 잘하여야만 저자로서 독자로서 자신의 목적을 효과적으로 달성할 수 있을 것이다.


대한의사협회지(Journal of the Korean Medical Association,J Korean Med Assoc)도 국제화를 표방하여 국제적 기준과 디지털 사회에 발맞추어, e-journal 학술지 운영의 필요성을 절감하여 대한의사협회지의 학술지 누리집(jkma.org)[1]20107월에 개설하여 운영하기 시작하였다. 시대에 발맞추어 독자의 요구에 부응하는 고무적인발전으로 사료된다. 과거 인쇄물에만 의존하던 시대에서 발전하여 디지털 시대로의 발전과 국제화로의 도약을 이룩한것이다. 이 누리집들의 내용, 기능, 운영 방식은 하루가 다르게 나날이 발전하고, 새로운 내용을 업데이트하고 있다.변화의 중심에서 그 변화를 잘 파악하고 변화를 자기 것으로 수용해야 그 큰 발전이 있을 것이다.


필자들은, 의학논문 데이터베이스 누리집의 사용에 있어서 알아야할 운영시스템 상에서 새롭게 제시되는 개념들과이와 관련된 출판윤리 부분을 정리하여 소개하여 독자들의이해를 돕고자 본 종설을 기술하고자 한다.


의학논문 종합 데이터베이스 누리집운영시스템 이해


1. 국제표준도서번호(ISBN), 국제표준연속간행물번호(ISSN)


1960년대 말에서 1970년대에 출판 양의 급증과 컴퓨터의 발달로 인하여, 전 세계에서 출판되는 각종 출판물에 컴퓨터를 이용하여 간단히 식별 처리할 수 있는 국제적으로표준화된 식별번호의 필요성이 대두되었다[2].


이에 따라 도서에는 국제표준도서번호(InternationalStandard Book Number, ISBN), 연속간행물에는 국제표준연속간행물번호(International Standard Serial Number,ISSN)가 도입되어 운영되고 있다. ISBN을 총괄적으로운영하기 위한 국제ISBN관리기구(International ISBNAgency)1972년 독일 프러시아 문화재도서관(현 베를린주립도서관)에 설치되었으며, 2006년부터 현재까지 영국런던의 EDItEUR에서 ISBN 업무를 담당하고 있다. ISSN국제센터(ISSN International Center)1972년 프랑스 파리에 설치되어 전 세계적으로 ISSN을 체계적으로 관리운영하고 있다[2].


우리나라에서는 국립중앙도서관 한국문헌번호센터가 국가관리기구로 지정되어, 1990년부터 국제 ISBN관리기구에가입하여 운영하고 있으며, ISBN ISSN의 국내 번호 관리 및 데이터베이스 등 메타데이터를 구축하여 관련 정보를제공하고 있다[2].


ISSN에서 최근 웹싸이트를 통한 e-journal의 등장으로,ISSN도 프린트 잡지에 부여하는 ISSN (print, pISSN)e-journalISSN (electronic or online, eISSN)으로 구분하여 사용하고 있다(The ISSN, the international identifierfor serials and other continuing resources, in theelectronic and print world)[3]. 한 제목의 잡지가 pISSNeISSN의 운영에서 같은 내용을 인쇄물과 웹싸이트에서동일 내용을 게재하는 것도 있고, 일부 혹은 전부의 내용이다른 잡지도 있다. 또한 pISSN은 없이 전적으로 eISSN만을발행하는 잡지도 있다.



2. 개방/무료 학술지(Open Access/Free Access Journal), Creative Commons License


상업 학술지의 개념에 반하여, 개방 학술지에 대한 개념의 정립은 20034월에 미국에서 Bethesda Statement onOpen Access Publishing 이라고 불리는 원칙을 만들어 소개함으로 시작되었다. 이 내용에서 개방 학술지는 다음 2가지 조건을 충족하여야 한다고 하였다[4]. 

    • Creative Commons License 에 따라 저자 및 저적권자가 모든 사용자가내용을 디지털 매체로, 무료로, 변경하지 않고, 전 세계에언제든지 접근할 수 있는 권리가 있어서 복사하거나 사용하거나 나누어주거나, 이전하거나, 보여줄 수 있는 요건을 보장하고 파생된 일을 배포할 수 있도록 하며, 저자되기의 적절한 귀속을 위임하고, 또한 소량의 부수를 복사하여 인쇄물로 가질 수 있는 권리를 부여하는 것이다
    • 완벽한 최종연구 산물을 부속자료, 수락문과 함께 표준 전자형태로, 발간 즉시, 최소 하나 이상의 교육기관, 학술단체 또는 정부기관이나 기반이 확고한 기관이 지원하는 온라인 저장소에 두어 개방이 가능하여 어디서든지 제한 없이 접근하고 오래 저장할 수 있도록 하여야한다(예를 들어 PubMed Central과같은 곳이다).


이 개방학술지라는 표기는 Medline의 평가항목에서 중요한데, 개방학술지로 가려면 당연히 영어로 작성하여PMC 등재를 목표로 하여야하고 그렇게 하여야만 개방학술지로 발행하는 의의가 있다[5].


미국국립보건원에서는 국민의 세금에 의해 지불하는 연구비에 의한 결과물인 논문이 상업 학술지에 게재됨으로써,많은 사람들이 열람하여 논문 내용을 쉽게 볼 수 없으면 바람직하지 못하다고 생각하여, 개방학술지의 모델을 2000년도부터 구상하여 PMC 웹싸이트를 구축하여 개방학술지를수용하여 제공하고 있는데, 2009년 말까지 전 세계적으로약 662종이 실려 있고[5], 한국의 의학 학술지도 많이 참여하고 있어 20106월 현재 30종이 등재되어 있고, 현재2개 학술지가 등재 작업 중에 있다[6]. 학술지의 논문이 독자들에게 쉽게 접근하여 무료로 연람할 수 있어야하고 전세계적으로 잘 소개되어 많은 독자가 연람을 하며 좋은 논문이 많이 인용되어 피인용지수가 높아지기 위해서 각 학술지는 개방 학술지로 가야할 것이다. 과거 각 학회의 누리집처럼 회원들만 로그인하여 들어가야만 논문을 볼 수 있던시대는 이미 지나간 시대의 산물이다. 즉 국내의 학술지도회원이 아니라도 논문을 볼 수 있는 학술지 누리집을 구축하여 개방을 하고, 나아가 국제적인 PMC에 등재하여 국제화를 기해야할 것이다[5].


한국에서도 이에 발맞추어 대한의학학술지편집인협의회(The Korean Association of Medical Journal Editor)에서는 2001년부터 초록 만을 제공하는 국내 의학논문 데이터베이스 누리집인 KoreaMed[7]를 제공하고 있는데, 201071일 현재 국내 164종의 의학 학술지가 등재되어 있고. 이중에서 109종은 그 논문의 오리지날 학술지의 누리집으로 연계되어 전문을 볼 수 있는 링크 시스템이 구축되어있다[6]. 이에 나아가 논문의 전문을 무료로 제공하는 개방형 데이터베이스인 KoreaMed Synapse[8]라는 데이트 베이스 누리집을 2007년도부터 구축하여 201071일 현재 국내 76종의 의학계열 학술지가 무료 열람되고, 논문의전문과 함께 각 구성(, 그림 등등)을 무료로 제공하고 있고[6], 이는 전 세계적으로 매우 앞서가는 시스템으로 국내외에서 많은 호평을 받으며 잘 운영되고 있어 개방형 데이트 베이스 누리집의 모델을 제시하고 있다. KoreaMedKoreaMed Synapse의 성공적인 운영은 아시아태평양의학학술지편집인협의회(APAME)의 탄생에 중추적인 역할을 한국이 담당하게 되었고, 이 사업은 한국이 주도하여운영되고 있다.


3. Digital Object Identifier (DOI)/ CrossRef


온라인상의 디지털 지적 재산에 부여하는 알파벳 숫자 기호 체계로 디지털 지적 재산은 책, 학술지, 그림, 음악 등 지적재산이 되는 것은 전부 말한다. 이 기능은 각 논문에 대해전 세계적인 고유의 기호를 부여하여 언제든지 그 대상을찾아갈 수 있도록 하는 것으로 1998년부터 사용되기 시작하였다. 즉 예를 들어 한 논문에 대해 전 세계적으로 통용이되는 주민등록번호를 부여하는 것이다. 자료가 HTML,XML, PDF, JPG와 같이 다양한 형태일지라도 하나의 통일된 원칙에 의한 DOI가 부여되면, 쉽게 자료에 접근할 수 있는 것이다. 매우 편리한 제도인 것이다[5].


구조는 prefix+suffix형태로 되어 있는데, prefix는 국제DOI 재단이 부여하고, suffix는 발행인이 부여한다. Prefix는 항상 10으로 시작하고 다음에 마침표를 찍고, 다시 수자로만 구성되는 4자리의 발행처 고유번호를 부여한다.Suffix는 발행처에서 부여하는데, 학술지별로 무한대의 학술지에 부여할 수 있다[9].


대한의사협회지에서도 20077월호부터 각 논문에서DOI를 기록하기 시작하였는데, 예를 들어 20107월호에대한의사협회지(J Korean Med Assoc)에 게재된대장직장암의 영상의학적 진단 (저자: 김아영)’논문의 상단에 부여된 DOI의 예를 보면 <DOI: 10.5124/jkma.2010.53.7.380>으로 5124는 대한의사협회지의 고유번호이고, 2010537380페이지의 논문이라는 것을 의미하고 있다[10].


CrossRef[11]란 것은 2000년 국제적인 학술지 발행 출판사가 중심이 되어 조직한 Publishers International LinkingAssociation. Inc. (PILA)를 비롯한 여러 학술지 출판사가 DOI작업을 위하여 조직한 기구이다. DOI 대행 기관중 전문학술지나 도서의 DOI 부여를 공식적으로 대행하는기관이 CrossRef이다. DOI/CrossRef에 참여하면 쉽게 참고문헌에서 전문으로 찾아갈 수 있다. 참고문헌에서 끊김없이 원문을 쉽게 볼 수 있으므로 인용을 자주하게 되고 피인용지수를 높이는데 효과가 있다. 가령 여러분들이 어떤누리집에서 한 논문을 볼 때, 참고문헌 목록 중에서 보고 싶은 참고문헌이 있을 때, 그 논문이 CrossRef에 연계 되어 있는 표시가 있으면, 바로 크릭을 하면 원문의 전문으로 연결되는 시스템으로 매우 편리한 것이다. KoreaMed Synapse에서도 이 시스템이 구축되어 있어, 매우 편리하게 사용할수 있다[5].


대한의사협회지도 20107월호부터 학술지 전문 누리집을 구축하여, 참고문헌 목록에서 CrossRef 시스템을 도입 운영하고 있어 독자들은 더욱 편리하게 참고문헌에서 그문헌의 원문으로 접근할 수 있게 되어 고무적이고 발전적인것이다.


누리집 이용과 관련된 출판윤리의 이해


1. 저작권 이양(Copy Wright Transfer)


한 논문의 모든 저자들은 저자되기에 동의하여, 논문 제출 시에 저자되기에 동의하는 서류를 제출하여야하고, 저작권이 학술지의 발행인이 되는 것에 동의하는 이양서를 제출하여야한다. 즉 논문이 발행되면, 그 논문에 대한 저작권은학술지의 발행인이 소유하게 된다. 흔히 학술지에 게재된논문의 저작권이 저자에게 있는 것으로 오해하는 경우가 많은데, 발행인에게 이양된 것이다.


가령 이중게재 사례가 발생 하였을 때, 처음 게재된 학술지의 내용에 대한 저작권을 2번 째 게재하는 학술지가 침해하는 행위가 됨으로, 이중게재에서 단순히 출판윤리의 위반뿐 만 아니라, 지적 재산권인 저작권에 대한 침해도 같이 범하는 문제가 야기 될 수 있다.


대부분의 학술지는 논문의 투고 시에, 저자되기의 조건의 준수, 저자들 전부의 논문 투고와 게재에 대한 동의,이해관계에 대한 기술, 전체 저자들에 대한 저작권이양서 제출을 의무화하고 있다.


2. 연구윤리심의위원회(IRB)


대한의학학술지편집인협의회에서 20081월에 제정한의학논문 출판윤리 가이드라인(Good Publication PracticeGuidelines for Medical Journals)에서 연구를 수행하는데 있어서, 각 기관별로 연구윤리심의위원회(IRB)의 준수 사항에 대하여, 다음과 같이 소개하고 있다[12]. 최근 여러 학술지에서 논문의 투고 시에, 그 논문의 연구 과정에서기관별 IRB 심의 여부 및 IRB승인 번호를 요구하는 경우도많다. 이는 향후 더욱 강화될 것으로 예상된다. 따라서 연구의 시작 단계와 수행 및, 논문 작성에서 IRB에 대한 개념의정립과 수행에 더욱 관심을 가져야할 것이다.


(1) 생명윤리와 동의서[12]


사람을 대상으로 하는 의학 연구는 반드시 필요한 경우에만 수행하여야 한다. 사회적으로 가치 있고 과학적으로 잘짜여 진 연구야말로 윤리적 연구의 선행요건이므로 연구의과학성과 윤리성은 서로 배치되는 것이 아니다. 따라서 연구 시작 전의 준비 단계에서부터 연구의 종료와 결과 발표에 이르기까지 의학 연구는 윤리적인 고려를 최우선 순위에두고 계획하고 수행하여야 한다. 사람을 대상으로 하는 연구는 세계의사회에서 제정한 헬싱키 선언을 준수하여야 한다. 통상적인 관찰 연구처럼 최소한의 위험이 있는 연구에서는 피험자에 대한 위해(harm) 정도가 심각하지 않으나,실험적 연구에서는 피험자가 불필요한 위험이나 고통에 노출되지 않도록 다각적으로 고려하고 면밀하게 검토하여야한다.


(2) 실험적 연구의 윤리[12]


연구의 어떠한 요소가 인공적으로 조작(manipulated)되거나 개입(intervened)된 실험적 연구(experimental study)는 일반적으로 관찰연구에 비해 연구의 위험성이 더 크기 때문에 연구자, 연구 의뢰자, 윤리위원회, 연구기관 등 연구관련 당사자들의 윤리성 준수와 책임이 더욱 요구된다.


3. 연구출판윤리 위반의 종류


Committee on Publication Ethics (COPE)[13]가 정의하는 연구·출판윤리의 항목으로, 연구윤리위반에는 날조(fabrication), 변조(falsification), 비윤리적 연구 등이 있고 출판윤리위반에는 표절(plagiarism), 비뚤임 보고, 저자되기 남용, 이중게재(중복게재), 보고하지 않은 이해관계.심사자의 부정행위, 지위의 남용 등이 있다[13~15].


4. 이중게재


2007년에 대한의학학술지편집인협의회에서 KoreaMed등재 논문의 이중게재 여부에 대한 조사연구가 있었으며,2004년에 출간된 논문 9,030편에서 무작위로 추출한 약 5%의 논문(455) 27(5.93%)이 이중게재로 판정되었으며 단순 이중게재가 65%, salami14%, imalas21%였다[16].


외국의 경우에도 국가적 연구 보고는 없으며 학술지별 또는 외과계, 안과계 등 유관학술지를 중심으로 이중게재의빈도가 보고되어 있다. 보고자에 따라 차이가 크며 성형외과계 학술지에서 1% 미만, 안과계 학술지 1.39%, 마취과계학술지에서 8.3%, 이비인후과계 학술지는 1.8%8.5%등을 보고하고 있고, 외과계 학술지에서도 22.3%의 중복게재를 발견했으며, 이중게재는 13.5%, 의심스러운 경우가34%, 분할출간이 52.4%였음을 보고하여 분할출간이 만연되어 있음을 보여주고 있다. 외국의 경우에는 대체적으로5% 전후의 이중게재가 있을 것으로 추산되고 있으며, 국내에서도 이와 유사하게 발견되었다[12].


중복 출간은 비윤리적인 행위의 하나이다. 그 이유는 학술지와 독자를 우롱하는 행위이며 자원의 낭비를 초래하기때문이다. 학술지의 입장에서는 불필요한 심사에 심사위원의 소중한 시간을 낭비하여야 하고, 학술지의 지면을 소비한다. 또한 다른 연구자의 논문의 게재를 막거나 지연시키기도 한다. 색인기관도 중복된 자료를 색인하여 질적 저하와 공간의 손실을 초래하고, 통계 수치의 오류를 초래한다.독자나 연구자는 이중 검색으로 노력의 낭비를 초래하며 실망을 안겨준다. 아울러 이중게재 논문이 포함된 연구업적으로 다른 신청자를 물리치고 연구비를 획득했다면 연구비 수여기관의 질서를 문란 시킨 중대한 범죄행위가 될 수도있다[12].


이중게재실험의 결과를 왜곡시킨다. 실험 자료가 두개의 논문으로 발표되고, 결과들을 모아 메타 분석하는 경우에는 표본이 중복 산정되어 결과가 과도하게 강조되는 잘못을 초래하기도 한다[12].


이중게재는 저작권 침해에 해당된다. 정평 있는 학술지는 중복출간을 허용하지 않는다. 따라서 투고 시에 저작권이양서를 첨부하게 되어 있으며, 대부분은 이양서에본 논문은 과거에 출판된 적이 없으며, 현재 타 학술지에 제출되었거나 제출할 계획이 없다라는 서약을 하게 된다. 따라서이중게재를 하는 저자는 부정직한 연구자로서 연구 결과에대한 신뢰성도 떨어진다. 더욱이 결과가 일부 다른 경우에는 논문 전체에 대한 신뢰를 잃어 이 논문을 찾은 독자는 실망과 허탈을 느끼게 된다[12].


일부 연구자는 채택률이 높지 않은 상위 학술지에 투고할때 채택의 가능성이 적다고 보고 유사 상위학술지에 중복투고하는 경우가 있다. 먼저 채택되는 학술지에 게재하고,다음 학술지에서도 채택되면 논문을 취소하려는 것이다. 중복투고는 저작권 이양서의 약속을 위반한 매우 부정직한 행위이며, 게재 이전에 발견되면 편집인 간의 교류에 의하여게재거부는 물론 저자들에 대한 처벌도 논의될 수 있다. 이중게재와 관련된 경우도 있으나 때로는 저자가 채택된 논문의 취소를 요구하기도 한다. 이중게재인 경우에는 게재거부는 물론 처벌까지도 고려할 수 있다. 그렇지 않은 경우 대부분의 학술지는 전문가심사(peer review)를 거쳐 채택된 논문의 취소를 허가하지 않는다[12].


5. 허용되는 이차 게재


학술지와 편집인 기구에 따라 이중게재와 이차게재의 허용기준에 차이가 있다. 다른 언어로 발표하는 경우, 독자층이 다른 경우와 종설은 이중게재가 가능하다는 경우도 있다.


국제의학학술지 편집인위원회(International Committeeof Medical Journal Editors, ICJME)[17]에서 제시한생의학학술지 투고 원고의 통일 양식: 생의학 논문 원고의쓰기와 편집(Uniform requirements for manuscriptssubmitted to biomedical journals: Writing and editingfor biomedical publication)에서 다음과 같은 경우에 이차 게재라는 명목으로 중복 출판을 허용한다.


    • - 저자는 두 잡지 편집인 모두에게서 승인을 받아야 한다.이차 출판 원고를 받은 편집인은 일차 출판물의 복사본이나재인쇄본을 가지고 있어야 한다.
    • - 일차 출판에 대한 우선권을 주기 위해 1주일 이상의 출판 간격을 둔다(두 편집인들이 협상한 경우 꼭 그럴 필요는없다).
    • - 이차 출판 논문은 독자층이 달라야 하고 축약본 만으로도 충분할 수 있다.
    • - 이차 출판 논문은 일차 논문의 자료와 해석을 충실히 따라야 한다.
    • - 표지에 각주를 통해서 독자, 심사자, 사무국에 현 원고의 전체 혹은 부분이 다른 잡지에 출판되었음을 알려야 한다. 적절한 각주는 다음과 같다.“이 논문은[잡지 이름, 전체참고문헌]에 처음 보고된 연구에 기초한 것이다.”이차 출판승인 비용은 무료로 하여야 한다.
    • - 이차 출판물의 제목에는 이것이 이차 출판임을 표현하는 문구(재출판, 요약 재출판, 완역, 요약 번역)가 있어야한다. 미국의학도서관에서는 번역을재출판으로 간주하지 않고, 원저가 출판되어 있고 Medline에 색인되어 있으면 번역본은 색인하거나 인용하지 않도록 하고 있다. 그러나 한국의 독자와 미국의 독자가 언어가 다르다는 한 가지이유로 이차게제가 허용되지는 않는다.


6. 데이터베이스 누리집에서 연구출판윤리 위반에 의한취소논문 레코드 처리


이미 프린트 된 학술지나 각 학술지의 누리집, 의학논문종합 데이터베이스 누리집에 한 번 발표된 논문에서, 연구출판윤리 위배사항이 발견되면, 그 논문이 삭제되는 것은아니다. 기존 발표 보고의 자료에 취소(retraction)이라는판정이 붙혀져서 영원히 존재하게 되는 것이다. 즉 연구출판에 대한 윤리위반이발생하면, 그 저자들은 영원히 그 논문에 대한 불명예를 안고 가야하는 업보가 생기는 것이다.따라서 연구출판윤리는 연구 처음부터 지켜야하며 당연히출판에서도 저자들 자신의 책임 하에 지켜져야 하는 것이다.한번 취소를 당하면 그 낙인은 영원히 존재하기 때문이다.


학술지에 논문이 게재된 후, 그 논문에 대하여 어떠한 이유이든 의혹이 제기되면, 학술지는 까다롭고 복잡한 조사와심의과정을 통해 연구의 진실성이나 과학적 오류, 연구윤리와 출판윤리 위반 여부 등에 대한 판단을 내리게 된다. 그리고 연구 자료나 결과의 날조, 변조, 표절, 그리고 이중게재등 부정행위가 있다고 판명된 논문에 대하여 여러 가지 조치를 취할 수 있는데, 그 중의 한 가지가 논문을 취소하는 결정을 하는 것이다[12].


학술지에 발표된 논문은 그것이 훌륭한 것이든 아니든 영구적인 기록물이고, 계속하여 이용되는 것이기 때문에, 오류가 발견되면 학술지(편집인)는 반드시 정정해야 할 의무가있다. 따라서 연구 부정행위에 의한 논문취소가 결정되면,편집인은 그 사실을 반드시 학술지에 공지하여야 한다[12].


논문취소 공지는 일반논문과 동일한 형식의 논문형태로한다. 그리고 학술지의 목차(table of contents)에 논문취소 기사를 일반 논문처럼 나열한다. 공지사항이나 편집인에게 보내는 글(letter to the editor)의 형식으로 처리하는 것은 바람직하지 않다. 이것은 특히 공지사항이나 편집인에게보내는 글은 데이터베이스에서 색인하는 범위에 속하지 않기 때문에, 학술지에 논문이 발표된 사후에 발생하는 논문취소 사실을 데이터베이스 검색을 통하여 인지하는 것이 가능하지 않기 때문이다[12].


취소논문에는 일반논문처럼 취소대상논문의 제목, 저자,소속기관을 나열하고, 그 논문의 출판사항(게재년도, ,, 페이지 정보)과 함께 논문취소 이유를 간략하게 서술하여 발표한다. 그리고 취소논문 위쪽에논문취소(Retraction)’또는논문취소 공지(Notice of Retraction, RetractionNotice)’라고 표시한다[12].


주지하는 바와 같이 학술지의 전자 원문은 매우 다양한경로를 통하여 서비스 되고 있다. NatureScience처럼학술지가 독자적인 웹사이트를 가지고 있는 경우도 있지만,ScienceDirect, Blackwell Synergy, SpringerLink처럼 전자 학술지 데이터베이스(e-journal database)로 묶여서 서비스 되는 경우도 있다. 논문취소가 발생하면 이러한 전자학술지 데이터베이스는 그 취소논문에 대한 새로운 레코드를 입력하고 전에 입력한 취소대상 논문과 서로 연결한다.즉 취소된 논문을 데이터베이스에서 삭제하는 것이 아니라,그 논문이취소대상논문이라는 문구를 화면에 삽입하고,이 논문을 취소했다는 것을 공지한 취소논문의 화면으로 이동할 수 있도록 hypertext link를 삽입한다. 이와 같이Web을 기반으로 하는 학술지 원문(e-journal) 데이터베이스 검색에서는 두 논문의 레코드를 hypertext link하여 이용자가 논문취소가 일어났는지 여부와 그 근거를 손쉽게 파악할 수 있다[12].


PubMed와 같은 데이터베이스에서는 학술지에 발표된취소논문을 근거로 새로운 레코드를 입력하고, 데이터베이스에 이미 입력되어 있는 취소대상논문의 레코드에 새로 추가된 취소논문 정보를 hypertext link로 연결하여 상호 참조할 수 있도록 한다. Web을 기반으로 하는 학술지 원문(e-journal) 데이터베이스와 마찬가지로 PubMed 등의 초록 데이터베이스 검색에서는 이 두 논문의 레코드가 hypertextlink되어 있기 때문에 논문취소 사유를 쉽게 판별할 수있다[12].


Web of Science에서는 취소논문에 대하여 문헌유형이‘Correction’이라는 새로운 레코드를 입력하고, 이 취소논문이 취소대상논문을 인용하고 있는 것으로(Cited Reference)처리하여 그 상호 관계를 살펴볼 수 있도록 하고 있으나, 논문취소라는 관계가 명확하게 나타나는 것은 아니다[12].


한국의학학술지 논문에 대한 영문 초록 데이터베이스 누리집인 KoreaMed에서는 PubMed의 방법으로 취소논문에대한 레코드를 처리하고 있다. 즉 논문취소가 학술지에 정식으로 공지된 경우에만 신규 레코드를 발생시키고, hypertextlink를 통하여 과거의 논문(취소대상논문)과의 관계를상호 참조할 수 있도록 하고 있다[12].


8. 이해관계(Conflict of interest, COI)


최근 학술대회에서 구연이나 포스터 발표를 하는 경우,발표 서두에서나, 각 학술지의 논문의 말미에 기술로 COI에 대한 선언(statement of COI)을 필수적으로 하고 있는추세이다. 각 발표나, 논문의 게재에서 저자들 모두가 특정부분에 대한 COI가 있는지 없는지를 밝힐 의무가 있고, 이점은 최근 중요시 되고 있는 부분이다.


(1) COI의 정의와 유형[12]


출판윤리에서 언급하는 여러 항목 중에서 COI라는 개념이 최근 미국에서 특히 강조되고 있다. 이는 갈수록 이이해관계가 문제로 불거지는 경우가 늘어나고 그 가능성이커지는 현상에 따른 조치가 아닌가 여겨진다.


COI란 논문의 출판과 관련된 사람(저자, 편집인, 전문가심사자, 출판인 등) 또는 기관이 특정 논문에 재정적인 이익이 걸려 있거나 사적인 특별한 관련이 있는 경우를 말한다.이러한 COI는 과학성을 생명으로 하는 학술논문의 출판과관련된 판단에 자칫 왜곡을 유발할 수 있는 가능성이 있기때문에 특히 경계의 대상이 된다. 어떠한 COI에 의한 영향도 학술관련 판단에서 모두 배제되어야 한다.


ICMJECOI가 발생하는 유형으로 다음을 열거하고 있다. 즉 사람이나 기관의 재정적인 관계, 사적인 관계(겸직,학문적인 경쟁, 지적소유권 경쟁 등), 연구의 경쟁, 지적인관심사 등이다. 그 정도가 미미한 수준부터 매우 심각한 단계까지 넓은 범주에 걸쳐 있으며, 저자나 출판 관련자가 어떠한 COI가 있어서 실제로 어떻게 영향을 받았는가 여부보다 어떠한 COI에 연루되었다는 사실 자체가 중요하다.


1) 재정적인 관계(financial relationship)

가장 흔하고 또 발견하기가 비교적 쉬운 유형이다. 저자또는 저자 소속 기관이 특정 기관, 회사, 단체 등으로부터지속적으로 재정적인 지원을 받거나 직접 연구비를 지원받아 수행한 연구결과물을 출판하는 경우가 해당된다. 그 외에도 고용, 자문, 주식보유, 강연료나 자문료, 유료 증언 등의 경우도 재정적인 관계에 의한 영향을 줄 수 있다. 물론편집인, 전문가심사자, 출판인 등도 재정적인 관계가 있어출판 여부의 판단에 영향을 줄 수 있기 때문에, 이러한 관계가 있으면 반드시 공개할 의무가 있다.


2)사적인 관계(personal relationship)

재정적인 관계 외에 저자나 전문가 심사자가 사적인 관계를 갖는 경우이다. ICMJE는 그 예로 겸직(dual commitments),이익 경쟁(competing interests) 또는 지적재산권 경쟁(competing loyalties)을 열거하고 있다.


3) 연구 경쟁(academic competition)

이는 특히 경쟁관계에 있는 연구자들이 저자와 전문가심사자의 관계로 마주하게 되는 경우에 그러하다. 이는 특히전문가심사(peer review)에서 필요한 윤리와도 직결된다.


4) 지적인 관심사(intellectual passion)

특히 편집인이나 심사자가 개인적인 관심사나 취향에 의하여 판단함으로써 공정성을 잃을 수도 있다. 이러한 경우에 해당하면 과학적인 판단에 관여하지 않는 것이 가장 좋은 방법이다.


(2) COI의 대상자[12]

저자, 편집인, 전문가심사자, 출판인 등 논문 출판과 관련된 모든 과정의 사람이나그들의 소속 기관이 여기에 해당한다. 저자는 심각한 과학적 사기와 같은 출판윤리의 위배가 아니더라도 얻는 결과의 정리와 분석에서 이해관계에 의하여 특정 제품이나 회사에 유리하도록 논문을 작성할 수 있다. 전문가 심사자의 경우 대부분이 해당 학술지의 저자이고 또 독자이기 때문에학술지에 끼치는 영향이 크다. 논문의 출판 과정에서 저자와 대립하거나 또는 유착하여 객관적인 판단을 하는 데에영향을 줄 수 있다. 또한 저자의 이익을 가로챌 수도 있다.


(3) COI의 대책과 예방[12]


ICMJE2007년도에 개정한 통일양식은 모든 논문출판관련자들이 이해관계를 고지하도록 각 학술지에 지침으로제시하고 있다. COI가 있다는 사실보다 이를 숨기는 것을 실제 문제로 삼는다는 의미이다. 대부분의 학술지가 이러한 이해관계의 가능성이 있는 모든 사실을 있으면 통보하고, 없으면 없다고 선언하기를 요구하고 있다. 편집인이나전문가심사자 중의 누구라도 만약 이해관계에 연루된 논문이 있는 경우, 가급적 어떠한 판정에 관여하지 않는 것이 바람직하다.


(4) ICMJE 저널에서 COI의 선언을 위한 통일 양식 공지(2009)


ICMJE20099월에 ICMJE 저널에서 COI의 선언을위한 통일 양식(Uniform format for disclosure of competinginterest in ICMJE journals) 제정에 대한 공지[18]를하고 실제 통일양식[18]도 제정하여 공포하였는데, 그 양식은 ICMJE의 누리집[18]에서 열람할 수 있다. ICMJE의 저널에서 COI의 선언을 위한 통일 양식 공지는 다음과 같다.


ICMJE 저널에서 COI의 선언을 위한 통일 양식 공지(2009년 9)


생의학 잡지에 출판되는 논문에서 저자의 재정적 관계를선언하는 것은 이미 보편화되고 있다제공된 정보에서 저자와 출판된 논문에 영향을 줄 수 있는 다양한 경제 단체들과의 관계를 독자가 이해하는데 도움을 준다현재 많은 잡지들은 저자에게 그들의 재정적 관계에 관한 정보를 담는서류 형식을 완성하여 제출하도록 요구하고 있다잡지는이후에 온라인으로 정보를 게시하거나 또는 정보의 개요를만들어서 논문과 함께 출판한다통일 양식 제도를 만들려는 노력이 진행 중이지만현재 재정적 관계의 선언을 위한통일 양식은 없었다그래서 저자들은 다양한 형식으로 유사한 정보를 저널에 제공해 왔다또한 같은 개인이 여러 잡지에서 비슷한 정보를 서로 다른 양식으로 보고하게 되면같은 저자가 잡지마다 다른 정보를 제공하는 것 같은 혼란을 야기할 수 있다. ICMJE에 속하는 잡지에서 동시에 발표되는 본 공지를 통해서, ICMJE의 구성 멤버인 모든 잡지에서 채택하도록 새로운 양식을 소개한다여러 다른 잡지들이 이 보고 양식을 채택하기를 독려하며이 양식을 웹싸이트의 공지란에 소개한다.


저자에게 4가지 사항의 정보를 선언하도록 요구한다첫째제출된 원고에서 보고된 연구과정의 지원을 제공한 재정 단체와의 관계(형식의 이 섹션에서 선언 시간은 보고된작업의 기간이다), 둘째제출된 원고의 전반적인 영역에서관심을 가지고 보았던 재정단체의 관계(이 섹션에서 선언시간은 원고의 제출 전의 36개월이다), 셋째그들의 배우자나 18세 미만의 자녀를 포함한 어떠한 유사한 재정적 관계를 선언하고넷째제출된 원고와 관련될 수 있는 비재정적관계도 선언해야한다.


현재 ICMJE 웹 사이트(www.icmje.org/coi_disclosure.pdf)에 저자가 정보를 제공하는 것을 돕는 설명과 완성된 견본 양식(www.icmje.org/sample_disclosure.pdf)이 있다또한 저자들은 인터넷에서 양식을 다운로드받아 요청받은 정보를 기재하여 완성된 서류양식으로 컴퓨터에 저장할 수 있다그런 다음에 완성된 양식은 정보를 요청한 잡지의 웹 사이트에 업로드할 수 있다현재 모든ICMJE 저널이 같은 보고 형식을 사용하므로 저자는 부분적으로 완료된 형태를 그들의 컴퓨터에 저장할 수 있다원고가 이 보고 양식을 받아들이는 잡지에 제출할 준비가 되면,저자는 단순히 원고에 특정한 정보를 더함으로써 양식 완성을 마칠 수 있고그런 다음 완성된 양식을 잡지의 웹싸이트에 업로드 할 수 있다우리의 목표는 작성 과정을 일괄적으로 통일되고 쉽게 만드는 것이다이 서류 양식은 특정 잡지에 맞추어 이해관계에 대한 서류를 재구성의 과정을 간소화하기 위한 것이다.


우리는 논문과 관련된 COI는 보는 시점에 따라 보고된 논문과 견줄 정도의 중요성을 갖는다고 생각한다이를 고려하여 어떤 잡지들은 이러한 모든 세부사항을 첫 원고 제출시기에 요구하기도 하고다른 잡지들은 제출 시기에 훨씬적은 정보만을 요구하고 후기의 편집 과정에서 상세한 양식의 완성을 요구하기도 한다.


또한 보고 양식이 유용하기 위해서는 이 형식을 이용하는이용자의 요구에 부합해야 한다비록 ICMJE 소속 잡지들이 테스트 받은 양식을 사용하긴 하지만이 양식으로 충족되지 않는 상황이 있을 수 있는데불명확한 지시사항이라던가아직 우리가 발견하지 못한 프로그래밍에서의 버그등이 그러하다그러므로 우리는 이 선언의 공지부터 2010년 4월 10일까지의 기간을 베타 테스팅 기간으로 간주한다.우리는 당신이 양식에서 발생하는 문제에 대해 우리에게 알려주길 바라고, ICMJE 웹싸이트의 홈페이지(www.icmje.org)에 있는 의견란을 이용해서 당신의 의견을 우리에게 보내주길 바란다. ICMJE는 2010년 4월에 회의를 해서사용자들에 의해 확인된 문제점을 수정하여 양식을 고칠 것이다앞으로 우리는 양식의 유용성을 되짚어 보고 필요 시수정할 것이다우리는 완벽한 선언을 위해 정보를 제공하고 출판 과정의 투명성을 확실하게 하도록 도와준 저자들에게 감사를 표한다통일 양식이 채택되어 저자에게는 경쟁적 COI의 선언이 좀 더 쉽게 되고독자들에게는 덜 혼란스러운 과정을 만들기를 희망한다.



결 론


정보의 홍수 속에서, 의학 논문발간의 홍수 속에서, 우리는 자신이 필요한 정보를 수집하고, 자신의 논문 내용을 전세계적으로 널리 알리는 것은 매우 중요한 것이다. 각 학술지들이 기존의 인쇄물 발간에서 나아가서 누리집을 구성하여 디지털시대에 부응하고 있고, 더욱 발전하여 각종 의학학술지들을 집대성하여 종합적인 데이터베이스를 구축한누리집들도 등장하여, 정보의 제공 및 획득에서 점점 가속화, 국제화되고 있고, 이런 시점에서 각 학술지의 누리집이나 종합 데이터베이스 누리집의 운영에서도 하루가 다르게보다 편리하고 유용한 운영체제나 방법이 혁신적으로 제시되고 있다. 이러한 새로운 개념에 대해 잘 이해하고 있어야만 자신의 목적 달성에 더욱 도움이 될 것이다. 각종 데이터베이스 누리집에서의 새로운 개념과 이에 관련되는 출판윤리 부분을 보다 잘 이해하여, 정보화 및 국제화의 시대에 발맞추어 가야 할 것이다.








J Korean Med Assoc. 2010 Aug;53(8):685-694. Korean.
Published online July 30, 2010.  http://dx.doi.org/10.5124/jkma.2010.53.8.685 
Copyright © 2010 Korean Medical Association
An Understanding of New Concepts and Publication Ethics in the Use of Online Medical Journals and their Database Web Sites
Chong-Woo Bae, MD,1 and Chang-Kok Hahm, MD2
1Department of Pediatrics, Kyunghee University School of Medicine, Seoul, Korea.
2Department of Radiology, Hanyang University College of Medicine, Seoul, Korea.

Corresponding author: Chong-Woo Bae. Email: baecw@khnmc.or.kr 
Received July 05, 2010; Accepted July 17, 2010.
Abstract

Nowadays, we have much more convenient access to every medical journal through web sites, compared to the paper-based publications of the past. Beyond simply reading, we can compose, submit, inspect, review, and store data through these web sites. Furthermore, medical journals do not operate independently, but are rather integrated through online journal databases: therefore, an era of ubiquitous access to medical information for any purpose, has arrived. Thousands of new papers are pouring out in the flood of information everyday, so that it is very important for authors to make their research outcomes known to science scholar online especially in the options or selections of his or her own purpose of study. Therefore, a thorough understanding of database usage is necessary in order to meet authors' and readers' goals. The Journal of the Korean Medical Association (JKMA) began operating an online database (www.kjma.org) in July 2010, to keep pace with international digital journal standards. Digital publication is a very encouraging improvement in meeting contemporary reader's' needs over the previous paper-based system. The tools and content of the journal web site will both be continuously updated. Our society ought to not only catch up with other society's but further develop our online presence in innovative ways. The authors here introduce and summarize the latest trends and ethical issues in online publication needed to manage and use the online medical databases appropriately.


의학논문 데이터베이스 검색 및 활용의 실제

Medical Database Search

이 춘 실 | 숙명여대 문헌정보학 | Choon Shil Lee, PhD

Department of Library&Information Science, Sookmyung Women’s University, Seoul, Korea

Corresponding author: Choon Shil Lee

E-mail: cslee@sookmyung.ac.kr






서 론


의학분야의 대표적인 문헌 데이터베이스인 MEDLINE에 수록된 총문헌수는 2010년 7월 현재 2,000만 건에이른다[1]. 2009년 한 해 동안에는 전세계에서 발행되는5,394종의 학술지에 수록된 712,675건의 새로운 문헌에 대한 초록정보가 MEDLINE에 추가되었다[2]. MEDLINE 데이터베이스 구축 초기 시점인 1965년 당시에는 2,241종의학술지에 발표된 논문의 초록 정보 15만 건이, 1970년에는2,251종 학술지 논문의 초록 약 100만 건이 MEDLINE에서검색 가능하였고, 2000년에는 4,332종의 학술지에 실린 논문의 초록 1,000만 건이 검색 가능하였으며 연간 증가 논문수가 44만 건 정도이었다[3]. 2009년도 통계수치에 비교하여 보면 의학분야의 논문 수가 어떠한 속도로 증가하고 있는지 짐작할 만하고, 특히 최근 10년간 더욱 급격하게 증가하고 있다는 것을 알 수 있다. 또한 웹에서 누구나 무료로접근하여 MEDLINE 데이터베이스를 검색할 수 있게 만든PubMed 서비스가 1996년 무렵부터 제공되기 시작한 이래, PubMed 조회수도 급격히 늘어나서 2009년 한 해 동안13억 회나 검색되었다고 한다[2, 4, 5].


이렇게 많은 문헌정보 가운데에서, 그리고 급격하게 늘어나고 있는 최신 정보 가운데에서, 내가 필요로 하는 논문을효율적으로 정확하고 신속하게 검색하여 읽어보는 것은 연구자의 시간과 노력을 효율적으로 사용하여 더 많은 연구,더 훌륭한 연구를 하는데 있어서 필수적인 사항이다.


의학문헌 정보검색환경의 변화


의학분야 데이터베이스와 의학문헌 정보검색법의 소개에앞서 한 가지 언급하여야 할 사안은 데이터베이스와 통신 네트워크 관련 정보기술 발달에 따른 정보검색 환경과 연구자들의 정보이용 태도 변화이다. 요즈음 연구자들은...

    • 대개 자신의 컴퓨터 앞에 앉아서 초록 데이터베이스나 원문을 볼 수 있는 전자학술지(e-journal) 데이터베이스에 한 두개의 주요단어(Keywords)를 입력하여 논문을 검색한 후(direct searching),
    • 적합한(relevant) 논문인지 검토하면서 끊임없이 마우스를“click”하여 논문의 페이지를 넘겨보고(browsing),
    • 참고문헌을 훑어보다가(footnote chasing), 
    • 참고문헌에 붙어있는 연결 표시 아이콘(link icon)을 눌러서 그 논문을 읽어 보는 등 적절한 문헌을 찾아 계속 이동하면서(chaining),
    • 관심이 있는 논문을 찾아 읽는다(accessing)[6].


컴퓨터와 인터넷만 있으면, 심지어는“smart phone”만있으면, 언제나 어디서나 접속하여 데이터베이스 검색을 하고 논문의 본문을 읽어볼 수 있는 정보기술 환경이 일반화됨에 따라 데이터베이스의 검색 방법이 이용자 편의 위주로점점 더 쉬워지고 있고, 연구자들도 막힘이 없는(barrierfree)문헌 검색 환경에서 계속하여 다음 문헌 또는 다른 검색으로 이어가는“seamless searching”을 하는 것에 점점익숙하여지고 있기 때문에, 구태여 복잡하고 까다로운, 그래서 잘 사용되지 않는, 고급 수준의 검색법(advancedsearch)에 대한 설명이 더 이상 필요하지 않은 시점이라고할 수 있다. 예를 들어, PubMed는 2009년 10월말에 지난10여년간 사용하여 오던 검색 화면(search interface)의 디자인을 바꾸고 개선하였는데[7], 그 중 가장 두드러지는 특징은 초록정보 화면에 Medical Subject Heading (MeSH)용어나 물질명(Substances)을 나열하고 그 단어들을 누르면 MeSH 용어나 물질명 검색이 되도록 hypertext links를제공하여, 이용자가 검색을 위하여 검색창(search box)에일일이 단어를 입력하거나 오려붙이기(cut&paste)를 하는수고를 할 필요가 없게 한 것이다. KoreaMed도 2010년3월부터 초록 레코드에 다양한 hypertext links를 제공하여톡톡“( tap, tap”) 두드리는모바일시대에걸맞는이용자의검색 편의를 도모하고 있다.


이 글에서는 이러한 점을 염두에 두고 의학분야 주요 데이터베이스의 일반적인 검색법과 각 데이터베이스의 특징을소개하였다. 필요한 경우에는 가능한 한 대한의사협회지(Journal of the Korean Medical Association, JKMA) 논문을 검색 예제로 사용하여 설명하였다. 연구자들이 학술 논문을 검색하고 읽어보기 위하여 도서관을 찾아가거나 인쇄본을 구독하여 읽지 않을 뿐만 아니라, 인쇄본과 전자학술지를 함께 구독하던 도서관에서도 점차적으로 인쇄본을 대신하여 전자학술지만 제공하고 있는 것이 현실인 상황에서[8],JKMA가“Digital Object Identifier”(DOI, 전자문헌 고유식별자)나“NLM Journal Publishing DTD”등 국제적으로통용되는 정보기술과 표준을 사용하는 전자학술지 데이터베이스를 갖춘 웹사이트를 새로 마련하여, 의학분야의 주요 초록 데이터베이스뿐만 아니라 주요 전자학술지 데이터베이스들 사이에 연계(linking)가 되도록 학술지의 온라인(online)정보 서비스 망을 적절히 수립한 것은 너무나 다행스러운 일이다. Figure 1은 JKMA의 새로운 웹사이트에 구현되어 있는 여러 가지 기능을 이용하여 스마트폰에서 검색한 결과 화면을 보여주는 것인데, 작은 아이콘들을 가볍게 건드리는 것만으로도, JKMA에 게재된 논문의 이모저모를 아주 유연하게 볼 수 있다. 이제 전세계의 연구자들이 JKMA 논문에 쉽게 접속할 수 있고, 외국 학술지에 게재되는 주요 학술논문들과 JKMA에 게재된 논문, 그리고 그 논문에 인용된 참고문헌들 사이를 아무런 제한이 없이 자유롭게 넘나들며 JKMA를 이용할 수 있게 되어, 2008년 Science Citation Index(SCI, Web of Science) 등재에 이어 진정한 의미에서 JKMA국제화를 위한 기반이 마련되었다고 할 수 있다.


논문검색의 시작점


논문 검색에서 가장 중요하고 제일 먼저 정해야 하는 사항은, 검색을 통하여 찾고자 하는 것이 무엇인지를 명확히하는 것이다. 이미 알고 있는 논문을 찾으려고 하는 것인지(known item search, specific search) 또는 어떤 주제와관련이 있는 문헌을 모두 찾으려고 하는지에 따라(subjectsearch, comprehensive search), 검색에 사용할 주요 단어(keywords)와 검색 필드를 지정할 수 있을 것이다.


검색 목표를 정확하게 서술하고 적절한 검색어를 선정하여 검색 전략을 잘 세우는 것이 매우 중요하지만, 앞에서 설명한 것처럼 seamless searching이 가능한 요즈음의 데이터베이스 검색 환경에서는 찾고자 하는 주제 영역에서 뛰어난업적을 내고 있는 저자의 이름을 알거나 그 분야의 대표적인학술지명을 알고 있다면, 우선 그런 정보를 이용하여 검색을대한의사협회지 671Medical Database Search 특 집J Korean Med Assoc 2010 August; 53(8): 668-684시도한 후 검색 결과를 살펴보고 다음 단계의 검색 전략을 고민하여 볼 수 있다. 특별히 한 두 편의 좋은 논문을 이미 알고있거나 초기 검색을 통하여 발견하였다면, 그 논문의 저자,제목이나 초록에 쓰인 특별한 단어, 그 논문이 실린 학술지,그 논문이 인용한 문헌, 그 논문을 인용한 문헌 등을 검색하여 나가면서, 필요한 문헌을 검색할 수 있을 것이다.


의학문헌 데이터베이스 수록 범위


무엇을 찾으려고 하는지 명확한 검색전략을 갖고 있다고하더라도, 해당 주제를 다루지 않는 데이터베이스나 연구자의 관심의 대상인 특정 학술지가 등재되어 있지 않은 데이터베이스에서 검색을 한다면, 적합한 문헌을 찾아내는 것이 여의치 않을 것이다. 또한 문헌 검색을 하는 이유가 단순히 그러한 문헌이 존재한다는 것을 확인하는데 그치는 것이 아니고 그 문헌을 읽어보기 위한 것이라면, 검색에 앞서 원문보기가 가능한 데이터베이스인지 아닌지 구분할 필요가 있으며, 무료 데이터베이스인지, 유료 데이터베이스이지만 나에게 이용 권한(access privileges)이 있는지 등을 미리 확인하여 두면 좋을 것이다. 예를 들어 JKMA에 실린 논문을 검색하려고 한다면, JKMA가 등재되어 있는 SCI와 SCOPUS그리고 KoreaMed와 Synapse에서는 가능하다. 그러나JKMA가 PubMed 등재 학술지는 아니기 때문에 PubMed에서는 검색이 안 된다. SCI에는 JKMA가 2008년부터 수록되어 있기 때문에 2007년 이전 발표 논문을 검색할 수 없는 반면, KoreaMed에서는 2003년부터 검색이 가능하다. Table 1은 의학분야의 대표적인 데이터베이스에 대하여, 주제분야(subject area), 수록(등재) 학술지 종수, 수록 기간(period),학술지 발행국의 지역 범위(geographic area), 데이터베이스 언어(interface language) 등 데이터베이스 검색 이전에확인해야 할 데이터베이스의 주요 특징을 정리한 표인데,JKMA의 등재여부와 수록기간을 함께 표시하였다. PubMed나 SCI는 전세계에서 발행하는 학술지를 대상으로 하지만,이와 같은 외국 데이터베이스에 등재된 우리나라 발행 학술지의 수가 많지 않기 때문에, 국내 학술지에 실린 논문의 검색은 KoreaMed와 Synapse에서 하는 것이 바람직하다.




의학문헌 데이터베이스 유형


데이터베이스는 Figure 2에 보이는 바와 같이 수록하는정보의 입력 수준에 따라 3가지 유형으로 구분할 수 있다.


    • 첫번째 유형의 데이터베이스는 논문에 대한 서지정보와 초록정보만을 제공하는 초록 데이터베이스(abstract database)인데, 가장 대표적인 것이 전세계에서 발행되는 핵심의학문헌의 광범위한 배포에 중추적 역할을 하는 MEDLINE(PubMed)이다. KoreaMed는 한국 의학학술지를 대상으로 PubMed와 동일한 형식으로 구축하고 있는 초록 데이터베이스이다.
    • 두 번째 유형은 서지정보, 초록정보와 함께 참고문헌 정보까지 수록하는 인용색인 데이터베이스(citation indexdatabase)인데, SCI가 대표적인 것이다. 누가 누구의 논문을 인용하는지, 어떤 학술지가 어떤 학술지를 인용하는지등을 추적할 수 있기 때문에 인용분석(citation analysis)에사용되고 있는 자원이다.
    • 세 번째 유형은 학술논문의 본문 전체를 문자(text)로 입력 또는 PDF 이미지로 수록하여 논문 그 자체를 읽어볼 수있는 full text 데이터베이스(full text database)이다. Elsevier출판사의 ScienceDirect, Springer의 SpringerLink,Wiley의 InterScience 등은 각 출판사가 자신들이 출판하는모든 학술지의 원문을 제공하는 대표적인 전자학술지 데이터베이스이다. Nature나 Science는 독자적으로 학술지 웹사이트를 구축하여 논문 정보를 서비스하는데, JKMA를 비롯한 우리나라 의학학술지들은 대체적으로 이 유형의 온라인 서비스를 통하여 학술지 원문을 제공하고 있다고 볼 수있다. 미국 국립의학도서관(US National Library of Medicine,NLM)이 구축하는 PubMed Central이나 대한의학학술지편집인협의회(의편협)의 Synapse는 여러 기관이 발행하는 학술지를 통합하여 수록하는 개방형(Open Access)또는 무료로 이용할 수 있는(free access) 전자학술지 데이터베이스이다. 특히 PubMed Central과 Synapse는 의학분야 주요 학술지를 전자적으로 영구히 보존하는 digital archive의기능을 자임하고 있다.


만약 정보검색의 목표가 참고문헌이나 서지를 작성하는것이라면, 첫 번째나 두 번째 유형의 데이터베이스를 검색하는 것만으로 충분하겠지만, 본문을 보기 위해서는 세 번째 유형의 데이터베이스를 검색하는 것이 필요하다. 그런데요즈음 초록 데이터베이스인 PubMed나 KoreaMed 그리고 인용색인 데이터베이스인 SCI나 SCOPUS에서는 학술논문의 본문을 자체적으로 보유하고 있지는 않지만 초록정보화면에서 해당 본문으로 연결하는 기능을 제공하고 있기 때문에, 일반적으로 검색자들은 자신이 서로 다른 유형의 문헌 데이터베이스를 넘나들고 있다는 것을 느끼지 못하면서초록정보도 검색하고 원문정보도 검색하고 있다. 그런데 만약 그 논문이 무료 학술지나 개방 학술지에 실린 것이 아니라면 허용된 논문의 이용 범위 안에서만 원문을 볼 수 있다(Figure 3).


데이터베이스에 일어나고 있는 중요한 변화 중의 하나는full text 데이터베이스에 서지정보와 참고문헌 정보가 함께존재하는 것을 활용하여, 그 데이터베이스에 있는 어떤 논문이 어떤 논문을 인용하는지 추적하는 기능을 추가하고 있다는 것이다. 대부분의 full text 데이터베이스가 이와 같이점차 인용색인 데이터베이스화 되고 있기 때문에, 특별히인용색인 데이터베이스를 검색하지 않더라도 논문에 대한인용정보를 찾아볼 수 있는 데이터베이스가 많아지고 있다.


의학문헌 데이터베이스의 주요 특징 및 검색법


1. PubMed와 PubMed Central


MEDLINE 데이터베이스는 미국 국립의학도서관이 1879년부터 의학 및 의학 관련 분야의 논문을 색인하여 수록한아주 대표적인 색인지인 Index Medicus를 모태로 구축한의학분야 최초의 온라인 데이터베이스이다[9]. 1996년부터는 웹을 통하여 PubMed라는 이름으로 서비스하여 전세계누구나가 사용할 수 있게 되었다. 2010년 3월 현재 치의학,간호학, 수의학 분야 학술지를 포함하여 39개 언어로 발행되는 5,455종의 학술지를 수록하고 있으며, 레코드 수는2,000만 건에 이르고, 하루에 2,000- 4,000편의 논문에 대한 초록 정보가 추가되고 있다[2, 10, 11].


PubMed Central은 미국 국립의학도서관이 2000년경부터 구축하기 시작한 full text 데이터베이스인데, 개방 또는무료 학술지만 참여할 수 있다[12]. 일부 학술지는 일정기간이 경과한 후 논문들을 차례대로 개방하는 방식으로 참여하고 있다. 지난 2009년부터는 미국 정부기관(예를 들어,US National Institute of Health)에서 받은 연구비의 결과물로 발표하는 모든 논문을 반드시 PubMed Central에 납본하도록 하여서[13], 연간 약 88,000편의 미국정부 지원연구 논문이 PubMed Central로 유입되고 있다. 리고PubMed Central에 있는 모든 논문의 초록 레코드를 자동으로 PubMed Central에 생성하기 때문에, 최근에 와서PubMed에는 MEDLINE 학술지는 아니나 PubMedCentral에 수록된 학술지 논문도 포함되고 있다[14].


PubMed의“LinkOut”기능은 검색된 초록 레코드에서해당 학술지 웹사이트, PubMed Central이나 이용자의 도서관으로 이동하여 그 논문의 원문을 볼 수 있게 하는 것이다. 현재 PubMed 레코드 중 50%가 넘는 논문이 LinkOut설정이 되어 있어서 원문보기로 연결되고 있는데[15], 국내학술지 중 PubMed에 등재된 학술지들도 이 기능을 이용하여 PubMed 검색 후 해당 논문의 LinkOut icon을 click하여 원문을 볼 수 있다. 그 외에도 PubMed의 초록 형식 레코드에 나열되는 MeSH 용어와 물질명, 유사주제 문헌(Related Citations) 링크 등 적어도 20개 이상의 연결 고리를 통하여 다른 문헌, 또는 문헌 집합을 검색할 수 있다. 특히 PubMed Central의 full text 정보가 PubMed에 내부적으로 통합되어 있기 때문에, PubMed의 초록 레코드에서그 논문이 인용한 참고문헌을 검색할 수 있고, PubMedCentral의 논문들이 인용하는 정보를 PubMed 레코드에 반영한“Cited by PMC articles”기능을 활용하여 PubMedCentral의 다른 논문들이 인용하는 정보를 검색할 수 있다(Figure 4).


PubMed에서 검색한 모든 레코드에는 논문제목과 초록에사용된 단어, 그 논문에 부여된 MeSH 용어를 분석하여 동일한 어휘를 공유하는 유사주제 문헌을 100여편 이상 제시하여주고 있기 때문에[16, 17], 관심이 있는 논문과 아주 밀접하게 연결되어 있는 논문을 검색하는데 매우 효과적이다.


MEDLINE의 가장 주요한 특징은 색인전문가(indexer)가 각 논문에 MeSH 용어를 부여한다는 점인데, 문헌의 계통적인 검색을 하는데 매우 효율적이다. 종별(species: humans,animals), 성별(gender), 또는 연령별(age groups)로 제한하는 검색, 특정 질병의 원인, 진단, 예후 그리고 치료와 관련된 임상연구(clinical trials)의 검색이나, 어떤 주제에 대한 체계적 문헌 고찰(systematic reviews)을 하는경우에 MeSH 기능은 강력한 힘을 발휘한다. 검색에 사용할 MeSH 용어의 선정은 MeSH Browser를 활용하거나[18], 초록정보 레코드에 나열된 MeSH 용어를 참조한다(Figure 4).


2. KoreaMed&Synapse


KoreaMed는 국내 의학학술지에 실린 논문의 초록 정보를 수록하는 데이터베이스인데, 의편협이 1997년경부터 구축하기 시작하여 2010년 6월말 현재 164종의 학술지에 실린 논문 약 165,000건의 레코드가 검색 가능하다[19]. Pub-Med와 동일한 형식으로 구축하고 있으며 검색 인터페이스도 PubMed와 유사하게 구현하고 모든 정보를 영어로 제공하기 때문에[20], PubMed를 검색하는 연구자라면 누구라도 아무 어려움 없이 KoreaMed 검색을 할 수 있어서 국내의학논문의 국제적 이용을 촉진하는데 큰 역할을 하고 있다. KoreaMed 초록 레코드에도 PubMed 레코드와 마찬가지로 각 학술지 웹사이트의 그 논문으로 그리고 Synapse레코드로 연결하는 LinkOut icon, 문헌 유형, MeSH 용어,저자가 선정한 핵심주제어(author keywords), 학술지명,DOI 등 20여개의 검색 연결고리를 나열하고 hypertextlinks를 제공하고 있어서 click을 통하여 검색할 수 있다(Figure 5). 또한 PubMed에서와 마찬가지로 KoreaMed에서도 MeSH 용어 검색이 가능한데, 각 논문 레코드에 나열된 MeSH 용어를 눌러서 다음 검색으로 넘어갈 수도 있으며,‘ Limit’검색화면에서 성별, 종별, 연령별 그리고 문헌유형별로 구분자를 제한하여 검색할 수도 있다(Figure 6).


Synapse는 의편협에서 2007년부터 제공하고 있는 국내의학학술지의 full text 데이터베이스인데, 현재 78종의 학술지가 수록되어 있는 국내 최대의 전자학술지 데이터베이스이다[21, 22]. 모두영문으로 구축되어 있어서 KoreaMed와 마찬가지로 국내 의학논문의 국제적 이용을 촉진하는데큰 역할을 하고 있다. Synapse에서는 논문의 중요 부분인표와 그림의 검색도 가능하고, 그림 확대 기능을 이용하여매우 높은 해상도의 사진 이미지를 볼 수 있으며,“ Down-load Citation”기능을 이용하여 논문의 서지정보를 End-Note와 같은 참고문헌 작성 및 관리도구로 내려 받을 수 있다.


Synapse의 주요 특징은 DOI를 사용하는 국내 의학논문의 도착점(인용하는 논문의 참고문헌에서 click 하였을 때연결되는 논문의 웹페이지) 역할을 하는“DOI landingplatform”이라는 것이다. 그리고 Synapse는 DOI를 사용하는 전세계 학술지에서 인용하는 정보를 CrossRef를 통하여 수시로 수집하여 반영하기 때문에, Synapse 학술지에게재된 논문들이 인용되는 정보를 검색할 수 있다. Synapse의“Advanced Search”에서“Articles Cited by OtherSynapse/CrossRef Articles”옵션에 체크하여 검색하면1회 이상 인용된 논문이 검색되며, Display 옵션에서“Sortby Times Cited”기능을 적용하면 피인용 횟수에 따라 논문이 정렬되므로 인용을 가장 많이 받은 논문 등을 쉽게확인할 수 있고, 그 논문을 인용하는 문헌으로 이동하여원문을 직접 열어볼 수 있다(Figure 7). 이와 같이 SCI나SCOPUS와 같은 인용색인 데이터베이스에 등재되어 있지않은 국내 학술지에 게재된 논문들이더라도, Synapse 등재학술지들은 그 논문이 받은 피인용 횟수나 그 논문을 인용한 논문들을 추적할 수 있다. 뿐만 아니라 각 데이터베이스마다 등재된 학술지가 다르고 수록 범위도 다르기 때문에,여러 다른 인용색인 데이터베이스에서 받은 인용을 인용색인의 기능을 갖춘 full text 데이터베이스에서 받은 인용과비교하여 볼 수도 있다[23].


Synapse에서 사용하는 DOI는 전세계의 주요 출판사들이 참고문헌간 연결(reference linking)을 위하여 2000년무렵부터 CrossRef라는 공동체를 형성하여 사용하는 것인데, 만일 어떤 논문의 DOI를 알고 있다면, Internet Explorer와같은 웹브라우저의 주소창에 http://dx.doi.org/문구 다음에 그 번호를 입력하여 검색하면 바로 그 논문으로 연결된다. 예를 들어 JKMA 2010년 7월호에 실린 첫 번째 논문의 DOI는 10.5124/jkma.2010.53.7.544인데,http://dx.doi.org/10.5124/jkma.2010.53.7.544을 URL주소창에 입력하여 바로 그 논문을 검색할 수 있다.


3. SCI


SCI는 현재 과학 전반에 걸쳐 전세계에서 발행되는 학술지 약 12,000종의 학술지를 수록하고 있다. 주로 미국과 유럽에서 발행하는 학술지 중심이었으나(8,700여종), 2007년부터 각 지역을 대표하는 학술지(regional journals)를 대거 포함하기 시작하였다[24, 25]. 한국에서 발행하는 학술지 중 SCI에 등재된 학술지의 수도 상당히 증가하여, 현재의학분야 학술지 중 23종이 SCI 등재 학술지이고(2006년까지 5종), JKMA 등 한글로 발행하는 학술지 7종이 포함되어있다. SCI에서는 일년에 약 2,000종 정도의 학술지를 수시로 검토하여 약 10-12% 정도의 학술지를 선정한다고 한다[24]. SCI 데이터베이스에는 4,500만편의 논문에 인용된10억개 이상의 참고문헌이 수록되어 있는데, 일주일에 평균적으로 약 19,000편 논문의 초록정보와 그 논문들이 인용한 423,000개의 참고문헌 정보가 추가되고 있다[26].


SCI의 가장 중요한 특징은 문헌과 문헌 사이의 인용을 찾을 수 있는 인용색인이라는 것이다. 예를 들어 2008년에SCI에 등재된 JKMA의 경우에는, 2010년 6월말 현재 320편의 논문이 SCI에 수록되어 있고, 그 중 1회 이상 인용된 논문이 17편이고, 가장 많이 인용된 논문은 2회 인용되었다는정보를 검색할 수 있다(Figure 8). SCI의 초록 레코드(Figure9S)에는 그 논문이 인용한 참고문헌(References), 그 논문을인용하는 문헌(Times cited), 그리고 유사주제 문헌(RelatedRecords)을 검색할 수 있는 링크가 있다. 따라서 한 논문을중심으로 그 논문이 인용하는 과거 문헌(Backward citation,Figure 9C), 그 논문을 인용하는 나중에 발표된 논문(Forwardcitation, Figure 9T), 그 논문에 나열되어 있는 참고문헌 중 하나 이상을 공유하는 논문의 집합 (Related Documents,Figure 9R)을 순식간에 찾아낼 수 있다. SCI의 유사주제 문헌은 참고문헌을 공유하는 논문으로[27], PubMed의저자명, MeSH 용어, 주제어 등을 공유하는 유사주제 문헌과는 다르게 정의하였기 때문에, 논문의 제목이나 초록에 동일한 단어가 사용되지 않았더라도 유사주제 문헌을 아주 광범위하게 찾아내는 매우 강력한 검색 도구이다.


SCI는 국내에서 연구업적 평가에 사용되면서 데이터베이스 본래의 기능인 문헌정보 검색의 도구로서보다 각 연구자, 연구기관, 학술지 등의 연구업적 평가 및 분석 도구로서더 많이 활용되고 있다. 실제로 Web of Science는 다양한분석 기능을 제공하고 있는데, 그 중에서“Refine Results”(또는“Analyze Results”) 메뉴는 검색한 결과에 대한 즉각적인 분석이 가능한 도구이다. Figure 8의 왼쪽에 있는“Refine Results”을 자세히 살펴보면, 2008년 이후 JKMA에 발표된 320편의 논문 중 8편이 종설(review)이고, 한글논문이 318편, 영문 논문이 2편이라는 것을 알 수 있다. 이외에도 저자명, 기관명 등에 의한 제한 검색(분석)이 가능하여서, 각 개인이나 기관의 연구 실적을 다각도로 자세하게계량하는 것이 가능하다.


SCI에서는 매년 SCI 데이터베이스에 수록된 데이터를 학술지 단위로 분석하여 학술지 영향력 지표(impact factor)등을 검색할 수 있는 Journal Citation Reports (JCR)를 별도의 데이터베이스로 공개한다[28]. 국내 의학학술지에 대하여 SCI와 유사한 정보를 제공하는 데이터베이스는 KoreanMedical Citation Index(KoMCI, KoMCI Web)이고,KoMCI Journal Web은 국내 의학학술지의 인용지표를 찾아볼 수 있는 학술지 인용분석 데이터베이스로서 JCR과 유사한 자료이다[29].


4. SCOPUS


SCOPUS는 의학을 포함하여 과학 전반에 걸쳐 저명한 학술지를 대거 발행하는 Elsevier 출판사에서 2003년경부터서비스하기 시작한 인용색인 데이터베이스이다[30]. 인용색인이라는 점에서 검색법이나 검색 가능한 정보가 SCI와유사하다. 국내에서는 SCOPUS에 등재된 학술지를 한국연구재단의 등재 학술지로 인정하기 때문에 관심이 매우 높은데이터베이스이다. JKMA는 2010년 6월말 현재 SCOPUS에 1962년부터 1991년까지 발표된 논문과 2009년 이후 발표 논문 855편이 수록되어 있고, 그 중에서 25편이 1회 이상 인용된 적이 있으며, 가장 많이 인용된 논문은 4회 인용되었다(Figure 10).


5. Google과 Google Scholar


연구자들이 연구와 관련된 검색을 일상적으로 도서관 웹사이트나 특정 데이터베이스에서 시작하기 보다는 Google과 같은 검색엔진에서 시작한다는 조사결과가 보고된 적이있다[31]. KoreaMed와 Synapse에 수록된 모든 논문들은현재 Google과 Google Scholar에서 검색이 가능하기 때문에(Figure 11), 그 검색결과에서 바로 KoreaMed나 Synapse로이동하여 초록정보와 본문정보를 이용할 수 있다.


결 론


이 글에서는 JKMA를 예로 들어 설명을 하였기 때문에 결과적으로는 학술지명 검색 위주의 설명이 되었다. 그러나최근 데이터베이스에 적용되고 있는 이용자 친화적인 정보기술 덕분에 검색법이 단순하여지고, 한 조각의 정보만 있어도 관련 논문을 신속하게 확장하여 검색할 수 있으며, 계속하여 새로운 논문을 찾아서 여러 데이터베이스를 오가며검색할 수 있다. 필요한 정보를 효율적으로 검색하여 적시에 적합한 정보를 적극적으로 활용함으로써 연구와 진료 활동에 도움이 되기를 기대한다.







J Korean Med Assoc. 2010 Aug;53(8):668-686. Korean.
Published online July 30, 2010.  http://dx.doi.org/10.5124/jkma.2010.53.8.668 
Copyright © 2010 Korean Medical Association
Medical Database Search
Choon Shil Lee, PhD
Department of Library&Information Science, Sookmyung Women's University, Seoul, Korea.

Corresponding author: Choon Shil Lee. Email: cslee@sookmyung.ac.kr 

Abstract

It is essential to search medical information precisely and efficiently in every aspect of medical practices and research activities. The growth of the medical literature has been tremendous in recent years, as exemplified by the annual growth of 710,000 records in MEDLINE in 2009, thus increasing the complexities of literature searching. Yet database search environments are changing toward very user-friendly ways facilitated by various hypertext linking capabilities such as "LinkOuts" to full texts and "reference linkings" among articles using Digital Object Identifiers (DOIs). Once a direct search of a keyword is initiated, a searcher can continue searching endlessly and seamlessly by simply clicking various links provided in the records retrieved. Search behaviors of researchers are changing accordingly, avoiding any complex or advanced searches. The basics of database search methods are described in this paper. A brief overview of major medical databases is given by database type to illustrate the differences in the information retrievable from such databases: MEDLINE/PubMed and KoreaMed are abstract databases; SCI/Web of Science, SCOPUS and KoMCI are citation indexes; and PubMed Central and Synapse are full text databases. Some of the advanced search features of each database are also noted: searches using MeSH terms in PubMed and KoreaMed; differences in the "related documents" algorithms of PubMed and SCI; citation analysis using "analyze results" in Web of Science and SCOPUS; and citation tracking in Synapse and PubMed. The Journal of the Korean Medical Association (JKMA) records are used for the illustration of such features.

Keywords: GoogleGoogle ScholarKoreaMedPubMedPubMed CentralSCISCOPUSSynapse.


  1. 이종학 2015.06.04 14:01

    springer에서 논문을 좀 볼려고하면
    저는 전공자가 아닌데, 방법이 없을까요?
    의학에 관한 정보가 궁금하고 알고싶은데, 매 잡지마다 오십달러넘게 지불해가면서 구입해서 보면
    거덜날지경입니다.

국내외 의학논문 데이터베이스 현황

Medical Databases from Korea and Abroad

허 선 | 한림의대 기생충학교실 | Sun Huh, MD

Department of Parasitology, College of Medicine, Hallym University, Chuncheon, Korea

Corresponding author: Sun Huh

E-mail: shuh@hallym.ac.kr



서 론


연구자나 편집인이 알아야 할 의학 논문 데이터베이스에는 어떤 것이 있을까? 또한 어느 데이터베이스는어떤 특징이 있으며 어느 학술지를 포함하고 있을까? 어떻게 하여야 학술지가 색인데이터베이스에 등재가 가능할까?이런 내용은 최근 우리나라 정부 산하 연구비 지원기관이나대학에서 학술 업적 평가에 학술지가 어느 데이터베이스에등재되어 있는 지를 가지고 평가를 달리 하는 정책을 펴기에 다들 관심이 많다. 그러므로 이 특집에서는 의학 분야를다루는 국내외 주요 색인데이터베이스를 열거하고 각각의특징과 범위는 어떠하며 또한 특정 데이터베이스에 학술지를 등재시키려면 어떤 노력을 하여야 하는지를 안내하려고한다. 더불어 각 데이터베이스에 포함된 우리나라 의학 학술지를 소개하려고 한다. 국내는 KoreaMed[1], KoreaMedSynapse[2], KoMCI[3], KMBase[4] 등이 있고 국제적으로는 WPRIM[5], Medline/PubMed[6], PubMed Central[7],Web of Science[8], SCOPUS[9], DOI/CrossRef [10,11],Google Scholar[12], EMBASE[13], Worldwidescience.org [14], Cochrane Library [15] 등이 있다. 이 가운데KoreaMed 및 KoreaMed Synapse를 제외하고 여러 데이터베이스의 특징을 소개하고, 등재 방법을 기술하려고 한다. 여기서 우리나라 의학학술지는 대한의학학술지편집인협의회(의편협) 회원단체에서 발행하는 학술지로 국한한다[16]. 이러한 다양한 데이터베이스를 이해하여 연구 및 환자진료에 도움이 되도록 하는 것이 목적이다.


KoMCI[3]


대한의학회에서 운영하는 KoreaMedical Citation Index (KoMCI)는KoreaMed [1]를 기반으로 참고문헌중 국내 학술지 참고문헌만 색인하여만든 데이터베이스이다. 또한 KoMCI데이터베이스를 기반으로 영향력지표(impact factor)를 계산하는 KoMCIJournal Web을 운영하고 있다. 즉Thomson Reuters에서 운영하는Web of Science[8] 및 JCR Web[17]과 같은 내용을 국내 의학학술지를 대상으로 구현하였다. 우리나라에서 발행하는 논문을 얼마나 우리나라 논문에서 인용하는지 알 수 있는 흥미로운내용이다. 2000년도 발행분부터 작업을 하여 최근 자료까지 찾을 수 있다KoMCI Journal Web의 내용은 매년책자로도 발행하고 있다. 수록 정보의양에서 초록정보는 KoreaMed와 동일하다. Table 1에서 한국의학학술지 인용문헌 입력 현황을 보여 준다. 지난10년간 83,797의 논문에서 1,849,949건의 참고문헌이 있어 논문 당 평균 참고문헌은 22.1편이었으며 그중 222,345편(12.02%)이 우리나라 학술지 논문이다. 즉 우리나라 학술지에서 우리나라 학술지 논문을 편당2.6편을 인용함을 알 수 있다. 이 데이터베이스에는 Korea-Med 학술지만 포함시켜 작업하므로, 학술지의 인용정보를알기 위하여 KoreaMed에 등재되어야 한다.





한국의학논문데이터베이스(KMBase,Korean Medical Database)[4]


우리나라에서에서 발간되는 보건의료 분야(의학, 치의학,약학, 간호학, 한의학) 학술지의 서지 정보, 초록 및 원문 데이터베이스로서 교육과학기술부 한국연구재단의 전문연구정보센터 사업 지원을 받아 의학연구정보센터(MedRIC)에서 2000년부터 운영하고 있다. 대상 학술지는 2008년 12월현재, 총 752종이며, 수록된 논문 건수는 총 47만 여건이다.이 데이터베이스는 논문 편수가 많으며, 국문으로 제공한다는 편리한 점이 있다. 등재를 위한 평가절차는 따로 없으므로 등재 원하는 학술지는 신청하면 바로 가능하다.


Western Pacific Regional IndexMedicus (WPRIM)[5]


세계보건기구 서태평양지구(World Health OrganizationWestern Pacific Regional Center)에서 2006년 2월12일부터 운영한 지역 데이터베이스로 초창기에 의편협에서 지원하다가 2010년 5월부터 중국에서 기술적인 지원을맡아 운영하고 있다. 서태평양 지역 의학 학술지를 평가하여 선별하여 등재시키는 정책을 펴고 선별은 전적으로 각 국가에 맡긴다. 2010년 6월 현재 우리나라를 비롯하여 말레이시아, 몽골, 베트남, 싱가포르, 일본, 중국, 파푸아뉴기니,필리핀 등에서 발행하는 416종이 등재되어 있다. Basic Search, ThesaurusSearch, Journal Search, AuthorSearch, Advanced Search 등의 기능이 있으며 PubMed의 기능을 구현하였다. 우리나라 학술지는 KoreaMed에 등재되어야 포함된다. 서태평양지역에서 PubMed에 등재되지 못한 학술 논문을 포함하여 의학 논문 영문 초록을 검색할 수 있어 이 지역의 학술 논문 사이에 인용과 정보 교류를 증진시킬 수 있는 좋은 도구이다.


Medline/PubMed[6]


최근 한 학회에서 조사한 내용을 보면, 국제학술지에 논문 투고할 때 소속학회지에 실린 논문을 인용 경험이 없는 경우가 52.5%이며그 이유는 PubMed에서 검색이 안되어서 65.5%, 국문 논문이어서 20.6%, 기타 3.4%이었다(미발표자료). Korea-Med 통하여 국내 학술지 논문을 검색할 수 있지만 Pub-Med에 올라가지 않은 학술지는 많은 국내 학자가 인용하지않음을 알 수 있다. 이런 상황은 외국에서도 마찬가지로 대개 PubMed에 없는 것까지 찾아서 인용하지 않는다. Pub-Med는 무료로 제공하고 있고 2010년도 6월 10일 현재 제공하는 대상 학술지가 Medline 학술지 및 PMC 학술지 포함 5,883종이며, 2009년도에 제공한 논문 수는 847,629편이다. 모두 약 20,000,000건의 논문을 검색할 수 있는 세계최대 의학 논문 데이터베이스이다. PubMed는 크게 3개의정보원이 있는데 하나는 Medline으로 심사를 받아 통과하면 Medical Subject Heading (MeSH)을 부여받는다. OldMedline은 과거 1947년부터 1965년까지 학술지 논문1,952,000 편을 제공하는 것이고 마지막으로 PMC에서 초록 정보를 가져와서 제공한다.


우리나라 연구자가 첫 저자인 PubMed 논문은 최근 들어 기하급수로 늘고 있다(Figure 1). 2009년에는 16,780편 으로 생물학이나 약학 계통 저자의 논문이 들어 있다고 하여도 90% 이상은 의편협 회원단체 회원의 논문이라고 할수 있으므로 이미 국내 학술지 보다 국제 학술지에 투고하는 수가 훨씬 더 많다는 사실을 알 수 있다. 이런 경향은 점점 더 심해져 2010년도에는 18,000편 이상 우리나라 저자의 논문이 PubMed에 실릴 것이다. 이 편수는 또한 첫 저자소속기관이 우리나라인 경우만 해당하므로 만약 공저자까지 더하면 논문 수 는 이미 20,000편 이상이라고 추정한다.





PubMed 등재에는 두 가지 길이 있다. 하나는 Medline등재 심사를 거쳐 올라가는 것으로 우리나라 의학학술지는모두 14종이 Medline 등재 심사를 통과하여 PubMed에 등재되었다. 또 한 가지 방법은 PMC[7]를 통하여 등재하는 방법이다. 우리나라 의학 학술지는 최근 2년간 Medline 등재시도하여 성공한 학술지가 없어 대개 PMC 등재를 통하여PubMed에 올라가는 전략을 펴고 있다. Medline 등재를위한 준비로 우선 학술지의 기본 서지사항을 잘 갖추고 등재 신청을 하여야 한다. 등재 신청 전에 National Libraryof Medicine (NLM) Catalog에 신청하려는 학술지가 포함되어 있는 지 확인하여야 한다[18]. 자료가 없거나 최근호가서가에 꽂히지 않은 것을 확인하면 아래 주소로 학술지를나오자마자 발송하여야 한다.


Serial Records Section

National Library of Medicine

8600 Rockville Pike

Bethesda, MD 20894, 


USANLM Catalog에서 NLM ID를 받은 것을 확인한 뒤, http://wwwcf.nlm.nih.gov/lstrc/lstrcform/med/index.html에 가서 계정을 하나 만들고 모든 항목을 다 적어서 보내고학술지를 지정한 주소로 발송한다. 여기에 보내는 것은NLM 서가에 보내는 것과 별개이므로 심사가 끝나면 발송을중지한다. 대개 3호를 받아 본 뒤 심사하고 결정 통고한다.심사는 학술지 질과 독자에게 유용성 크게 두 부분으로 나뉘어 0점부터 5점 척도로 평가한다. http://www.nlm.nih.gov/pubs/factsheets/jsel.html에 자세한 내용이 있다.


PubMed Central[7]


PubMed Central이란 자유롭게 의학논문을 웹에서 누구나 볼 수 있게 미국 국립보건원에 수집 보관한 것으로 미r국국립의학도서관 생명기술정보센터(National Center forBiological Information)에서 운영한다. 미국 국립의학도서관에서 2000년 2월부터 Proceedings of the NationalAcademy of Sciences 및 Molecular Biology of the Cell두 종으로 서비스를 시작하여 2010년 6월 10일 현재 727종으로 늘었고 매년 100종 이상이 추가되고 있다. 이 PMC에등재되는 것이 매우 중요한 이유는 우선 PubMed에서 검색후 전문을 보기 위하여 PMC로 연결된 것을 먼저 보는 경우가 늘어난다는 점이다. 전 세계 수많은 연구자 가운데, 국제적인 상업회사에서 발간하는 학술지를 소속 기관에서 구독하여 쉽게 읽을 수 있는 사람은 일부 나라에 국한한다. 이제유사한 내용이 PMC에 있다면 그것을 인용하지 굳이 경비를 들여 상업회사의 유료 학술지를 인용할 이유가 없다. 또한 PMC 및 PubMed 등재는 투고자에게 국제 정보 시장에서 개개 논문의 질로 평가 받는 좋은 기회를 제공하여 학술지에 대한 만족도를 높인다. 즉 앞으로 점점 더 PMC의 영향력은 커진다.


PMC에 등재된 학술지를 들여다보면 다음 세 가지로 나눌 수 있다.


    • 1) 상업회사에서 처음부터 웹을 통한 공개학술지로 발행:BioMedCentral, Public Library of Science (PLoS), BenthamScience Publishers, Hindawi Publishing Company,Frontiers Research Foundation, MedKnow PublicationCompany 등에서 발행하는 것으로 가장 많은 수를차지한다.
    • 2) 상업회사에서 이런 서비스를 하는 경우: Immunology(Blackwell and Science)
    • 3) 학회에서 발행하여도 경제적인 여유가 있어 작업가능한 곳: American Society for Microbiology에서 발행하는Infection and Immunity, 모든 국내 의편협 회원단체 발행학술지


그런 면에서 우리나라에는 상업회사가 발행인이 되어 유통하는 것은 매우 드문 형편이므로 모두 3번째의 유형에 해당한다. 결국 이런 작업을 할 수 있는 경제적인 여유가 있느냐가 관건이다. PMC에 등재시키기 위한 요건으로는 

첫째,학술지 언어가 영어이어야 하며, 

둘째, 출판 내용으로 의생명과학 분야를 다루어 미국 국립의학도서관의 수집 목록에있어야 하고, 

셋째, PMC XML 파일의 기술 수준이 일정 기준에 맞아야 한다. 

학술지 출판 질 평가로는 이미 미국 국립의학도서관에서 수집하여 서가에 꽂혀있는 학술지는 바로PMC에 등재 자격이 된다. PMC XML 작업은 국내에서는의편협의 KoreaMed Synapse [2]에 참여하면 가능하다.KoreaMed Synapse는 PMC XML 형태로 만들어 데이터베이스를 운영하므로 KoreaMed Synapse에 참여하는 영문학술지는 바로 PMC에 등재가 가능하다. 이미 Medline 및Web of Science에 등재된 우리나라 영문 의학학술지는 모두 PMC에 등재되었다. 국제적으로 인용을 충분히 받기 위하여 PubMed 등재가 필수이기 때문이다. 2010년 6월 10일현재 29종의 학술지가 PMC에 등재되는 성과를 거두었다.이런 학술지 종수는 국가별로 4위에 해당한다(Figure 2).





Web of Science[8]


우리나라 연구비 지원기관에서1990년대 중반부터 SCIE 학술지 우대정책을 펴면서 SCIE 등재 학술지에 논문을 게재하는 것이 우리나라 연구자에게도 지상과제가 되었다. 따라서 국내 학술지를 SCIE 학술지로 만드는 것이 편집인에게 떨어진 숙제이다. 앞으로 SCIE 학술지가 아닌 한은 국내 학술지가 투고 받기가 매우 어려운 상황이 곧 닥치기 때문이다. Web of Science는Thomson Reuters에서 운영하며 자연과학분야인 Science CitationIndex Expanded (SCIE), 사회과학분야인 Social Science CitationIndex (SSCI), 인문학 및 예술 분야인Arts & Humanity Citation Index(A&HCI) 세 가지의 데이터베이스를 합쳐서 Web에서 보여주는 데이터베이스이다. 이중 SCIE에는 2010년도 5월현재 총 8,258 종으로 우리나라 학술지는 69종이며 그 중22종이 의학 학술지이다(31.9%). SSCI에는 2,855종,A&HCI에는 1,542종이 포함되어 총 12,655종을 포함한다.우리나라 의학 학술지 등재 목록은 의편협 누리집에서 찾을수 있다(http://www.kamje.or.kr/intro.php?body=member).‘의사학’은 A&HCI에 포함되어 있다. Web ofScience의 특징은 세계에서 최초로 인용색인 데이터베이스를 제공하였다는 점이다. 즉 20%의 학술지가 총 인용의80%를 차지한다는 80대20 원칙에 따라 도서관에서 학술지구입할 때 참고 자료를 제공한다. 나아가서 이런 참고문헌데이터베이스가 학술지의 영향력지표(impact factor) 계산에 쓰여 학술지를 평가하는 지표로 활용하고 있다. 예를 들어 New England Journal of Medicine은 영향력지표가 50으로 가장 많은 인용을 받는 학술지의 하나이다. Web ofScience를 기반으로 한 JCR Web을 통하여 각 학술지의 영향력지표를 알 수 있다. 두 종 모두 유료로 기관에서 구독을 하여야 연구자가 사용할 수 있다.


SCIE 등재를 위하여 학술지의 스타일과 형식을 국제 수준으로 유지하는 것에 나아가 영향력지표가 일정 수준 이상으로 국제적으로 유통이 되느냐가 중요하다. 2006년부터Thomson Reuters에서 지역학술지 선정정책(Local Journalselection policy)을 폄에 따라 영향력지표가 낮더라도그 지역에서 훌륭한 학술지를 선정하는 정책을 펴서 2008년과 2009년도 우리나라 학술지도 대거 등재되었다. 이런정책이 계속된다는 보장은 없으므로 학술지가 많은 인용을받도록 우수한 논문을 영문으로 발행하여 PubMed Central및 PubMed에 등재시켜 전 세계에서 쉽게 전문을 읽고 인용할 수 있도록 하는 전략이 필요하다.


SCOPUS[9]


Elsevier에서 2004년 11월부터 운영하는 참고문헌 인용색인 데이터베이스로 과거 Web of Science가 독점하던 참고문헌 인용색인 데이터베이스에서 더 많은 학술지를 대상으로 하여 서비스하고 있다. 과학, 사회과학 및 인문학을 포함하여 18,000여종의 학술지에 수록된 논문에 대한 참고문헌 정보를 제공하고 있다. 1996년까지 소급하여 총 80%에서 참고문헌 정보가 있으며, Medline 학술지는 모두 포함시켰다. 다양한 분석기능을 제공하고 SCOPUS는 유료이지만, 학술지별 정보는 SCIMagoJR.com에서 무료로 볼 수 있다. SCIMagoJR은 매우 흥미로운 다양한 서지계량학 정보를 제공하는데 JCR Web과 차이가 단순히 영향력지표를 보여 주는 것이 아니라 인용하는 학술지의 명성을 더하여SCIMago Journal Ranking Indicator (SJR)를 보여준다.즉 유명학술지가 인용하는 것이 더 값이 높다. 서지계량학분석 정보를 매우 다양하고 흥미롭고 쉽게 보여주고 있다.우리나라 학술지는 111종이 포함되어 있고 그중 의학 학술지는 29종(26.1%)이다. SCOPUS 등재된 학술지는 한국연구재단에서 SCIE 학술지와 동등하게 국제 학술지로 인정하여 연구비 신청할 때 높이 평가하고, 한국연구재단의 등재후보 학술지로 SCIE 학술지와 동등하게 인정한다. 그러므로 SCOPUS 등재도 편집인에게는 주요 과제이다. Medline학술지는 모두 포함하므로 Medline에 등재되면 가장 편하지만, SCOPUS도 평가 기준에 맞추어 준비하여 신청하여야한다. 최근에는 온라인상에서만 심사하므로 웹에서 등재 신청을 하고 학술지 누리집을 영문으로 국제 수준으로 제공하는 것이 필요하다. SCOPUS에 등재하기 위해서는 우선http://suggestor.step.scopus.com/suggestTitle.cfm에가서 SCOPUS Title Suggestion에다가 앞으로 대화할 사람정보, 학술지에 간단한 소개, 기타의견, EMBASE, EMCare등에도 신청할 것인지 표기하고 보낸다. 그러면 SCOPUS에서 검토한 후 SCOPUS 신청 양식이 있는 주소를 가르쳐 주는메일을 보내온다. 웹에서 접근하여 학술지 정보를 입력하고최근 발표 PDF 파일을 올린다. 이후 심사 결과를 기다린다.


DOI/CrossRef[10, 11]


Digital Object Identifier (DOI)란, 온라인상의 디지털지적 재산에 부여하는 알파벳-숫자 기호 체계로 디지털 지적재산은 책, 학술지, 그림, 음악 등 지적 재산이 되는 것을말한다. DOI의 기능은 고유의 기호를 부여하여 언제든지그 대상을 찾아 갈수 있도록 하는 것이다. 예를 들면 HTML,XML, PDF, JPG와 같은 여러 가지 판의 내용이 있어도 하나의 DOI 갖고, 이 DOI 통하여 끊임없이 찾아가게 한다.웹자료는 6개월이면 16%가 사라진다고 알려짐으로 이런사라짐을 극복하는 방안으로 1998년 제안, 사용하였다. 구조를 보면 prefix+suffix 형태로 되어 있는데, prefix는 국제 DOI 재단이 부여하고 suffix는 발행인이 부여한다.Prefix는 항상 10으로 시작하고 다음 마침표를 찍고, 다시4자리의 발행처 고유번호를 부여한다(숫자로만 구성). 한발행처에서 여러 prefix를 받아서 학술지 별로 따로 prefix를 받아도 된다. Suffix는 발행처에서 부여하고 한 발행처에서 무한대의 학술지에 부여할 수 있다. 또한 마침표를 찍어가면서 계속 확장 가능하고, 알파벳 및 숫자를 모두 사용할수 있다. Korea Journal of Parasitology 예를 들면 prefix가 10.3347이고 suffix는 kjp.2007.45.3.165 이런 형식으로 2007년도 제45권 제3호 165 페이지에 실린 논문을 표기한다. 인쇄본 없는 웹 잡지인 Journal of Educational Evaluation for Health Professions를 예로 들면, prefix가10.3352이고 suffix는 jeehp.2009.6.1와 같은 형식으로2009년도 제6권, 첫째 논문이라는 표기이다. 웹 잡지인 경우에는 호를 별도로 표시하지 않는 경우가 대부분이다.


CrossRef란 2000년 국제적인 학술지 발행 출판사가 주축이 되어 조직한 Publishers International Linking AssociationInc.을 비롯한 여러 학술지 출판사가 DOI 작업을위하여 조직한 기구이다. 전문 학술지나 도서의 DOI 부여를 공식적으로 대행한다. DOI 기반 인용 연결을 위하여 각각의 논문 DOI XML은“DOI + metadata + URL”과 같은구조로 되어 있다. DOI/CrossRef에 참여하면 쉽게 참고문헌에서 전문으로 찾아 갈 수 있어, 참고문헌에서 원문으로끊임없이 연결하여, 쉽게 볼 수 있으므로 인용을 자주 하게되고 영향력지표를 높이는 효과가 있다. DOI/CrossRef에참여하려면 의편협 사무실로 문의하여 prefix를 CrossRef에서 받아 학회에 무료로 제공한다. 우리나라 의학 학술지는 KoreaMed Synapse에 참여하면 모두 DOI를 받는다.이 CrossRef 데이터베이스는 2009년에 3천 9백만 건 이상의 DOI를 제공하고 있다. DOI 번호만 있으면 어느 학술논문이던지 전문이 있는 곳을 쉽게 찾을 수 있어 매우 유용하다. 최근에는 학술지 참고 문헌에 DOI 번호를 기술하는곳도 있다. DOI를 학술지 기간행본에 소급하여 부여하면과거 문헌이 얼마나 국제적으로 인용되었는지 알 수 있다[19].


Google Scholar[12]


최근의 연구자가 정보 검색하는 형태의 변화가 있어 의학 분야를 제외하면대부분의 분야에서 Google Scholar에서 먼저 찾는다. 이 경우 매우 많은 서지 정보를 찾을 수 있다는 장점이 있다.검색 결과는 가장 인용을 많이 받은 학술지가 먼저 나오므로 최근 논문이 먼저 나오는 PubMed 검색과는 차이가있다. 전문 정보가 있으면 전문으로 연결도 시켜 준다. Google Scholar에 실린 논문 자료가 얼마나 되는지는 알 수 없으니 적어도 웹에나오는 내용은 모두 다 실렸다고 볼 수 있어 자료 수에서는비교할 수 있는 데이터베이스는 없다. 이것은 자연어 검색으로 이루어지므로 통제된 데이터베이스가 아니다. 여기서 학술지가 검색되게 하려면 KoreaMed에 등재되면 충분하다.KoreaMed에 없어도 학술지 누리집이 있고 구글봇이라는검색로봇이 와서 찾는 것을 막지만 않으면 Google Scholar에서 검색 가능하다.


EMBASE[13]


1947년부터 유럽 학술지를 중심으로 초록을 제공한 것으로 EXCERPTA MEDICA라는 색인지로 발행하였다가 지금은 7,000여종 학술지에서 2,000만건의 초록을 EMBASE이름으로 제공하고 있다. Medline에서 다루지 않는 1,800종의 학술지 초록을 추가로 제공한다. Elsevier에서 운영하며유료이다. 2010년 6월 10일 현재 국내 43개 학술지가 등재되어 있으면 그 중 의학 학술지는 30종이다. 등재 심사는SCOPUS와 같은 절차로 시행한다.


Worldwidescience.org[14]


이 데이터베이스는 각 국가의 데이터베이스 또는 국제 데이터베이스를 포함하는 전 지구 차원의 과학 데이터베이스의 포탈로, 전 세계 여러 데이터베이스를 한 번에 검색할 수있다. KoreaMed도 여기에 들어가 있으며 PubMed를 비롯한 국제 색인데이터베이스 및 일본, 중국, 인도를 비롯한 여러 나라 과학기술정보 기관에서 운영하는 데이터베이스가포함되어 있다. 미국의 Department of Energy’s Office ofScientific and Technical Information에서 주관하여 운영하고 있다. 우리가 흔히 접하기 어려운 각 나라의 독자적인데이터베이스를 한 번에 검색할 수 있다는 장점이 있으며무료이고, 등재 심사는 없고 각 데이터베이스에 포함되어있으면 검색된다.


Cochrane Library[15]


Cochrane Collaboration에서 1993년부터 운영하는 근거중심의학 데이터베이스로 여러 형태의 연구 방법론으로임상에서 활용하는 진단, 치료법에 대한 내용을 다룬다.Cochrane Database of Systematic Reviews (CDSR)가가장 중요한 범주이다. 이 CDSR 자료는 PubMed에서 초록검색할 수 있다. 전문 정보는 유료이다. 이는 학술지 기반의색인 데이터베이스가 아니라 개개인의 연구자가 작성한systemic review를 편집인이 심사하여 받아들이면 올리는것으로 종설을 모아 놓은 데이터베이스이다. 우리나라에도Cochrane 지부가 있어 여러 연구자가 활발하게 참여하고있다. 임상연구에서 PubMed 다음으로 가장 중요한 데이터베이스로 자리 매김하고 있다.


데이터베이스 활용 및 국내 데이터베이스 발전


주요 데이터베이스의 운영기관, 특징 및 수록 범위, 등재학술지 수, 등재된 우리나라 의학학술지 수 및 유·무료 여부를 Table 2에 정리하였다.






여러 중요한 국내외 데이터베이스 가운데 누구든지 무료로 이용할 수 있는 것은 우리나라에서 제공하는 데이터베이스를 비롯하여 WPRIM, PubMed, PubMed Central, DOI,Google Scholar, Worldwidescience.org이고 나머지는모두 유료이므로 연구자 소속 기관에서 구독하거나 개인이구독하여야 검색 가능하다. 우리나라 대부분 의학 연구자의현실은 KoreaMed, PubMed, Google Scholar 검색으로참고문헌을 찾는데 충분하므로 굳이 유료 데이터베이스를찾지 않는다. 또한 이제 도서관에 직접 가서 학술지를 읽는경우는 매우 드물고 웹에 있으면 활용하고 없으면 보지 않는 것이 현실이다. 이런 면에서 전 세계 연구자에게 우리나라 학술지 내용을 보다 편리하게 제공하고 싶으면 우선KoreaMed 및 KoreaMed Synapse에 참여하여 DOI를 논문마다 제공하고, 나아가서 영문으로 발행하여 PubMedCentral에 등재시키거나 국문 학술지인 경우 Medline 심사를 통과하여 PubMed에 등재시키는 노력이 필요하다. Webof Science 및 SCOPUS 등재되면 한국연구재단에서 국제학술지로 인정하므로 이곳에 학술지 등재를 위하여 노력하여야 한다. 이외 다양한 국제 색인데이터베이스에 등재를 시도하여 우리나라 의학 학술지가 국제적으로 널리 알려지면 궁극으로 전 인류의 건강에 기여할 수 있을 것이다. 이러한 다양한 데이터베이스를 연구자나 의사 모두 적극 활용하여 연구와 환자 진료의 질을 국제 수준으로 유지하여야 할 것이다.







J Korean Med Assoc. 2010 Aug;53(8):659-667. Korean.
Published online July 30, 2010.  http://dx.doi.org/10.5124/jkma.2010.53.8.659 
Copyright © 2010 Korean Medical Association
Medical Databases from Korea and Abroad
Sun Huh, MD
Department of Parasitology, College of Medicine, Hallym University, Chuncheon, Korea.

Corresponding author: Sun Huh. Email: shuh@hallym.ac.kr 
Received June 15, 2010; Accepted July 20, 2010.

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.


Abstract

Researchers and journal editors need to be familiar with the major and most widely-used indexing databases. The specific and sensitive searching ability of medical databases always help researchers to avoid redundant studies as well as to provide background to their work. The important medical databases from Korea are KoreaMed, KoreaMed Synapse, KoMCI and KMBase. Major international databases are WPRIM, Medline/PubMed, PubMed Central, Web of Science, SCOPUS, digital object identifier/CrossRef, Google Scholar, EMBASE, Biosis Previews, Worldwidescience.org, and the Cochrane Library. Although every database from Korea is freely accessible to anyone, some international databases require subscription fees. This is the reason why PubMed and PubMed Central, free access databases, have become the most important and widely used ones internationally. Easier access to databases not only from the Web but also from mobile environment applications will continue to develop. Physicians and researchers should be able to use both Web and mobile databases for better patient care and research. Editors should try to add their journals not only to databases from Korea but also to international databases in order to promote the health of all mankind by disseminating the medical information.

Keywords: DatabasePubMedPubMed CentralWeb of ScienceSCOPUS.


대한의학학술지 편집인 협의회, KoreaMed, KoreaMed Synapse의 현황

Korean Association of Medical Journal Editors (KAMJE) and the Current Status of KoreaMed and KoreaMed Synapse

양 희 진·김 동 규* | 서울의대 신경외과학교실 | Hee-Jin Yang, MD·Dong Gyu Kim, MD

Department of Neurosurgery, Seoul National University College of Medicine, Seoul, Korea

* Corresponding author: Dong Gyu Kim

E-mail: gknife@plaza.snu.ac.kr

Received July 1, 2010 Accepted July 22, 2010





서 론

대한의학학술지편집인협의회(의편협)는 국내 의학학술지의 질적인 향상을 도모하기 위해 1996년 2월에 51개 의학학술지 편집인이 모여 창립하였다. 창립에 참여한 편집인들은 우리 의학학술지의 논문이 널리 읽히고 인용되게 하도록 게재논문의 데이터베이스를 구축하는 것과 논문 작성 및 심사에 대한 교육과 학술지 평가를 통한 학술지의 질적 수준 향상에 주력하였다. 창립 14년이 지난 오늘날 의편협은 회원 학술지가 188개로 증가하여 양적으로 성장하였고 질적인 면에서도 국내뿐만 아니라 해외에서도 그 성과를 인정받고 있다.


대한의학학술지편집인협의회 창립과 발전

의편협은 설립 단계부터 우리 의학학술지 발전과 깊이 연관되어 있다. 대한의학회가 1994-1995년도 사업의 하나로의학학술지 평가기준을 설정하기로 하고 이를 위해‘의학학술논문의 작성과 심사’에 관한 워크숍을 개최하였는데 그자리에 의학학술지 편집인 협의체의 필요성이 제기되었고이를 기초로 1996년 2월 의학학술지 편집인 51명이 모여서창립총회를 개최하였다[1].


사업추진을 위해 상임위원회를 구성하였는데 의편협 창립 초기에는 기획평가, 정보관리, 운영위원회의 3개 위원회였던 것이 이후 교육연수, 출판윤리, 국제협력의 3개 상임위원회가 추가되어 모두 6개 위원회로 구성되었다. 기획평가위원회는 의편협 초기부터의 역점사업인 학술지 평가사업을 맡고 있다. 1996년 국내 의학학술지 평가기준 초안을작성하고 1997년 시범평가회를 가진 후 의학학술지 평가항목을 확정하여 학술지 평가를 시작하였다. 현재는 의편협및 대한의학회 입회를 신청한 학술지에 대해 과학성, 정시성을 검증하는 일단계 평가, 의편협 회원 학술지 중 Korea-Med 등재 여부를 평가하는 의학학술지 신규평가, Korea-Med에 등재된 학술지에 대한 계속 등재 여부를 심의하는재평가 등으로 사업으로 구분하여 정기적으로 시행하고 있다. 그동안의 평가결과를 분석해보면 평가의 일관성이 유지되고 있으면서 반복 보완평가를 받은 학술지의 평가접수가향상되고 있어서 국내 학술지가 질적으로 향상되고 있음을보여주고 있다[2].


발족 초기부터 정보화가 의학학술지 발전의 핵심 요소가된다는 것을 인지했던 의편협은 이를 위해 정보관리위원회를 구성하였다. 1996년 학술지 홈페이지 구축 워크숍을 개최하였고 1997년 처음으로 KoreaMed 서비스를 시작하였다. 이후 2002년에는 KoreaMed LinkOut 서비스를, 2007년부터는 KoreaMed Synapse 서비스를 시작하였다.


    • 교육연수위원회는 1999년 구성되었으며 2008년부터 편집인 아카데미를 매년 개최해오고 있다. 심포지움과 아카데미는 학술지 편집인에게 필요한 편집원칙부터 실무에 유용한 내용까지 망라하고 실습을 통하여 실질적인 도움이 되도록 구성되어 있어서 학술지 편집인라면 한번은 참석해야할 프로그램으로 인식되고 있다. 참석을 위하여 경쟁할 정도이고 수강생의 호응도도 높다. 또한 학회와 출판사의 원고 편집인, 의학도서관 사서를 대상으로 원고편집 업무에대한 인식을 높이고 전문 인력을 양성하기 위한 원고편집인교육과정을 매년 실시하고 있다.
    • 출판윤리위원회연구윤리의 중요성이 강조되는 시대상황과 중복출판의 문제의 심각성을 인식하여 2006년 구성되었으며 2008년 의학논문 출판윤리 가이드라인을 출판하여 연구윤리, 출판윤리, 그리고 위반에 대한 처리까지 관련항목을 체계적으로 정리하였다[3]. 이중게재 사례집 발간을위한 자료를 축적하고 있고 회원학술지의 이중게재 관련 문의 등의 자문에 응함으로써 우리 의학학술지의 윤리적 수준을 높이는데 기여하고 있다.
    • 국제협력위원회의 설립은 비록 늦었으나 그 활동은 의편협 초기부터 이미 시작되고 있었다. 창립 첫해에 WAME(World Association of Medical Editors)에 가입하였고2001년에는 함창곡 당시 의편협 회장이 WAME 이사로 선임되었다. 아시아태평양 의학학술지 편집인 협의회(AsiaPacific Association of Medical Editors, APAME) 창설을주도하였으며 그동안 의편협에서 축적된 경험을 통하여 IndexMedicus의 서태평양 지역판 데이터베이스인 WPRIM(Western Pacific Regional Index Medicus)의 구축 사업을 주도하여 보다 많은 우리나라 의학학술지가 국제적 데이터베이스에 등재되는 것을 촉진하는 동시에 지역 내에서 의학관련 정보의 원활한 교류가 이루어지는데도 크게 기여하고 있다[4].
    • 운영위원회는 회원가입 심사에 참여하고 의편협 각 상임위원회의 효과적 활동을 보조하는 동시에 소식지를 발간하여 의편협의 활동상을 알리고 있다. 소식지는 1996년부터매년 4회씩 정기적으로 발간하고 있으며 2009년에는 그동안 발간된 소식지를 합본하여 모음집을 발간하였다. 이는2006년 발간된 대한의학학술지편집인협의회 10년사와 함께 의편협의 지나온 길을 일목요연하게 보여주는 유용한 자료이다[1, 4].


대한의학학술지편집인협의회가입학회 및 학회지


의편협의 회원은 단체회원과 개인회원으로 구분된다. 단체회원은 학술지를 발행하는 의학학술단체로서 학술지 편집인이 그 대표자로서 참여한다. 개인회원은 학술지 편집인의 직책을 갖고 있지는 않으나 학술지 편집, 학술논문 데이터베이스, 기타 의편협 관련 업무의 전문가로서 의편협 활동에 참여하는 회원이다. 이외에 특별회원이 있는데 이는의편협의 취지에 찬동하며 사업지원을 통하여 협의회의 발전에 공헌할 수 있는 개인 또는 사업체를 말한다.


1996년 51개 단체회원, 8명의 개인회원으로 출발한 의편협은 2010년 단체회원 188개, 개인회원 38명, 특별회원 16개단체를 둔 단체로 성장하였다(Figure 1). 의편협 창립에 참여한 단체회원의 면면을 보면 대한 의학회 정회원 학회 학술지27종, 준회원 학회 학술지 12종, 의학회 미가입 학술지가3종, 의과대학 학술지가 9종이었다. 현재의 188개 단체회원에는 의학학술지 152종, 의대학술지 12종 외에도 간호학10종, 치의학 9종, 영양학 4종, 수의학 1종 등 의학 관련 분야 학술지도 다수 참여하고 있어서 이제 의학 및 관련 분야의 학술단체를 아우르는 생명과학 학술지 편집인 단체로 영역도 확장되었다. 의편협 소속 학술지를 일목요연하게 정리한 목록인“KAMJE Journals 2009”를 발간하였다. 이 서적에는 2009년 기준 의편협소속 학술지 184종에 대한 서지정보가체계적으로 정리되어 있다.“KAMJEJournals 2009”를 살펴보면 우리 의학학술지의 표지 디자인이 국제수준에뒤지지 않고 많은 학술지들이 국제적으로 인정 받는 여러 색인에 등재되어 있어서 이 역시 의편협활동의 성과를 보여주는 것이라고 할 수 있다[5].


1996년 의편협 창립에 참여한 51개 회원 학술지중 국제색인인 Medline에 등재된 학술지는 5종에 불과했고 국제과학색인(Science Citation Index, SCI)에 등재된 학술지는 하나도 없었다. 그러나 2010년 188개 회원 학술지중 PubMed에 14종이 등재되어 있고, PubMed Central 31종, SCI에도23종의 학술지가 등재되어 양적인 면에서뿐 아니라 질적으로도 크게 성장하였다.


단체회원 가입은 단체의 성격에 따라 다른 절차를 거친다. 대한의학회 회원학회, 의과대학 혹은 부설 연구소의 경우는 운영위원회의 심사, 임원회의 승인을 거쳐 정기총회에서 승인을 받는 것으로 가입이 완료되고 그 외의 단체는 회원 2명의 추천을 받은 단체를 기획평가 위원회에서 심사한후 운영위원회, 임원회의, 정기총회를 거친다.


최근 좁은 의미의 의학 이외 분야(Health Science) 학술지가 의편협의 회원이 되고자 하는 수요가 늘어나고 있다.이는 그동안 의편협이 이룩한 성과 때문인 것으로 의편협의외연 확대를 통한 의편협 위상의 제고, 국내 비의학 학술지의 질 향상에 기여하는 긍정적인 측면이 있으나 동시에 의학학술지 편집인 단체로 출발한 의편협의 정체성에 대한 고려와 업무량의 증가에 따라 기존 회원에 충분한 서비스를제공하지 못할 우려도 있어서 의편협 내부의 전체적 의견수렴을 거쳐 신중한 접근이 필요할 것으로 보인다.


KoreaMed, KoMCI,KoreaMed Synapse


1. KoreaMed


우리 의학학술지의 체계적인 검색을 가능하게 한 Korea-Med는 1997년 태동하였다. 우리 학술지가 널리 읽히고 인용되기 위해서는 심사를 통과한 학술지 게재논문의 데이터베이스 구축이 중요함을 의편협이 창립 초기부터 인식하고있었기 때문이었다. 1997년 업무를 수행할 사업체를 선정하여 서비스를 시작하였으나 안정적으로 데이터베이스 구축 및 유지보수를 하는 회사를 선정하는데 어려움을 겪었다.그리하여 2001년부터는 독자적으로 시스템을 구축하여 서비스를 시작하였다. KoreaMed라는 이름은 한국의 Medline이되겠다는 취지로 붙인 이름으로서 전체적인 형식, 검색의 방식은 그 당시 많은 사람들에게 익숙한 PubMed의 체제를 따랐다. 초기에는 하루 방문 회수가 100-150회였으나이후 꾸준히 증가하여 2010년 5월에는 2,250회로 크게 늘어났고 2010년 6월 기준으로 164종 학술지의 161,700여 편의논문을 수록하고 있다.


KoreaMed는 준비 단계부터 평가를 통과한 학술지에 한해서 데이터베이스에 등재시킨다는 질 개념을 도입하였다.이러한 개념은 Medline이나 SCI 데이터베이스 등재 원칙을 적용하는 것으로써 우리 나라에서 제공하는 학술정보 데이터베이스에서는 유일한 것이고 오늘날 KoreaMed가 국내외에서 높은 평가를 받는 기초가 되었다. KoreaMed는전세계에서 가장 시장 점유율이 높은 검색 포탈회사인 구글(http://www.google.com)과 우리나라 최고의 인터넷 포탈 회사인 NHN (http://naver.com)이 자료를 검색하여 자기들의 메타자료로 삼고자 요청하였으며 국내외에서 인정받는 데이터베이스로 자리잡았다. 현재 KoreaMed 방문객의 약 60%는 외국에서 오는 것으로 파악되고 있다.


KoreaMed는 초록 검색만이 가능하다. 이를 개선하기 위해 KoreaMed LinkOut 서비스를 하고 있다. 이는 Korea-Med에서 검색된 초록에 LinkOut 단추가 있는 경우 이를클릭하면 해당 학술지의 원문이 있는 곳으로 연결되게 한것으로서 2010년 6월 현재 137종의 학술지 원문 조회가 가능하다. 어떤 학술지가 KoreaMed에 등재되어 있고 어떤학술지가 LinkOut이 가능한지는 홈페이지(http://www.koreamed.org)에서 조회가 가능하다. KoreaMed는 원래1997년 이후의 자료만 검색이 가능했으나 그 이전의 자료도 데이터베이스에 올려서 국내외에서 검색이 가능하게 하는 것이 좋겠다는 취지에 따라 이를 위해 KoreaMed Retro서비스를 하고 있다.


2. KoMCI


그동안 잘 찾아보지도 않았고 찾아보려고 해도 검색도 어려웠던 의학학술지의 체계적 검색을 가능하게 한 Korea-Med에 뒤이어 대한의학회는 KoreaMed 등재학술지를대상으로 Korea Medical Citation Index (KoMCI)를 구축하였다. 이 데이터베이스의 목적은 국내 발간 학술지의 인용자료를 정확히 파악하여 미국 톰슨사에서 시행하여 널리알려진 영향력 지수(Impact factor, IF)를 우리 의학학술지에서도 가능하게 하겠다는 것이다. 2000년도 KoreaMed학술지에 게재된 논문들을 대상으로 인용도를 조사한 Ko-MCI2000이 오랜 준비과정을 거쳐 2002년에 처음으로 발간되었는데 이를 통해 그 전까지는 알 수 없었던 흥미로운 사실들을 알 수 있었다. 이 자료에 따르면 우리 의학자들은 논문 한편당 우리 학술지를 평균 1.8회, 참고문헌 숫자 중에서는 8.5%를 인용하여 상대적으로 우리나라 학술지를 잘 인용하지 않는다는 사실을 수치적으로 확인할 수 있었다[6].이 수치는 KoMCI2008에서 10.7%로 다소 상승하였다[7].KoMCI는 2006년 9월에 톰슨사의 Journal Citation Report(JCR)와 같이 학술지의 인용도 지표, 인용 반감기, 피인용반감기 등을 도표와 그림으로 보여주는 KoMCI JournalWeb으로 발전하였다.


KoMCI에 대해서 또 한가지 주목해야 할 점은 그 자료의신뢰성이다. 우리 의학학술지의 문제중 하나가 하나의 학술지가 때에 따라서 다른 이름으로 참고문헌으로 인용된다는점이고 KoMCI 발간과정에서 이 정보를 제대로 정리하기위해 발간에 참여한 분들의 많은 수고가 필요했다. 이러한과정을 거침으로써 KoMCI는 현재 국내에서 최초로 우리 의학학술지의 영향력 지수를 제시했을 뿐 아니라 그 제시하는자료의 품질에서도 국내 최고의 위치를 유지하고 있다[4].


KoreaMed, KoMCI는 그 자체로 학술지 검색을 용이하게 하여 우리 학술지에 수록된 정보가 널리 알려지는데 기여할 뿐 아니라 국내에 보고된 논문들을 모아서 메타 분석을 가능하게 하고 학술지가 스스로의 위상을 돌아보고 발전방향을 모색하는 데에도 도움을 주는 등 여러 면에서 우리의학학술지 발전에 기여하고 있다[8~14].


3. KoreaMed Synapse


KoreaMed Synapse는 논문의 본문 전체를 조회할 수 있게 하고 그림, 표를 확대해서 보여주는 기본 기능 외에 디지털 개체 식별자(Digital Object Identifier, DOI)를 이용하여 참고문헌에서 바로 다른 학술지의 전문으로 연결해준다.다시 말해서 우리 학술지 논문의 참고문헌에서 외부 논문으로 연결될 뿐 아니라 외부 학술지의 참고문헌에서 우리 학술지 본문으로 바로 연결을 통해 우리 의학학술지를 전 세계의 학술지와 끊임없이 연결해준다. 또한 KoreaMedSynapse를 이용하면 논문의 인용 여부 및 인용도 검색도 가능하다. 즉 인용을 받은 논문의 수, 각 논문이 인용된 횟수,가장 많이 인용된 논문들을 찾아볼 수 있다.


Synapse에 반영되는 인용정보는 DOI를 관장하는CrossRef에 참여하는 전세계 학술지 논문의 참고문헌에서인용하는 정보이고 여기 참여하는 의편협 학술지 논문이 인용하는 정보도 포함되어 있다. 이를 통해서 SCI에 등재되지않은 학술지도 외국/국내 학술지로부터 받는 인용을 확인할수 있다. KoreaMed Synapse는 2007년 11월부터 서비스를 시작하여 현재 69종의 학술지가 참여하고 있다. Korea-Med Synapse는 CrossRef의 계간 소식지(2010년 4월호)에 모범적인 사례로 그림과 함께 상세하게 언급될 정도로해외에서도 그 우수성을 인정받고 있다.


KoreaMed, KoMCI, KoreaMed Synapse는 그 자체로도 대단한 업적이지만 이러한 일이 의편협 구성원들에 의해이루어졌다는 것은 더욱 놀라운 일이다. 비록 벤치마킹할대상이 있기는 했으나 우리 고유의 데이터베이스를 구축하기 위해 기초 정보부터 정리하는 과정을 밟아야 했던 어려움을 겪어야 했으므로 결코 쉬운 일은 아니었다. 국가적 후원을 받는 미국 국립의학도서관이나 축적된 기술을 보유하고 있는 대기업에서 했던 일을 의편협이 이루어낸 것은 그자체로도 높은 평가를 받기에 부족함이 없다.


결 론


1996년 2월 22일 50여명의 의학학술지 편집인들이 모여서 창립된 의편협은 다양한 교육을 통해 학술지 발전의 기반을 구축했을 뿐 아니라 출판 윤리 등 학술지에 관련된 제반 업무에서 표준을 제시하는 단체로 성장하였다. 또한 국제적으로 인정받는 데이터베이스를 제공하는 권위를 인정받고 있고 소속 학술지중 23종이 국제 과학 색인에 등재되는 등 다방면에서 성공을 거두어 창립시 목표로 했던 우리의학학술지의 발전에 크게 기여하였다. 이제는 그동안 축적된 기술을 바탕으로 타 국가의 데이터베이스 구축 및 지역의학정보 데이터베이스 구축에도 주도적 역할을 하고 있다.


실로 의편협은 학술단체 연합회가 추구해야 할 방향과 성과를 제시하는 좋은 역할 모델이라고 할 수 있다.의편협이 이러한 성과를 이룬 것은 창립 초기부터 지금까지 여러 분야의 전문가들이 모여서 끊임 없이 노력한 것과함께 창립 초기부터 의편협의 각종 사업에 지원을 아끼지않고 있는 대한의학회의 관심과 성원도 큰 버팀목이다.


그동안 의편협이 많은 성과를 거두었지만 모든 분야에서국제적 경쟁이 일반화된 현 시점에서 앞으로 가야 할 길 역시 멀다고 할 수 있다. 우리 의학자들이 논문 한편을 쓸 때열과 성을 다하는 동시에 국내의 좋은 논문을 적극적으로검색하여 인용하는 노력을 하고, 의학학술지 편집인들은 세계적 기준에서 부끄럽지 않은 학술지로 발전하도록 수고를아끼지 않을 때 우리 의학학술지의 발전과 함께 의편협도더 많은 성과를 거둘 것으로 생각한다.



J Korean Med Assoc. 2010 Aug;53(8):653-658. Korean.
Published online July 30, 2010.  http://dx.doi.org/10.5124/jkma.2010.53.8.653 
Copyright © 2010 Korean Medical Association
Korean Association of Medical Journal Editors (KAMJE) and the Current Status of KoreaMed and KoreaMed Synapse
Hee-Jin Yang, MD and Dong Gyu Kim, MD
Department of Neurosurgery, Seoul National University College of Medicine, Seoul, Korea.

Corresponding author: Dong Gyu Kim. Email: gknife@plaza.snu.ac.kr 


Abstract

The Korean Association of Medical Journal Editors (KAMJE) was founded in 1996. Among the 51 journals which participated in the founding of KAMJE, only 5 were listed in PubMed at the time, and none in Scientific Citation Index (SCI). In order to improve the quality of Korean medical journals, KAMJE established regular and systematic evaluation of medical journals, and has held academies for journal editors and education programs for manuscript editors. KAMJE has also focused on the database of Korean medical journals. KoreaMed, which provides access to articles published in Korean medical journals; KoMCI, which analyzes and provides citation data; and KoreaMed synapse, a digital archive and reference-linking platform. All of those are products of the efforts of KAMJE. By publishing "Good Publication Practice Guidelines for Medical Journals", KAMJE also has been focused on research and publication ethics. KAMJE has played an active part in establishing the Asia Pacific Association of Medical Journal Editors (APAME) and West Pacific Regional Index Medicus (WPRIM). Today, KAMJE, now composed of 188 journals covering medicine, nursing, dentistry, veterinary medicine, and nutrition, has 14 and 23 journals listed in PubMed and SCI, respectively. These achievements of KAMJE, attributable to the unrelenting efforts of Korean medical journal editors and editors, may be helpful in further improving the status of Korean medical journals.

Keywords: Korean Association of Medical Journal Editors (KAMJE)KoreaMedKoMCIKoreaMed Synapse.


대한의사협회지 새 웹사이트 소개

An Introduction to the New Web Site of the Journal of the Korean Medical Association

최 인 홍 | 연세의대 미생물학교실 | In Hong Choi, MD

Department of Microbiology, Yonsei University College of Medicine, Seoul, Korea

허 선 | 한림의대 기생충학교실 | Sun Huh, MD

Department of Parasitology, College of Medicine, Hallym University, Chuncheon, Korea

안 덕 선* | 연세의대 생리학교실 | Duck Sun Ahn, MD

Department of Physiology, Yonsei University College of Medicine, Seoul, Korea

* Corresponding author: Duck Sun Ahn

E-mail: dsahn@yuhs.ac

Received July 6, 2010 Accepted July 20, 2010






서 론

2010년 7월 대한의사협회지는 새 웹사이트(http://jkma.org)를 구축하였다. 본 논문을 통해 새 웹사이트에 대한 간략한 소개와 더불어 웹사이트를 통해 이루고자 하는 목적, 즉 한국의 최신 의료 정보를 국내 및 국제적으로 알리는 역할과 한국 의료계의 지나온 발자취를 정리하고 저장하는 역할의 역사적 중요성에 대해 다루고자 한다.



과 거

대한의사협회지는 1948년 5월 10일 창간호를 선보인 “朝鮮醫學協會會報”에서 시작하였다. 제1호의 권두언은 서재필 박사가 작성하였고(Figure 1)[1], “조선의학협회회보발간에 제하여”,“우리의사회의 연혁”및“제1회 학술대회 연설 초록”이 게재되었다. 제2호는 1년 후인 1949년 발행되었으며, 이때 대한의사협회의 명칭 변경에 따라 제호가 “大韓醫學協會會報”로 변경되었다[2]. 2호의 권두언은 윤일선 박사가 작성하였고 원저 1편, 임상실험 2편, 종설 1편 및 보고서, 학회 참석 후기 등으로 구성되었다. 특히“세계보건기구에 가맹한 의의”및“제14회 세계 Olympic 대한민국대표단 의무보고”등은 그 당시의 한국 의료사에서 대한의사협회의 역할을 보여주는 흥미로운 자료이다. 이처럼 2호가 발간된 이후 1950년 한국전쟁으로 중단되었다가 1958년 9월 1일 속간됐으며[3], 1961년 1월부터는 월간지로 발간되고 있다(pISSN 0023-4028). 1995년에는 제호가 현재의“대한의사협회지”로 변경되었다. 초기 대한의사협회지의 역사적인 활동과 내용은 1993년 10월 4일 대한의사협회지 웹사이트(http://kma.org/contents/board/mboard.asp?strBoardID=societyji)가 구축되면서 비로소 온라인에 공개되고 회원들이 수월하게 접근하여 대한의사협회 및 대한의사협회지의 과거를 알 수 있게 되었다. 그러나 독립된 웹사이트가 아니라 대한의사협회 홈페이지의 한 메뉴로서 운영되었다(Figure 2).



현 재

연간 35,000부씩 발간하는 대한의사협회지는 2008년 SCIE(과학기술논문 추가 인용색인)에 등재되었다. SCIE 등재는 대한의사협회지가 국제적인 학술지로 인정받았음을 의미하므로 이를 발간하는 대한의사협회의 위상 역시 국제적으로 향상되었음을 의미한다. 이를 통해 한국 의학의 연구 동향 및 발전상을 세계적으로 소개하는 기틀을 마련할 수 있었다. SCIE 등재 외에도 또 다른 국제학술지 평가시스템인 SCOPUS에 2007년에 등재됐으며, 국내에서는 한국학술진흥재단의‘등재후보학술지’로 2007년부터 등록되어 있다. 기타 검색 시스템인 KoreaMed, KoreaMed Synapse, KoMCI, WPRIM(Westen Pacific Regional Index Medicus), Worldwidescience.org, CrossRef 및 Google Scholar를 통하여서도 검색이 가능하다. 2007년 인쇄본 잡지 등록번호인 ISSN을 새로이 발급받았고(pISSN 1975- 8456), 온라인 잡지의 등록번호인 eISSN은 이번에 새 웹사이트를 구축하면서 2010년 6월 28일 발급받았다 (eISSN 2093-5951). 학술지 도메인으로서 jkma.org 및 jkma.kr 두 가지를 2010년 6월 21일 확보하였다.





J Korean Med Assoc. 2010 Aug;53(8):648-652. Korean.
Published online July 30, 2010.  http://dx.doi.org/10.5124/jkma.2010.53.8.648 
Copyright © 2010 Korean Medical Association
An Introduction to the New Web Site of the Journal of the Korean Medical Association
In Hong Choi, MD,1 Sun Huh, MD,2 and Duck Sun Ahn, MD3
1Department of Microbiology, Yonsei University College of Medicine, Seoul, Korea.
2Department of Parasitology, College of Medicine, Hallym University, Chuncheon, Korea.
3Department of Physiology, Yonsei University College of Medicine, Seoul, Korea.

Corresponding author: Duck Sun Ahn. Email: dsahn@yuhs.ac 
Received July 06, 2010; Accepted July 20, 2010.

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.


Abstract

The Journal of the Korean Medical Association (JKMA) established a new web site in July, 2010 available at http://jkma.org/. Here, we introduce the basic structure and concept of the new web site. The new web site provides current medical information from Korea to KMA members as well as global readers. The history of Korean medicine will also be organized in an easily accessible. Starting from this basic platform, JKMA will improve and expand other online functions in the near future. We hope every member of the Korean Medical Association enjoys browsing the content of JKMA through the new site and using the information they find in their clinical practice.




Issues and priorities of medical education research in Asia.

Majumder MA.

Department of Medical Education, School of Medical Sciences, Universiti Sains Malaysia, Kelantan, Malaysia. azim@kb.usm.my


본 논문은 아시아 지역에서의 의학교육연구의 역할/이슈/접근/논리/함정/우선순위/균형 등을 다루고자 하며, 특히 그 불안정한 지위를 중심으로 보고자 한다. 의학교육연구는 많은 방향으로 영향을 미쳐왔는데, 가장 중요한 것은 이해관계자들의 교육과 관련한 결정에 대한 타당한 근거를 제시했다는 것이다. 또한 교육 현장 뿐만 아니라 임상 현장에도 광범위한 사회적 영향을 끼쳤다.

This article addresses the roles, issues, approaches, rationale, pitfalls, priorities and balance of research in medical education, particularly its "disarray" status in Asia. Research in medical education has influenced education in many ways. Most importantly, it provides legitimate evidences to stakeholders on which to make educational decisions. It also has a wider social impact on teaching practice and subsequent clinical practice. 


그러나 아시아에서 의학교육연구는 교육 정책이나 진료에 크게 영향을 주고 있지는 않다. 또한 선진국에서 그것이 받는 관심만큼 높은 관심을 받고 있지 못하다. 여기에는 여러하지 한계점이 있다.

However, in Asia, medical educational research has not substantially influenced educational policy and medical practices. Moreover, it fails to receive comparable attention as in developed countries. A number of constraints that have hampered the development of educational research in Asia are identified: 

low socio-economic condition of the region; 

cultural and religious values and beliefs of the people; 

lack of congruence between the mission and vision of medical schools; 

leadership crisis; 

lack of financial resources; 

inadequate exposure to medical educational research in undergraduate training; 

lack of collaboration and commitment; and 

unforeseeable short-term outcome of medical education. 


본 문헌은 아시아에서 연구를 장려하는 풍토를 강화하기 위한 몇 가지 조언을 제안하고자 한다. 

The article concludes with some specific recommendations to strengthen research and to create a research culture in the region, including...

active leadership and commitment of the institutes/organisations, 

careful assessment and strategic settings of the priorities of medical educational research, 

establishment of a regional centre for medical education research, 

availability of financial resources, 

wider dissemination of research findings, 

collaboration with the developed countries and 

initiative to publish regional-based medical education journals, including electronic journals. 


Appropriate research environment and culture will enable stakeholders to obtain evidence-based information from educational research to increase the relevance, quality, cost-effectiveness and equity of medical education and practice in Asia.



Introduction

  • 의과대학 : 
    • Three-legged stool : 교육, 연구, 진료
    • Triple-threat academicians : Investigators, teachers, practicing physician
  • 그러나 최근에는 여기에 social responsiveness라는 네 번째 obligation이 추가되었음.

  • 아시아의 의학교육과 다른 선진국의 의학교육에 차이가 벌어지고 있음
    • Colonial-biased, subject-oriented, teacher-centered, discipline-based, lecture-focused, hospital-based traditions
    • 즉, 국가적 건강 요구에 부합하는 의사를 양성하지 못하고 있으며, 지역사회의 요구에 맞는 의료를 만들어나가는 리더십 역할을 하지 못하고 있다는 비판.
  • 1995년과 2000년 사이의 publication을 보면 Academic Medicine에는 1%, Medical Education에는 8%만이 아시아 국가에서 발표한 논문이다.

Educational Research : Recent Trends





Does Medical Education Research Matter?




Recent Trend : Evidence to Guide Educational Decision-making




















 2004 Mar;33(2):257-63.

Issues and priorities of medical education research in Asia.

Abstract

This article addresses the roles, issues, approaches, rationale, pitfalls, priorities and balance of research in medical education, particularly its "disarray" status in Asia. Research in medical education has influenced education in many ways. Most importantly, it provides legitimate evidences to stakeholders on which to make educational decisions. It also has a wider social impact on teaching practice and subsequent clinical practice. However, in Asia, medical educational research has not substantially influenced educational policy and medical practices. Moreover, it fails to receive comparable attention as in developed countries. A number of constraints that have hampered the development of educational research in Asia are identified: low socio-economic condition of the region; cultural and religious values and beliefs of the people; lack of congruence between the mission and vision of medical schools; leadership crisis; lack of financial resources; inadequate exposure to medical educational research in undergraduate training; lack of collaboration and commitment; and unforeseeable short-term outcome of medical education. The article concludes with some specific recommendations to strengthen research and to create a research culture in the region, including active leadership and commitment of the institutes/organisations, careful assessment and strategic settings of the priorities of medical educational research, establishment of a regional centre for medical education research, availability of financial resources, wider dissemination of research findings, collaboration with the developed countries and initiative to publish regional-based medical education journals, including electronic journals. Appropriate research environment and culture will enable stakeholders to obtain evidence-based information from educational research to increase the relevance, quality, cost-effectiveness and equity of medical education and practice in Asia.

Comment in

PMID:
 
15098645
 
[PubMed - indexed for MEDLINE] 

Free full text

Perspective: Reconsidering the Focus on “Outcomes Research” in Medical Education: A Cautionary Note

David A. Cook, MD, MHPE, and Colin P. West, MD, PhD



Abstract


Researchers in medical education have been placing increased emphasis on “outcomes research,” or the observable impact of educational interventions on patient care. However, although patient outcomes are obviously important, they should not be the sole focus of attention in medical education research. The purpose of this perspective is both to highlight the limitations of outcomes research in medical education and to offer suggestions to facilitate a proper balance between learner-centered and patient-centered assessments. 


The authors cite five challenges to research using patient outcomes in medical education, namely 

(1) dilution (the progressively attenuated impact of education as filtered through other health care providers and systems), 

(2) inadequate sample size, 

(3) failure to establish a causal link, 

(4) potentially biased outcome selection, and 

(5) teaching to the test. 


Additionally, nonpatient outcomes continue to hold value, particularly in theory-building research and in the evaluation of program implementation. 


To educators selecting outcomes and instruments in medical education research, the authors offer suggestions including to clarify the study objective and conceptual framework before selecting outcomes, and to consider the development and use of behavioral and other intermediary outcomes. Deliberately weighing the available options will facilitate informed choices during the design of research that, in turn, informs the art and science of medical education.








지난 십년간 의학교육 학계는 "성과 연구"에 상당히 몰두해왔다. '성과'라는 단어가 '결과로서 따라오는 것'을 의미함에도 '성과'를 논의할 때 이 단어는 흔히 '임상 결과(clinical outcome)'을 의미하곤 한다. 즉, 어떤 개입의 효과가 환자나, 환자를 돌보는 의사의 행동에 영향을 줘야 한다는 것이다.

Over the past decade, the academic community has seen increased emphasis on “outcomes research” in medical education.1–3 Although the word outcome refers generally to “something that follows as a result or consequence,”4 in the discourse of outcomes research in medical education, this word refers to clinical outcomes—that is, an intervention’s impact on patients and sometimes on physician behaviors during patient care.2


연구자들은 환자 결과(patient outcomes)를 프로페셔널한 행동에 대한 연구라든가, 의사들의 의사소통, 외과에서의 수련 등등의 성과연구에 활용해왔다. 졸업후교육에서 종적(longitudinal)으로 환자결과를 수집해온 연구도 있다.

Investigators have used patient outcomes in studies of professional behavior,11 physician communication,12 surgical training,13 and continuing medical education.14 Others have reported systems to collect patient outcomes longitudinally in postgraduate education.15,16


환자결과가 중요하긴 하나, 환자에 미치는 영향이나 의사의 행동은 나타날 수 있는 '성과'의 일부분일 뿐이다. 50년 전 Kirkpatrick은 4단계 모델을 제시하여 널리 인정받았다. 이 4단계에 의하면 환자결과는 강조할 가치는 있으나 의학교육에서 유심히 봐야 할 유일한 것은 아니다.

Although the patient outcomes research movement is important, patient effects and physician behaviors make up only a subset of possible outcomes. Fifty years ago, Kirkpatrick17 proposed a widely accepted, four-level model of training program outcomes, comprising, first, reaction (satisfaction); followed by learning (knowledge, skills, and attitudes); then, behaviors in practice; and, finally, results (effects on the object of interest, such as in medicine, patients). Patient outcomes warrant emphasis, but they should not constitute the sole focus of attention in medical education.


환자결과에 과도하게 집중하는 것은 오히려 역설적으로 의학교육의 art and science에 대해 혼란스럽게 한다. 이는 임상연구에서 mortality에만 관심을 갖는 것과 유사하며, 환자와 관련된 다른 것들(QOL)을 생각하지 않게 만들고, 연구질문의 범위를 제한하며, 많은 연구를 불가능하게 만들어버린다.

An excessive emphasis on patient outcomes may paradoxically distract investigators from advancing the art and science of medical education overall. Such an emphasis on patient outcomes in medical education would be akin to focusing clinical research outcomes on mortality, which would neglect other outcomes important to patients (such as quality of life), restrict the type of research questions asked (not all interventions are designed to prolong life), and make many studies infeasible (e.g., randomized trials with mortality outcomes typically require long periods of follow-up and incur high expense).


환자결과를 의학교육연구에서 활용할 때 일어날 수 있는 몇 가지 한계를 제시하고자 한다.

We recognize several drawbacks to using patient outcomes in medical education research.


Challenges and Limitations of Research Using Patient Outcomes in Medical Education


희석 

Dilution


의사가 '하는 것(behavior)'과 환자결과(result)간의 관계는 간접적이다.

The link between what a physician does (Kirkpatrick’s behaviors) and what patient outcomes reflect (Kirkpatrick’s results) is indirect


또한 추가적인 요인들이 영향을 줄 수도 있다. (다른 팀 동료, 정책, 보험 등)

Moreover, in most instances, additional factors—such as other members of the health care team (nurses, pharmacists, trainees, etc.), institutional policies, and insurance plan requirements—also have an effect.


궁극적으로 이들 교란요인은 의사의 행동을 '희석'시켜서 교육의 효과로 인해 나타나는 활동의 결과를 없는 것처럼 보이게 한다.

Ultimately, these confounding factors or conditions effectively dilute the physician’s actions19 and diminish the observed effect of the educational activities that preceded those actions. 


연구자들에게는 두 가지 옵션이 있다. 개입의 영향을 더 키우거나, 작은 효과조차 잘 나타나도록 샘플 크기를 키우는 것이다. 그러나 이 둘 모두 교육분야 연구에서는 이상적이지 않다.

Researchers have two options: to increase the initial impact of the intervention (so that even after dilution the effect remains strong) or to enroll a sample size large enough to detect even small (dilute) effects. Neither solution is ideal in education research.


초강력한 개입법을 만드는 것은 매력적으로 보이지만, 우리는 이미 이러한 개입법을 달성하려면 다방면의 접근이 필요함을 알고 있다.

Creating an exceptionally strong intervention sounds attractive at first.However, we have observed that strong interventions nearly always require a multifaceted approach to training,drawing on multiple instructional 

modalities (e.g., combinations of textbook, video, lecture, small groups, computer-assisted instruction, standardized patients, other simulation, and clinical encounters) and instructional methods (practice cases, group discussion, self-assessment questions, feedback, mastery learning, etc.).


또한 강력한 개입은 약한 개입 또는 무개입과 비교했을 때 효과가 크게 나타난다. 연구자들의 지적과 같이 'comparative effectiveness research'가 점차 중요해질 것이고, 이러한 연구에서 '효과크기'는 오히려 작은 경우도 흔하다.

Moreover, strong interventions often show a large effect only when judged against a weak comparison intervention or no intervention. As researchers seek to advance the science of education, the importance of comparative effectiveness research (side-by-side comparisons of two or more active educational interventions) will increase.21 The expected effect size in such research is often rather small.22–24


일부 연구자들은 초점을 진료를 하는 의사집단에 맞춰야 한다고 말한다. 예를 들면 훈련 프로그램이나 큰 코호트에 대한 정보를 모아서 보아야 한다는 것이다. 그러나 이렇게 하면 의사 개개인의 중요성이 낮아질 수 있다.

Some have argued that the community might shift its attention to assessing practitioner groups, such as looking at the aggregate data for a training program15 or large cohort.25 Although examining aggregate group data makes sense at a programmatic level (i.e., for identifying curricular priorities and gaps, or for demonstrating the overall effectiveness of a program), doing so minimizes the importance of individual providers


실헌가능성, 샘플 크기

Feasibility: Sample size


의학교육연구에서 활용가능한 샘플의 크기로 인해 연구의 효과를 적절히 보여주지 못할 수 있다.

In medical education research, the conveniently available sample size (e.g., the number of participants in a training program) is often inadequate to appropriately power the study.


교육적 개입의 영향력이 희석될 수 있기 때문에, 측정도구역시 완벽하지 않기 때문에 이런 연구는 큰 샘플 사이즈나, 큰 영향력(큰 효과크기)가 있는 개입을 필요로 한다. 그렇지 않다면 통계적으로 유의미하지 않은 결과가 나올 것이다.

Because the effect of the educational intervention— even if successful—would be diluted (as above), and the measurements would be imperfect, such a study would either need a very large sample or an intervention with a huge impact (large effect size). Anything less would likely result in nonstatistically significant findings.


일부 연구자들은 더 많은 환자를 enroll하여 학습자 샘플이 부족한 것을 극복하고자 했으나, 결과를 분석할 때 'clustering'을 잘 설명해야 하며, clustering은 effective sample size를 낮춘다. 그러나 유감스럽게도 연구자들은 종종 clustering을 잘 조절하지 못하여 잘못된 분석이나 이상한 분석을 하곤 한다.

Some investigators have attempted to overcome the barrier of an insufficient learner sample by enrolling more patients. However, they must then account for clustering when analyzing the data, and clustering lowers the effective sample size.30 Regrettably, researchers often fail to adjust for clustering (as documented in clinical research),31 resulting in flawed analyses and questionable interpretations, as noted in recent systematic reviews in education.8,32


다양한 프로그램에서 학습자를 enroll하여 이러한 한계를 극복하고자 하는 연구자들도 있고 이것이 성공하기도 하지만, 프로그램들 사이에 개입과 성과 측정이 동일한지를 확인해야 한다.

Other researchers have attempted to increase sample size by enrolling learners from multiple programs—either different training programs within an institution or similar programs from different institutions. Although doing so often leads to success, many important research questions do not lend themselves to multiprogram study—especially questions that require interventions and outcome measures to be implemented equally across programs.33



인과관계 성립 실패

Failure to establish a causal link


교육자들은 study rigor를 향상시키기 위하여 환자 결과에 집중하고는 한다.

Educators might expect a focus on patient outcomes to improve study rigor.


많은 의학교육연구들이 'nonrandomized' design을 사용하는데, 이것들은 randomized 연구보다 인과관계가 훨씬 약하다.

Many medical education studies using patient outcomes employ nonrandomized designs such as concurrent cohort designs, retrospective designs with historical controls, and single-group cross-sectional designs. Such designs allow much weaker causal interpretations than do randomized studies.34


인과관계가 약해지는 또 다른 이유는 교란변수인데, 다면적 개입방법의 활용 또는 multiple instructional feature가 다양한 연구간 비교하는 것 등이 흔한 원인이다. 또 다른 원인은 systematic variation이며, 무작위연구조차 교란변수를 완전히 통제하지는 못한다.

Another source of weakened causal inferences is confounding, which occurs when the observed effect can plausibly be ascribed to a known or suspected influence other than the object under study. Multifaceted interventions (as described above in the Dilution section) and comparisons in which multiple instructional features vary simultaneously represent two common sources of confounding in education research.35 A third source of confounding, particularly problematic for patient outcomes research, is systematic variation in patient populations across physicians (e.g., some physicians care for higher-risk patients than others).18 Even randomization cannot compensate for a confounded design.20


이같은 연구의 다른 측면과 결과 사이의 긴장은 다음 질문을 떠오르게 한다. '강한 인과적 해석이 가능하지만 결과가 약한 연구와, 결과는 강력하지만 결과 해석에 교란변수가 개입되고 결과가 약한 연구 중 무엇이 나을까?' 답은 상황에 따라 다르겠지만, 많은 경우 인과관계가 더 분명한 것이 더 선호된다. 결과가 개선되었더라도, 그것의 원인을 설명할 수 없다면 기존의 지식에 더할 수 있는 것이 제한된다.

The tensions between outcomes and other aspects of study design raise the following question: Which is better, a study that permits strong causal interpretations (e.g., strong design and limited confounding) with a weak outcome, or a study with a strong outcome but a design that allows for only weak and confounded interpretations? The answer depends on the situation, but in many cases the stronger causal design may be preferable. Being able to state that outcomes improved, without establishing a clear link to what actually caused that improvement, does little to advance the community’s understanding of how to enhance future clinical/educational practice.35


결과 선택의 편항

Potentially biased outcome selection


다음의 일화를 보자

The following anecdote illustrates a fourth limitation of patient outcomes research in medical education:


한 여성이 길을 가다가 가로등 밑에서 무릎을 꿇고 있는 남자를 보았다. 무엇을 하느냐고 물으니 열쇠를 찾고 있다고 했다. 그녀도 같이 열쇠를 찾고자 했으나 찾지 못했고 남자에게 물었다. "여기서 잃어버린게 맞나요?" 남자가 대답했다. "아, 아니요. 저쪽에서 떨어뜨렸는데 거기는 어둡더라구요. 여기가 훨씬 밝아서요."

A woman walking down the street one night noticed a man on his knees under a lamppost. When asked what he was doing, the man replied that he was looking for his keys. She joined him in the search, but after several minutes asked, “Are you sure you lost them here?” “Oh no,” the man replied. “I dropped them on the other side of the street. But it’s dark over there; the light is much better here.”


예를 들면 최근의 systematic review를 보면 procedural task에 대한 시뮬레이션기반교육이  환자결과에 미치는 영향을 보고 있지만, nonprocedural task에 대한 시뮬레이션기반교육이 미치는 영향을 본 연구는 없다.

For example, researchers conducting a recent systematic review of simulation-based education found that all of the studies reporting patient outcomes focused on procedural tasks (e.g., endoscopy and endotracheal intubation),32 whereas no studies used patient outcomes to evaluate simulation-based training activities for no-less-important nonprocedural tasks (e.g., physical exam or crisis resource management).8


관심영역 전체를 잘 반영해주지 못하는 결과를 선택하는 실수를 하기도 한다. 교육분야의 많은 성과 연구들이 그 성과를 직접적으로 측정하는 방법이 없기 때문에 'broad curricular goals'를 가장 잘 반영하는 것보다는 '측정이 용이한' 도구를 선택하곤 한다.

Researchers risk bias when they select an outcome that does not reflect the entire domain of interest. Regrettably, many of the relevant outcomes in education research do not readily lend themselves to measurement,18 and researchers thus select measures that are easy rather than those that best reflect broad curricular goals.


의학교육연구자들은 환자결과를 모니터하는 데 필요한 연구비를 충분히 가지고 있지 못해서, 의무기록을 활용하기도 한다. 의무기록은 수집하기는 쉽지만 실제 수행능력을 잘 보여주는 데이터는 아닐 수 있다. 가능하거나 용이하다는 이유만으로 어떤 성과를 선택하는 것은 비뚤림을 유발할 수 있다.

Medical education researchers often lack funding to prospectively monitor patient outcomes; therefore, they select measures available from the medical record. Although easy to collect, such data may not be good indicators of actual performance.18 Selecting a given outcome for reasons of availability or feasibility introduces possible bias in the clinical topic or the measurement approach.


가로등 및에서 찾는 것이 항상 문제인 것은 아니다. 그러나 임상 결과 뿐만 아니라 일반적으로 평가에 대해서 한 영역에서 우수한 것이 꼭 다른 영역의 우수함과 연관되는 것은 아니다. 예컨대 혈당관리를 잘 하는 것이 대장암 스크리닝도 잘 한다는 의미는 아니다.

Looking under the lamppost is not always a problem. Researchers wishing to demonstrate “proof of concept” might reasonably select a test-case clinical topic with a patient outcome that is intentionally easy to measure. However, as authors have noted for both clinical outcomes18 and assessment in general,36 performance in one domain often has little correlation with another. For example, superior performance in managing blood glucose in diabetes may not predict performance in colon cancer screening.


시험을 잘 보기 위한 교육

Teaching to the test


평가가 학습을 유도한다는 오래된 지혜처럼 많은 교육자들은 여기에 동의할 것이다. 평가는 학습자에게 동기부여를 하거나 교수와 학생 모두 지나치기 쉬운 learning gap을 발견하게 해준다. 그러나 환자중심 성과에 지나치게 몰두하는 것은 역효과가 날 수도 있다.

Conventional wisdom indicates that assessment drives learning, and most educators (including ourselves) would agree that this is usually a good thing. Assessment can motivate and focus both learners and teachers to address learning gaps they might otherwise overlook. However, excessive focus on patient-oriented outcomes could negatively affect teaching by leading educators to “teach to the test.”


환자결과에 대한 과도한 집중은 교육과정개발자들이 '확실히 환자 진료에 도움이 되는 것'만 가르치도록 할 가능성이 있다. 일견 합당해보이지만 두 가지 중요한 문제가 있다.

Too much attention to patient outcomes could lead curriculum designers to teach only those processes that unambiguously enhance patient care. Although seemingly sensible, this approach suffers from at least two shortcomings. 


연구자들이 '상황(situation)'을 개선하려고 노력하지만, '명백한 근거'는 의사가 진단하고 치료결정을 내리는 아주 일부분에 대해서만 알려줄 뿐이다. 미리 정해진 기준에만 맞춰서 집중하는 것은 다른 주제들을 간과할 수 있다.

First, despite the research community’s valiant attempts to improve the situation, clear evidence informs only a fraction of clinicians’ diagnostic and therapeutic decisions.37 Focusing primarily on practices with  defined standards will necessarily detract from teaching on other topics. 


두 번째로, 근거기반 알고리즘 접근법에 집중하는 것은 학습자들로하여금 그러한 행동의 기저에 깔린 원칙을 배우지 않고 넘어가게 만들 수 있다. '시스템'이 교육보다 환자결과에 더 강한 효과가 있을지는 몰라도, 병태생리를 배우고 다른 근본 원칙을 배우는 것은 학습의 retention과 transfer에 중요하다. 또한 이러한 지식을 활용하여 새로운 치료법을 이해하고, 새로운 연구 결과를 해석하고 후에 연구를 주도해나가는 것에도 이득이 된다.

Second, focusing on evidence-based algorithmic approaches to management could backfire if learners fail to learn the principles that underlie such actions. Although systems change usually has a stronger effect on patient outcomes than education,38 learning pathophysiology and other underlying principles has clear benefit on retention and transfer,39 to say nothing of the long-term benefits of such knowledge40 in understanding new therapies, interpreting new study results, or conducting research later in life.


환자 결과 : 항상 좋은 것만은 아니다.

Patient Outcomes: Not Always Better


환자결과가 다른 '결과'보다 우월하다는 주장 역시 개인의 가치에 따른 주관적인 판단일 뿐이다(value judgement). Shea는 교육의 일차 고객은 '학습자'이지 '환자'가 아니다 라고 했다.

The argument that patient outcomes are superior to other outcomes is, ultimately, a value judgment. Shea19 pointed out that “the primary customer of medical education is emphatically the learner, not the patient.” 


지식, 술기, 태도를 측정하는 것, 심지어 '만족도'를 측정하는 것들에 대해 '부차적'이라고 격하할 필요는 없다. 모든 것들이 동등하다면, 만족도가 높은 것이 나쁜 것이 아니다! Yardley와 Dornan이 지적한 것처럼 Kirkpatrick의 낮은 레벨에서 또는 nonoutcome evidence를 통해서 얻을 수 있는 것도 많다. 과도하게 환자결과에 초점을 맞추는 것은 학생들을 'dehumanizing'시킬 수 있다.

However, measures such as knowledge, skills, attitudes, time, and even satisfaction should not automatically be relegated to second-tier status as “process measures.”2 All else being equal, higher learner satisfaction is not a bad objective! Also, as Yardley and Dornan9 have noted, the community can learn much about an educational activity from outcomes lower in Kirkpatrick’s model and from nonoutcomes evidence (e.g., process evaluation and qualitative data). Furthermore, excessive concentration on patient outcomes risks dehumanizing trainees (and thereby the education process) by viewing the trainee solely as a means to an end rather than a worthy end in and of him- or herself.


비-환자결과는 '이론을 수립하는 연구'에서 특히 중요한데, 이러한 종류의 연구가 종종 환자 접촉이 제한적인 상황에서 이뤄지기 때문이다. 의학교육연구는 그 이론이 없다는 것 때문에 항상 아쉬움이 있었는데, 일부 연구자들은 '이론을 수립하는 연구'를 중요하게 본다.

Nonpatient outcomes (knowledge and skills) may be particularly important in theory-building research because this type of research often occurs in settings with limited patient contact. Medical education researchers have frequently lamented the absence of theory in the field,41,42 and some have suggested theorybuilding research as central to advancing the community’s understanding of how to improve learning activities.43


제언 

Recommendations


측정도구를 정하고 그것을 중심으로 연구를 설계하고 수행하기보다는 처음에 연구의 목적과 개념틀을 분명히 하고 가장 관련있는 결과, 측정법, 측정도구를 정해야 한다.

First, rather than starting a research project by identifying a measure or tool (e.g., “hemoglobin A1c” or “the patient record”) and then designing the investigation around it, researchers should first clarify the study objective and conceptual framework, then select the most relevant outcome, then the measurement method, and finally the instrument.44 

By selecting the question first, they both maintain focus on the most important issues and avoid prematurely selecting an outcome or instrument that will not provide the most meaningful data. Researchers must also ensure that the outcomes align with the educational objectives. 

No “most important” outcome exists in absolute terms—only better outcomes for a given context and purpose. The best outcome will balance two (at times opposing) requirements: the need to provide meaningful conclusions for the intended audience and the constraints of feasibility.


환자와 관련된 성과에 대한 토론을 할 때, 좀 더 명확한 토론을 위해서 교육자들은 'skill'과 'behavior'와 'patient effects'를 구분할 필요가 있다.

Second, for purposes of clarity in discussing the patient-related outcomes of health professions education, educators should remember the distinction between skills (provider actions in an artificial test setting), behaviors (provider actions with real patients, such as ordering tests, prescribing, procedural time, or procedural technique), and patient effects (Kirkpatrick’s level 4 “results”: the actual impact on patients, such as patient satisfaction, patient compliance, symptom control, complications, or test results).8,32 

Of note, a patient characteristic such as motivation to change might be considered an attitude in clinical research, but we argue that in health professions education research this characteristic qualifies as a true patient effect.


환자결과와 다른 접근성 높은 결과들의 연결고리를 만들 필요가 있다.

Third, researchers need to focus on establishing links between patient outcomes and other more accessible outcomes. 

To link patient outcomes causally to an educationally relevant activity or personal characteristic can be challenging. If the conceptual relationship between the activity and the outcome is poorly defined, investigators will be unable to bridge the gap with a single link. In such instances, they may find that using two or more links provides a more readily accessible chain of causality. 

For example, if researchers demonstrate an association between specific skills or behaviors and specific patient outcomes, then they and others may use these skills or behaviors as surrogate outcomes in subsequent studies (see Figure 1). 

For example, in a simulation-based course on vascular surgery, investigators found that simulator outcomes of time and severity of anastomotic leaks (skills) were associated with operative time and anastomotic leaks in real patients.45 Another study found an association between the quality of counseling with real patients (a behavior) and the patients’ motivation to change (a patient effect).46 


Of course, surrogate outcomes can be misleading,47 as is well understood in clinical research.48 Adapting existing guidelines for the use of surrogate end points in clinical research to medical education research seems prudent,49 including not only that the surrogate must correlate with the patient outcome but that improvement in the surrogate should also associate with improved patient outcomes


연구자들은 교육적 개입방법을 검증할 때 신중히 여러 단계를 밟아야 한다. 맨 처음 지식과 술기를, 그 다음 행동을, 그 다음 환자 결과를 검증해야 한다.

Fourth, investigators should consider proceeding in a deliberately stepwise fashion as they test educational interventions: first assessing knowledge and skills, then behaviors, and finally patient outcomes. 


우리가 초점을 옮겨가기 전에, 학생의 행동에 영향을 줄 수 있는가를 확실히 해야 한다. 그리고 그 다음으로 가야 한다.

As Shea19 stated, “Before we shift our focus—and simultaneously the expectations of reviewers and editors—we need to make sure we can influence students’ behaviors. Once we know how to do this, we can turn our attention to the next link.” 

의사들에게 있어서 행동과 환자결과 사이의 연결고리는 좀 더 직접적이지만, 아직 수련중인 수련의/전문의에게는 이 연결고리는 덜 직접적이고, 의대생들에게는 더 그렇다.

Researchers should also consider the learner’s training level: The link between behaviors and patient outcomes is much more direct (less diluted) for physicians, and to a lesser extent for postgraduate trainees, than it is for medical students. 

A study of cardiac resuscitation training for internal medicine residents illustrates the stepwise progression of outcomes: First, the investigators established that the course improved resuscitation skills in a simulated setting50; then, in a subsequent study, they assessed behaviors (checklist score during actual resuscitation) and patient outcomes (survival to discharge).51 

Another program of research began with an assessment of the need for training in obesity counseling,52 proceeded with a study evaluating the impact of training on patient counseling activities (behaviors),53 and then evaluated the effect on weight change54 (a patient outcome).


연구자들은 환자결과를 선택할 때 환자 또는 전체 의료팀이 개입된 것을 선택할 수도 있다. Kalet 등은 "educationally sensitive patient outcome"이라는 개념을 통해서 스스로의 치료에 대한 환자의 자발적 참여, 그리고 의료진의 효과적 개입에 영향을 줄 수 있는 개개인의 능력에 관심을 두었다. 

Fifth, investigators might consider selecting patient outcomes that result from the engagement of patients and the whole health care team. Kalet and colleagues16 have offered a conceptual framework for “educationally sensitive patient outcomes” that focuses on the capacity of individual providers to influence patient care by enhancing patients’ active involvement in their own care and by effectively engaging the health care team and available systems. 

These outcomes (e.g., patient motivation to change or team function) lie at the interface between behaviors and patient outcomes. 

In addition, they may offer a feasible approach to studies of educational programs that yield insight into patient care effects— provided educators can develop and implement appropriate measurement tools. The study cited above that linked physician counseling and patient motivation46 illustrates one application of educationally sensitive patient outcomes.


마지막으로, 우리는 훈련자 한 사람당 하나 이상의 환자결과가 나타날 때 advanced statistical techniques 이 필요할 수 있다. clustering을 조절하는 것에 실패하면 study power를 인위적으로 높게 보고 잘못된 결론을 내릴 수 있다.

Finally, we remind researchers that advanced statistical techniques will be required whenever there is more than one patient outcome per trainee (i.e., clustering of patients).30,32 Failure to adjust for clustering when required constitutes a unit-of-analysis error that artificially inflates the study power and may lead to spurious conclusions.





 2013 Feb;88(2):162-7. doi: 10.1097/ACM.0b013e31827c3d78.

Perspective: Reconsidering the focus on "outcomes research" in medical education: a cautionary note.

Abstract

Researchers in medical education have been placing increased emphasis on "outcomes research," or the observable impact of educational interventions on patient care. However, although patient outcomes are obviously important, they should not be the sole focus of attention in medical education research. The purpose of this perspective is both to highlight the limitations of outcomes research in medical education and to offer suggestions to facilitate a proper balance between learner-centered and patient-centered assessments. The authors cite five challenges to research using patient outcomes in medical education, namely (1) dilution (the progressively attenuated impact of education as filtered through other health care providers and systems), (2) inadequate sample size, (3) failure to establish a causal link, (4) potentially biased outcome selection, and (5) teaching to the test. Additionally, nonpatient outcomes continue to hold value, particularly in theory-building research and in the evaluation of program implementation. To educators selecting outcomes and instruments in medical education research, the authors offer suggestions including to clarify the study objective and conceptual framework before selecting outcomes, and to consider the development and use of behavioral and other intermediary outcomes. Deliberately weighing the available options will facilitate informed choices during the design of research that, in turn, informs the art and science of medical education.








'연구 성과'고르기 : 더 큰 그림을 보자

Choosing study outcomes: keeping an eye on the big picture

Phillippa Poole1 & Boaz Shulruf 2



의학교육은 의과대학 선발의 준비과정로부터 시작되는 연속체이다.

"Medical education is a continuum which begins with preparation for selection to medical school"


각 단계마다 공식(formal) 교육과정과 비공식(informal) 교육과정이 갖는 영향력의 균형이 달라지는 것처럼, 이해관계자와 임상학습환경이 갖는 영향도 매번 바뀐다. 그리고 이같은 환경은 그 전에 무엇을 어떻게 배웠든지간에 의사로서의 수행능력에 영향을 미친다.

"At each stage, the balance between  the impacts of the formal and the informal curricula on learning varies, as do the stakeholders and clinical learning environments. These environments may impact upon performance, notwithstanding any prior learning.4"


Engestrom Y. Expansive learning at work: toward an activity theory reconceptualisation. J Educ Work 2001;14:133–56.




보건의료와 교육은 둘 다 다른 요소(agent)들이 어떻게 하느냐에 따라서 반응하고 재반응(act and react)하가며 복잡하게 적응해가는 시스템(complex adaptive systems)이다.

"Health care and education are both complex adaptive systems in which parallel agents constantly act and react to what other agents do.5"


Waldrop M. Complexity: The Emerging Science at the Edge of Order and Chaos. Harmondsworth: Penguin 1994;380




Cook과 West에 의해서 제기된 방법론적 문제들이 있다. 희석(Dilution), 작은 샘플크기, 인과관계 설명의 어려움, 선택에 의한 비뚤림, 그리고 시험에 대해 가르쳐 주는 것(teaching to the test) 등이 있다.

"some of the methodological issues raised by Cook and West, namely: dilution; small sample sizes; difficulty in establishing causation; biased outcome selection, and teaching to the test.1"


Cook D, West C. Perspective: reconsidering the focus on ‘outcomes research’ in medical education: a cautionary note. Acad Med 2013;88:162–7.




첫째로 두 논문은 개발도상국의 상황에서 CME활동을 보여주었다.

둘째로 CME활동을 더 열심히 하는 의사의 환자에서 더 잘 낫는다는 것을 보여주었다.

셋째로 유익한 교육활동이나 연구활동이 비싸거나 광대해야만 하는 것은 아니라는 것을 보여주었다.

마지막으로 의학교육이나 성과연구에서 '성과(outcome)'을 어떻게 선택할 것인가에 대해서 다시 한번 생각해보게 한다.

"Firstly, each paper9,10 validates, in the context of a developing country, a CME activity that has been used elsewhere for years. Secondly, they each suggest that patients of doctors who are more engaged in CME activities may do better, supporting the place of CME within health services. Thirdly, neither the educational activity nor the research needed to be expensive or expansive to be informative. Finally, the papers9,10 trigger reflection on the choice of outcomes in medical education, and whither outcomes research."


Boushehri E, Khamseh ME, Farshchi A, Aghili R, Malek M, Ebrahim Valojerdi A. Effects of morning report case presentation on length of stay and hospitalisation costs. Med Educ 2013;47:711–6.


Mamede S, Loyens S, Ezequiel O, Tibirica S, Penaforte J, Schmidt H. Effects of reviewing routine practices on learning outcomes in continuing medical education. Med Educ 2013;47:701–10.




대부분의 독자들은 '성과'를 떠올릴 때 Kirkpatrick 평가모형의 위계에 익숙할 것이다. 다른 프레임은 학습자, 환자, 시스템 수준을 보기도 한다.

"Most readers will be familiar with Kirkpatrick’s hierarchy of evaluation, within which outcomes may be considered at the levels of, respectively, learner reaction, learning, behaviour or results.11 Other frameworks consider outcomes at the learner, patient and system levels. 3,12 "


Nabulsi M, Harris J, Letelier L, Ramos K, Hopayian K, Parkin C, Porzsolt F, Sestini P, Slavin M, Summerskill W. Effectiveness of education in evidence-based healthcare: the current state of outcome assessments and a framework for future evaluations. Int J Evid Based Healthc 2007;5:468– 76.


Tilson J, Kaplan S, Harris J, Hutchinson A, Ilic D, Niederman R, Potomkova J, Zwolsman S. Sicily statement on classification and development of evidencebased practice learning assessment tools. BMC Med Educ 2011;11:78.




이 이란에서의 연구는 환자 재원기간이 2일 감소했다는 것을 보여주면서 통상적인 아침 회진에서 다뤄진(presented)환자들에서 비용이 감소했다는 것을 같이 보여주었다. 이러한 결과는 Kirkpatrick 모델에서 '결과' 단계에 해당하는 것이며, Tilson의 모델에서 '환자'와 '시스템' 단계에 해당하는 것이다.

"The Iranian study shows a tantalising reduction of 2 days in patient length of stay and a parallel decrease in the costs of patients presented at a routine morning report.9 These are outcomes that can be categorised as referring to Kirkpatrick’s11 ‘results’ level, or Tilson et al.’s12 ‘patient’ and ‘system’ levels"




보건의료교육은 전 세계에서 보건의료에 지출하는 비용 중 2%도 되지 않으며, 이는 이 분야가 노동집약적이고 재능에 의해 움직이는 산업인 것을 고려하면 무척 낮은 수준이다.

"Health professional education consumes less than 2% of health expenditure worldwide, which is low for a ‘labour-intensive and talent-driven industry’.6"


Bhutta Z, Chen L, Cohen J et al. Education of health professionals for the 21st century: a global independent commission. Lancet 2010;375:1137–8.




연구를 수행한 사람에서의 관점, 그리고 그 연구가 어떤 목적으로 쓰일지에 대한 고려가 필요하다. 모든 연구결과는 '기전(mechanism)'과 '맥락(context)'의 조합을 통해 나타난다. 어떤 방식이 좋은지를 따질 때는 이 둘을 모두 고려해야 한다.

"Hence, consider the perspective from which the research is conducted and the purposes to which the research may be put.18 Any research outcome must result from a combination of ‘mechanism’ plus ‘context’; research into what works must take both of these aspects into account.19"


Yardley S, Dornan T. Kirkpatrick’s levels and education ‘evidence’. Med Educ 2012;46:97–106.


Pawson R, Tilley N. Realistic Evaluation. London: Sage Publications 1997;235.




의사들의 건강과 장기간에 걸친 의사들의 자기만족감도 중요한 부분이 되어간다.

"Outcomes that refer to doctors’ health and their satisfaction with their roles over long periods of time are increasingly important.21"


Wallace J, Lemaire J, Ghali W. Physician wellness: a missing quality indicator. Lancet 2009;374:1714–21.




 2013 Jul;47(7):645-8. doi: 10.1111/medu.12210.

Choosing study outcomeskeeping an eye on the big picture.

Source

Department of Medicine, University of Auckland, Auckland, New Zealand. p.poole@auckland.ac.nz



(http://apod.nasa.gov/apod/ap030426.html)







(출처 : http://berlinstirredup.wordpress.com/2012/02/10/opposites-attract/)





상식의 실패, 그리고 융합의 성공

THE FAILURE OF ‘COMMON SENSE’ AND THE SUCCESS OF MULTIPLE DISCIPLINES


학습

Learning


의학교육의 많은 연구가 학습에 대한 상식적 개념에서 출발했다.

Much research in medical education is driven by commonsense notions about the nature of learning: 

(i) learners have different needs, motivations, aptitudes and abilities; instruction should accommodate these; 

(ii) different instructional methods and formats lead to different outcomes, and 

(iii) the more the instructional method encourages activities that are closer to those carried out in the real world, the better the learning.


실패(The failures)


불행하게도, 많은 연구에서 이러한 상식은 하나도 증명되지 못했다. 학습방법에 맞춘 교육이 더 나은 결과를 가져오지도 않았고, 다양한 교육방식이 다른 결과를 가져올 것이라는 생각도 systematic review에 의해 반박당하고 있다.

Unfortunately, despite multiple studies, none of these commonsense axioms finds much support in the literature. Matching learning styles has never been demonstrated to lead to superior outcomes, in either general8 or medical9,10 education. The idea that different instructional formats lead to consistently different outcomes has been challenged by several systematic reviews of e-learning11 and PBL.4


성공(The successes)


반대로, 인지심리학에서 유래한 이론들은 예측가능하고 일관적성있게 도움이 되는 교육 전략을 제공했다. 

Conversely, theories derived from cognitive psychology point to some general instructional strategies that lead to predictable and consistent benefits.12 

Problem-based learning curricula that are directed at the activation of prior knowledge lead to better transfer.13 

The use of multiple examples and commonsense analogies that direct students to the deep conceptual structure of the problem results in significant gains in transfer.14 

Mixed practice, in which examples from different categories are mixed together, and distributed learning, in which learning is spread over several occasions, are both effective strategies directly related to cognitive theories of learning.15,16 

Cognitive load theory17 provides a strong theoretical basis for effective instructional design, is generally directed to simpler presentations and has consistent and strong effects.



임상 문제해결 기술과 임상 추론

Clinical problem-solving skills and clinical reasoning


실패(The failure)


아마 가장 좋은 사례는 McGuire의 연구일 것이다.

Perhaps the best example of a failure of common sense derives from McGuire’s own work.2


많은 학교들이 급진적으로 PBL과 같은 접근법을 도입했다.

New medical schools pioneered radical approaches such as PBL


문제해결능력을 위한 것이었고, 전문가와 초심자의 차이는 전문가는 뛰어난 문제해결 능력을 가지고 있다는 근거로부터 출발한 것이다.

toward measures of ‘problem-solving skills’. The term had common appeal; it was proposed that the differences between experts and novices derived from the fact that experts had good problem-solving skills and novices had still to acquire them.


이 분야에서 가장 발전한 것은 McGuire와 Babbott의 PMP이다.

The best-developed of these was McGuire and Babbott’s patient management problem (PMP),18


그러나 PMP에 대한 psychometric연구와 임상문제해결에 관한 기초연구 모두 불분명한 결과만을 보였다. 

However, both psychometric study of PMPs and fundamental research around ‘clinical problem solving’ revealed a disquieting finding. However, it was measured, the correlation across problems was 0.1–0.3.19,20


성공(The success)


Content Specificity에 관한 일관된 연구결과는 일반적 기술(general skill)은 손실되기 쉽고, 지식이 전문가에게 있어 핵심적인 것이라는 점이었다. 그러나 이것은 지식은 전문성과 관련이 없고, 5년마다 근본적으로 바뀐다는 인식이 널리 퍼져있던 시절에는 직관에 반하는 결론이었다.

The consistent finding of content specificity led inexorably to the conclusion that general skills are evanescent and that knowledge plays a central role in expertise; this represented a counter-intuitive result at a time when proclamations that knowledge was irrelevant and fundamentally changed every 5 years were rife.


이는 약간의 패러다임의 변화를 가져와서, 지식의 이론을 바탕으로 한 연구의 새로운 세대의 시작이 되었다.

This led to a small paradigm shift within the domain and the birth of a new generation of research strongly driven by theories of knowledge


비록 각각의 연구는 임상추론에 관해서 조금씩만 기여할 뿐이지만, 그것들이 합해져서 더 풍부하고, 더 강력한 설명을 제공한다.

Although each theory provides at best only a partial representation of the phenomenon of clinical reasoning, the collective provides a far richer, and more powerful, explanation of the phenomenon that is frequently at variance with common sense.





평가

Assessment



실패(The failure)


학습에 대한 상식이 그랬던 것처럼, 평가에 대한 것도 그럴듯하지만 틀린 것들이 많았다. 첫 번째는 평가의 포멧이 다르면 다른 능력을 평가할 것이라는 상식이었다.

Parallel to commonsense views of learning, assessment research has been driven by some plausible but incorrect views about assessment. First is that different assessment formats necessarily assess different abilities


두 번째 가정은 평가 방식이 실제상황과 비슷할수록, 더 나은 평가라는 것이다.

A second assumption is that the closer the assessment resembles reality (and the higher up the Miller31 pyramid it goes), the better the assessment.


'의학적 역량에 대한 평가를 디자인 할 때는 얼마나 현실과 가까운가(authenticity)가 우선되어야 한다. 이는, 평가를 하는 상황이 실제로 그 역량이 활용되는 환경과 비슷해야 한다는 것이다.'

‘Authenticity should have high priority when programmes for the assessment of medical competence are being designed. This means that the situations in which a candidate’s competence is assessed should resemble the situation in which the competence will actually have to be used.’32


그러나, 아쉽게도 이런 가설은 연구에 의해 뒷받침되지 못했다.

Regrettably, again, the research evidence does not support either assumption



성공(The success)


일찍부터 의학교육은 최신의 psychometric 방법을 도입하기 시작했다. 이러한 변화는 미국과 캐나다의 면허기관에서 주로 도입되었다. 그 결과는 summative assessment(총괄평가)의 방법을 바꾸어놓았고, 현재 사용되는 generalizability theory와 IRT를 분석에 사용하여 의학교육의 방법론이 보통교육(general education) 방법론의 엄격함을 능가할 정도였다.

Quite early in its history, medical education began to adopt state of-the-art psychometric methods. These changes were primarily driven by the national licensing bodies in the USA and Canada. The consequence was sweeping changes in approaches to summative assessment, with the adoption of contemporary methods like generalisability theory and IRT for analysis, to the extent that medical education overtook general education in its methodological rigour.37


시험의 효율성이 높아졌을 뿐만 아니라, 더 높은 예측타당도도 가진다는 것이 증명되었다.

Not only has the efficiency of testing been improved by the application of methods like IRT, but the latter has also been accompanied by consistent evidence of high predictive validity.34,38,39







학제간 융합의 유용성

THE USEFULNESS OF MULTIPLE DISCIPLINES



위의 예들이 보여주는 바와 같이 MER의 강점은, 마치 영어와 같이, 특별한 노력을 기울이지 않고도 다양한 학문의 언어를 흡수할 수 있다는 것이다.

As these examples illustrate, one great strength of MER derives from its ability, like the English language, to effortlessly absorb other disciplinary languages


어떻게 그럴 수 있을까?

What makes this possible? 


첫 번째로, 의학교육은 다양한 관점을 증명할 수 있는 바탕이 되며, 관심의 영역이 수술실에서의 전문가간 의사소통부터, 영상의학에서의 패턴 인식과 인지까지 다양하다.

Firstly, medical education is a rich proving ground for different perspectives, whether the issue of concern relates to factors in interprofessional communication in the operating theatre or a study of pattern recognition and perception in radiology


두 번째로, 더 중요한 것은, Buffalo에서 시작할 때부터 교육환경을 더 풍요롭게 만들고 싶어하는 다양한 보건의료인력을 끌어당겼다는 것이다.

Secondly, and most importantly, from its humble origins in Buffalo, MER has always attracted a coterie of dedicated health professionals with an interest in enriching the teaching environment.


마지막으로, 가장 중요한 것은 MER이 지속적으로 다양한 분야의 학자들의 마음을 끌고 있다는 점이다.

Finally and, in my view, most critically, MER has attracted and continues to attract scholars from multiple disciplines in the behavioural and social sciences. 


실제로, 교육 과학을 흥미롭게 만드는 것은 상식에 의해서 증명되지 않는 것들이 있고, 오히려 직관에 반하기도 한다는 점이다.

Indeed, what makes education science, like all science, such an exhilarating voyage of discovery is that findings so often turn out to be not predictable by common sense, but instead appear to be counter-intuitive,


이 리뷰에서 말하고자 하는 두 번째 것은, 최근 몇몇 commentaries에서 언급된 허무주의적인 태도에 대한 것이다. 교육은 너무 복잡해서 잘 정의되지 않고, 일반화하려는 시도는 빈번히 실패한다는 주장은, 내가 인용한 많은 사례들은 현실적인 문제들과 환경에서 성공적이었을 뿐만 아니라 그 효과도 컸다.

A second insight to emerge from this review refers to the fact that the examples I have chosen provide, I believe, a strong antidote to somewhat nihilistic recent commentaries,6,41 the thesis of which appears to be that education is so complex and ill defined that any attempt to find generalisable truths is bound to fail. Many of the studies I have cited on the ‘success’ side are based on realistic tasks and environments – such as diagnosis of electrocardiograms or learning from resident half-days – yet show large effects.



의학교육연구의 미래

THE FUTURE OF MER


‘Rigorous and relevant research requires a combination of well-trained educationalists and researchers with good practical knowledge of medicine and teaching. One conclusion from all of these is that a close collaboration between doctors and educationalists is indispensable for good medical education and development of better education. Any monodisciplinary endeavour will lead to a suboptimal result.’32







 2011 Aug;45(8):785-91. doi: 10.1111/j.1365-2923.2010.03921.x.

Fifty years of medical education researchwaves of migration.

Source

Department of Clinical Epidemiology and Biostatistics, Faculty of Health Sciences, McMaster University, 1200 Main Street West, Hamilton, Ontario, Canada. norman@mcmaster.ca

Abstract

CONTEXT:

Medical education research has been an academic pursuit for over 50 years, tracing its roots back to the Office of Medical Education at the State University of New York at Buffalo, New York, with George Miller. As the field has matured, the nature of the questions posed and the disciplinary bases of its practitioners have evolved.

METHODS:

I identify three chronological 'generations' of academics who have contributed to the field, at intervals of roughly 10-15 years.

RESULTS:

Members of the first generation came from diverse and unrelated academic backgrounds and essentially learned their craft on the job. A second generation, emerging in the 1980s and 1990s, consisted of individuals with PhD-level training in relevant fields such as psychology, psychometrics and sociology, who actively chose a career in health sciences education, often during graduate work. These individuals brought a strong disciplinary orientation to their research. Finally, the proliferation of graduate programmes in medical education means that we are now seeing the evolution of a new type of academic, often a health professional, whose only discipline is medical education.

CONCLUSIONS:

I propose that we should strike a balance between seeking to create a separate specialty of medical education and continuing to actively recruit from other academic disciplines. I believe that the strong disciplinary roots of these individuals are a critical element in the continuing growth and progress of medical education research.

© Blackwell Publishing Ltd 2011.






The Stemmler Fund was established in 1995 and subsequently named in honor of Dr. Edward J. Stemmler, who was largely responsible for the conception of the program while chair of the NBME. Dr. Stemmler served as the first chair of the Fund's Steering Committee.


(출처 : http://www.nbme.org/research/stemmler.html)






1960년대에 각 기관으로 흩어진 사람들(Miller, Abrahamson, Jason)은 의학교육실(offices of medical education)을 만들고 교수를 모집했다. 그 세대의 교수들을 MER의 1세대라고 할 수 있다.

1990년대에 새로운 세대(2세대)가 유입되기 시작했고, MER를 전공하지는 않았지만, 관련있는 다른 분야(인지심리학, 인류학, 역학)를 공부한 사람들이었다.

이제는 3세대에 들어섰다. 이들은 다른 분야의 언어는 어설프게밖에 하지 못한다. 그들의 모국어는 MER이다.


다양한 학문이 결합되었을 때 존재하던 의학교육의 강점이 있다고 생각한다. 지속적으로 학문적 모자이크를 유지할 수 있다면, 그래서 용광로처럼 될 수 있다면 이론과 방법론적 지식은 넓어질 것이지만, 다른 분야에서의 유입이 감소한다면 우리는 중요한 자산을 잃게 될 것이다.






의학교육연구(이하 MER)분야는 1950년대에 SUNY at Buffalo의 George Miller에 의해서 탄생했다.

The field we now call medical education research (MER) was born in the 1950s, with George Miller at the State University of New York at Buffalo, New York.1


1960년대에 각 기관으로 흩어진 사람들(Miller, Abrahamson, Jason)은 의학교육실(offices of medical education)을 만들고 교수를 모집했다. 그 세대의 교수들을 MER의 1세대라고 할 수 있다. 이 사람들은 배경이 다양했다.

In the 1960s these individuals moved on to other institutions – Miller to Illinois, Abrahamson to Los Angeles and Jason to Michigan State – where they founded the first research-intensive (and PhD-intensive) offices of medical education and began to employ new faculty members. It is that generation of faculty, myself included, who can be seen as first generation immigrants – people who migrated into MER more or less through a process of random wandering. Our backgrounds were diverse: 


(이 당시 유럽은 조금 사정이 달랐다. 유럽에서는 1970년대에 1세대 연구자들이 생겼다.)

(The European situation was somewhat different; MER came a little later to Europe and many of its first-generation researchers in the 1970s – individuals such as Chris McManus and Colin Coles in the UK, and Wijnand Wijnen, Henk Schmidt and Cees van Boven in the Netherlands – had undergone formal postgraduate training in psychology.)


1990년대에 새로운 세대(2세대)가 유입되기 시작했고, MER를 전공하지는 않았지만, 관련있는 다른 분야(인지심리학, 인류학, 역학)를 공부한 사람들이었다.

The 1990s saw a new generation of researchers enter the field in North America. Although they may not have been trained in MER, they were, nevertheless, like the Europeans, actively recruited from relevant fields, including those of cognitive psychology, anthropology and epidemiology.


이 세대는 이주민 2세대와 비슷하다. 그들은 그들의 원래 국가(원래 전공)과 새로운 국가(의학교육학)에 모두 속해있다. 이들은 MER의 언어를 쓸 수 있으면서, 원래의 언어를 잃지 않았다.

This generation can be likened to the children of immigrants. They belong to both the old country – their host discipline – and the new – MER. They can converse in the new language of MER, but they also retain the mothertongue of their host discipline.


Item Response Theory(IRT)이나 Structural Equation Modelling(SEM)과 같은 Multivariate Statistical Method를 사용할 줄 알았다. 복잡하고 기민하게 실험을 수행했다.

They use multivariate statistical methods like item response theory (IRT) and structural equation modelling (SEM). They do complex and clever experiments.


이 세대의 개개인들은 각자의 분야에서 심도있게 훈련을 받고 나왔기 때문에 그들이 모이면 각자의 전공을 살려서 넓은 범위에서 복잡한 기술을 발휘하여 MER을 더 풍부하게 만들어 줄 수 있었다.

that each individual in this second generation has undergone in-depth training in a particular discipline in the social or behavioural sciences and that collectively they enrich the field with a wide variety of sophisticated skills rooted in their host disciplines.


1세대와의 결정적인 차이는 초반의 생산성(논문 생산성)이었다.

One index of the difference between the two generations is initial productivity. 


이제는 3세대에 들어섰다. 이들은 다른 분야의 언어는 어설프게밖에 하지 못한다. 그들의 모국어는 MER이다.

We are now into a third generation. They speak the languages of other disciplines only haltingly; their disciplinary mothertongue is that of MER.


더이상 다른 전공에서 전문가를 모셔올 필요는 없게 되었다. 우리는 필요한 만큼 충분한 수를 양성하고 있다. 하지만 이에 동반되는 위험도 있다.

No longer need we import specialists from other lands; we are producing sufficient of our own number to be independent. Perhaps, but my central thesis is that this assimilation and maturation carries with it some potential dangers. 


'교육의 연구방법론이 재미있는 이유는, 교육은 그 자체가 학문이 아니기 때문입니다. 교육은 연구의 '분야'라고 할 수 있습니다. 현상과, 사건과, 조직, 문제, 사람, 과정을 포함한, 그래서 그 하나하나가 많은 종류의 연구 재료가 됩니다. 많은 학문의 다양한 관점과 절차들이 연구의 분야로서의 교육에 질문을 던져줍니다.'

‘A major reason why research methodology in education is such an exciting area is that education is not itself a discipline. Indeed, education is a field of study [his italics], a locus containing phenomena, events, institutions, problems, persons, and processes, which themselves constitute the raw material for inquiries of many kinds. The perspectives and procedures of many disciplines can be brought to bear on the questions arising from and inherent in education as a field of study.'


다양한 학문이 결합되었을 때 존재하던 의학교육의 강점이 있다고 생각한다. 지속적으로 학문적 모자이크를 유지할 수 있다면, 그래서 용광로처럼 될 수 있다면 이론과 방법론적 지식은 넓어질 것이지만, 다른 분야에서의 유입이 감소한다면 우리는 중요한 자산을 잃게 될 것이다.

I am concerned that the strength of medical education resides in the bringing together of various disciplinary perspectives. If we succeed in moving from a disciplinary mosaic, in which diversity is recognised and celebrated, to a melting pot, in which practitioners become homogenised, the range of theoretical and methodological knowledge is broad, but immigration from other disciplines is reduced, we may lose a major asset.


그러면 구체적으로 어떻게 다양한 학문이 MER에 기여했을까? 한 가지는 방법론적인 것이다. 단순히 여러 학문의 방법이 MER을 풍부하게 만들었다는 것이 아니라, 관점이나 프로그램, 이론, 그리고 인식론적인 것을 다 포괄하는 것이다.

What, specifically, do these diverse disciplines bring to MER? One contribution is methodology. It is not simply their methods that enrich MER; it is their perspectives, their programmes, their theories and their epistemologies.






 2011 Aug;45(8):785-91. doi: 10.1111/j.1365-2923.2010.03921.x.

Fifty years of medical education researchwaves of migration.

Source

Department of Clinical Epidemiology and Biostatistics, Faculty of Health Sciences, McMaster University, 1200 Main Street West, Hamilton, Ontario, Canada. norman@mcmaster.ca

Abstract

CONTEXT:

Medical education research has been an academic pursuit for over 50 years, tracing its roots back to the Office of Medical Education at the State University of New York at Buffalo, New York, with George Miller. As the field has matured, the nature of the questions posed and the disciplinary bases of its practitioners have evolved.

METHODS:

I identify three chronological 'generations' of academics who have contributed to the field, at intervals of roughly 10-15 years.

RESULTS:

Members of the first generation came from diverse and unrelated academic backgrounds and essentially learned their craft on the job. A second generation, emerging in the 1980s and 1990s, consisted of individuals with PhD-level training in relevant fields such as psychology, psychometrics and sociology, who actively chose a career in health sciences education, often during graduate work. These individuals brought a strong disciplinary orientation to their research. Finally, the proliferation of graduate programmes in medical education means that we are now seeing the evolution of a new type of academic, often a health professional, whose only discipline is medical education.

CONCLUSIONS:

I propose that we should strike a balance between seeking to create a separate specialty of medical education and continuing to actively recruit from other academic disciplines. I believe that the strong disciplinary roots of these individuals are a critical element in the continuing growth and progress of medical education research.

© Blackwell Publishing Ltd 2011.




























(출처 : http://blog.affiliatetip.com/archives/affiliate-marketing-is-not-rocket-science/)



우리가 지금 가지고 있는 이론이 일반적으로 '참'일수는 있지만, 특정한 상황에 대해 일반화시킬 만큼 실용적인 가치를 가지지는 못한다. 비록 그것이 참이라고 하더라도 구체적인 교육현장에서, 교육과정 개발을 위해서 무엇을 해야 하는지에 대해서는 확실한 도움이 되지 않는다는 것이다.


따라서 우리의 과학적 논의(논문 등)의 가치는 일반적인 해답을 찾는 것이 아니라 각자가 가진 문제에 대해서 더 나은 사고를 하는데 도움이 되어야 한다. 마찬가지로 논문을 읽는 것은 나와있는 해답을 맹목적으로 가져다 쓰기 위한 것이 아니라, 다른 사람이 문제를 해결한 방식을 나의 문제에 어떻게 적용할 것이며, 그러기 위해서는 무엇이 필요하며, 왜 그렇게 해야 하는지를 생각할 수 있는 과정이어야 한다.


Richard Shillington의 데이터 분석에 대한 묘사를 빌리자면, 교육에 대한 논문은 '생각을 도와주는 것'이지 '생각을 대체하는 것'이어서는 안된다.







이 문제에 대한 또 다른 관점을 하나 더 언급하고자 한다. 인지심리학에서 다루는 '약한'문제해결법와 '강한'문제해결법에 대한 것이다. 인지심리학에서의 정의에 따르면 '약한'문제해결법은 다양한 상황에 광범위하게 일반화가 가능한 대신, 특정 상황에 대한 적용가치는 떨어진다.

In order to provide another perspective on these issues, I would like to invoke a construct from cognitive psychology: the distinction between ‘weak’ and ‘strong’ problem-solving routines.25 As defined in cognitive psychology, weak problem-solving routines are those processes that are broadly generalisable to many situations, but are of limited applicable value in any particular situation.


이런 종류의 문제해결법은 많은 문제상황에 일반화시켜 적용할 수 있을지 몰라도, 특정 상황에서 무얼 해야하는지에 대해서는 크게 도움이 되지 않는다. 반대로 '강한'문제해결법은 매우 구체적인 상황과 맥락에 특정되어있다.

Although it is true that this problem-solving routine is generalisable to pretty much every problem-solving situation we might encounter, from the perspective of application, it is of no practical value in helping us decide what to do next in a particular situation. By contrast, strong problem-solving routines are routines that have become highly specialised to a very specific type of problem in a very specific context


강한 문제해결법은 비록 경험에 의존하여 편견이 있을 수 있어 이로 인해 사고의 폭을 제한하며, 전문가들의 '한정된 해결방법 세트'라든가, 한 문제를 다른 문제에 대해 유사하게 적용하지 못한다 라는 이유 등으로 폄하되기도 하지만, 최근 들어서는 전문가의 특징으로서 인정받고 있다. 

These strong problem-solving routines are now recognised and celebrated as a hallmark of expertise, 25 although they are also identified and denigrated as ‘limits’ to human thinking in the form of ‘heuristics and biases’,26 the ‘restricted solution sets’ of experts,27 and ‘failures of analogical transfer’ from one problem to the next.28


우리가 지금 가지고 있는 이론이 일반적으로 '참'일수는 있지만, 구체적 상황에 대해 일반화시킬 만큼 실용적인 가치를 가지지는 못한다. 비록 그것이 참이라고 하더라도 일상 교육현장에서, 교육과정 개발을 위해서 무엇을 해야 하는지에 대해서는 확실한 도움이 되지 않는다는 것이다.

Our current theories may be generally ‘true’, but they are too generalisable to be of practical local value: even if we choose to acknowledge their ‘truth’, we still do not have a clear sense of what to do with this ‘truth’ in terms of improving the daily practice of teaching and curricular development.


또한 실용적이고 임상적으로 가치있는 결과를 내기 위한 연구를 해야 한다는 요구가 생기고 있다. 개개의 상황과 맥락마다 효과적으로 적용되어질 수 있는, 보여질 수 있는 가장 성공적인 개입방법이 가장 좋은 '강한'문제해결법일 수 있겠지만, 개개의 상황에 맞는 방법들은 잘 일반화되기가 쉽지 않다.

At the same time, relevant to the second set of debates regarding the call for research with practical, clinically valuable outcomes, it may be that the most demonstrably successful interventions can best be understood as strong problem-solving routines in that they are effectively adapted to local constraints and contexts, but, as a result, they are too deeply embedded in the local curricular context to be of much general value


이 두 가지 문제를 종합해보면, 일반화할 수 있는 교육 이론은 개개 상황에 대한 실용적인 가치를 가지기에는 너무 약하고, 너무 국소화된 문제해결법은 일반화하기가 어렵다고 할 때, 교육 문제에 대해 종합적으로 일반화된 해결법을 내놓는 것은 불가능하다는 결론에 다다르게 된다.

Combining these two constructions of the problem of education research has serious implications for the field. If generalisable education theories are too weakly generalisable to be of local practical value, and if localised solutions are too strongly embedded in the local context to be of general practical value, we must conclude that there may be no generalisable solutions to our collective education problems








Norcini는 상황이 가진 특수함은 '의학교육에 대한 한 가지 사실'이라고 말했다.

Norcini has been credited with suggesting that context specificity is ‘the one fact of medical education’. 8


그러나 아마 이제는 상황 특수성을 의학교육연구의 핵심적 사실로 생각해야 할 때가 된 것 같다. 만약 그렇다면 우리 분야에 맞는 '과학'을 정의하고 구성할 필요가 있다. 즉, 만약 구체적 상황이 '줄일 수 없는 공변량'이라면 '복제 가능한 교육 프로그램'은 도달할 수 없는 목표이다. 따라서 의미있는 수준에서 일반화할 수 있는 해결책이 없다면 과학, 그리고 과학적 논의의 목적과 가치는 무엇이 되어야 할까?

Perhaps the time has also come to consider the possibility that context specificity is also a core ‘fact’ of medical education research. If so, we as a research community must begin grappling with the definition and construction of ‘science’ for our field. That is, if local context is the ‘irreducible covariate’, if the search for ‘replicable educational programmes’ is an implausible goal, if there are no meaningfully generalisable solutions in health professional education, then what is the purpose and value of science and scientific discourse in the health professional education field?


이 문제에 대한 답을 하기 위해서는 교육의 과학이라는 것은 흔히 부딪치는 문제에 대한 일반화가능한 해결책을 찾는 것이 아니라, 문제를 바라보는 더 바람직한 방법을 공유하는 것이 되어야 한다고 생각한다.

As a start towards addressing this question, I would like to suggest that the science of education is not about creating and sharing better generalisable solutions to common problems, but about creating and sharing better ways of thinking about the problems we face.


따라서 우리의 과학적 논의(논문 등)의 가치는 일반적인 해답을 찾는 것이 아니라 각자가 가진 문제에 대해서 더 나은 사고를 하는데 도움이 되어야 한다. 마찬가지로 논문을 읽는 것은 나와있는 해답을 맹목적으로 가져다 쓰기 위한 것이 아니라, 다른 사람이 문제를 해결한 방식을 나의 문제에 어떻게 적용할 것이며, 그러기 위해서는 무엇이 필요하며, 왜 그렇게 해야 하는지를 생각할 수 있는 과정이어야 한다.

Thus, the value of our scientific discourse (our talks and papers) will arise not from our ability to create a general solution that will apply to everyone’s problems or even our ability to solve each other’s problems, but rather from our ability to help each other think better about our own versions of the problems. Likewise, the value of reading the literature will not depend on our finding a solution that we can blindly adopt, but, rather, on reflecting on how to incorporate others’ interpretations of a problem into our own context, on what needs to be adapted to make those interpretations relevant to our context, and on why that adaptation is necessary.


Richard Shillington의 데이터 분석에 대한 묘사를 빌리자면, 교육에 대한 논문은 '생각을 도와주는 것'이지 '생각을 대체하는 것'이어서는 안된다.

To borrow Richard Shillington’s description of data analysis, the education literature should be ‘an aid to thinking, not a replacement for’.30


따라서 논문이나 학회 발표 등은 어떤 방식을 맹목적으로 도입하기 위한 것이 아니어야 한다. 문제에 대한 새로운 이해방식을 드러내고, 기존의 이해방식의 한계를 밝힐 수 있어야 한다.

Thus, we should not construct our papers and talks around the idea that we have an answer to some problem that others can blindly adopt. Our scientific discourse should not focus on the answers at all. Rather, it should focus on expressing a new understanding of the problem or on the flaws in traditional understandings of the problem.





교육은 이론만 만들어가는 학문이 아니며, 교육은 실천의 학문이다. 

Of course, education is not only a theory-building discipline; it is also a field of practice and, by focusing this discussion on a movement towards understanding, I do not suggest that we ignore the goal of positively affecting education practice.


교육에 대한 연구는 로켓을 만드는, 공식을 잘 만들어서 대입하기만 하면 확실하게 정의된 결과가 나오는 구조화된, 선형의 시스템이 아니다. 교육에 대한 연구는 물리학과의 유사점을 찾는다면 양자역학이나 카오스이론에 더 가까운 것이라고 할 수 있다.

Education research is not rocket sciencewhich is built on a structured, linear system with a straightforward set of factors which we can stick into a well-articulated formula to predict a clearly defined outcome. Rather, if we must make analogies to the physical sciences, we might do better to look to quantum mechanics and chaos theory








 2010 Jan;44(1):31-9. doi: 10.1111/j.1365-2923.2009.03418.x.

It's NOT rocket sciencerethinking our metaphors for research in health professions education.

Source

Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. glenn.regehr@ubc.ca

Abstract

CONTEXT:

The health professional education community is struggling with a number of issues regarding the place and value of research in the field, including: the role of theory-building versus applied research; the relative value of generalisable versus contextually rich, localised solutions, and the relative value of local versus multi-institutional research. In part, these debates are limited by the fact that the health professional educationcommunity has become deeply entrenched in the notion of the physical sciences as presenting a model for 'ideal' research. The resulting emphasis on an 'imperative of proof' in our dominant research approaches has translated poorly to the domain of education, with a resulting denigration of the domain as 'soft' and 'unscientific' and a devaluing of knowledge acquired to date. Similarly, our adoption of the physical sciences''imperative of generalisable simplicity' has created difficulties for our ability to represent well the complexity of the social interactions that shape education and learning at a local level.

METHODS:

Using references to the scientific paradigms associated with the physical sciences, this paper will reconsider the place of our current goals for education research in the production and evolution of knowledge within our community, and will explore the implications for enhancing the value of research in health professional education.

CONCLUSIONS:

Reorienting education research from its alignment with the imperative of proof to one with an imperative of understanding, and from the imperative of simplicity to an imperative of representing complexity well may enable a shift in research focus away from a problematic search for proofs of simple generalisable solutions to our collective problems, towards the generation of rich understandings of the complex environments in which our collective problems are uniquely embedded.



(출처 : http://www.mikethearchitect.com/2012/02/its-not-about-complexity-its-about-simplicity.html)


19세기 물리학에서 다뤘던 고전적인 단순성과 예측가능성의 모델보다 근래에 나온 더 복잡한 구조들이 교육학적 맥락을 더 잘 묘사한다. 모든 것을 단순화시키려는 노력은, 모든 것이 서로 상호작용할 때 그 어떤 것도 '단순하지 않다'라는 문제가 있다.


현실적인 관점에서, 이 복잡성은 교육학에서의 흔한 문제를 해결하기 위한 의미있고 단순하며 일반화가능한 해결책은 근본적으로 불가능하다는 것을 말해준다. 한 교육적 영역과 다른 영역은 환경이 다르고, 맥락이 다르고, 교수-학생 관계가 다르고, 간섭하는 요소들도 달라서 서로 다른 맥락에서 예측을 한다는 것 자체가 의미가 없다.


"우리는 서로 비슷하거나 다른 아홉 개의 학교에서 이 연구를 환자 중심적 학습 환경에 대한 연구를 하고자 했다. 연구 결과는 우리가 던진 질문보다 더 복잡한 현실만을 보여줬다." 현실은 복잡하다. 19세기 물리학을 따라서 복잡한 세계를 단순하게 만들려고 하다가는 다양성의 아름다움을 놓치게 될 것이다.





교육 커뮤니티가 암암리에 받아들인 두 번째 과학의 필수요소는 '단순함'이다.

A second, equally important imperative that our community has implicitly adopted in its model of science is the imperative of simplicity.


이러한 특징은 Bryson이 "물리는 궁극적인 단순함에 대한 연구다"라고 했던 것처럼, 초기 물리학 모델에서 가장 두드러지게 나타난다.

This process is nowhere more deeply systematised than it is in the early models of science in physics. As Bryson commented: ‘…physics is really nothing more than the search for ultimate simplicity.’10


그러나 물리학조차 '단순함'의 계속 따르지는 못했다. 20세기에 원자보다 작은 수준으로 사고의 전환이 이뤄지는 과정에서 특히 그러했으며 Gino Segre는 이를 "물리학의 혼의 투쟁"이라고 불렀다.

It is worth noting, however, that physics itself has not necessarily followed this path of simplicity for some time. During the 20th century, there occurred a major shift in thinking within physics that evolved with the developing field of subatomic physics. It was a shift so fundamental that Gino Segre` dubbed it ‘a struggle for the soul of physics’.20


이러한 과정에서 물리학의 기본적인 요구사항은 단순함으로부터 불확실성으로 옮겨갔다. 리차드 파인만의 말에서 잘 드러난다. "한 철학자가 "과학이란 같은 조건에서 같은 결과를 내는 것이다" 라고 말한 적이 있다. 하지만 사실 그렇지 않다. 매번 같은 조건을 구성해두어도 어느 구멍에서 전자를 발견할지 예측하는 것은 불가능하다."

Through the discovery of these and other phenomena, the basic imperative of physics shifted from the construct of simplicity to a construct of uncertainty. This new understanding of physics was perhaps best captured by Richard Feynman, who wrote: ‘A philosopher once said, ‘‘It is necessary for the very existence of science that the same conditions always produce the same results.’’ Well, they do not. You set up the circumstances, with the same conditions every time, and you cannot predict behind which hole you will see the electron.’21


이러는 동안 거시 물리학의 세계에서는 카오스 이론이 등장하기 시작한다. 초기 상태에서 매우 짧은 거리만 벗어나도 대단히 예측불가능하다는 것이다. 이러한 카오스 시스템은 기본적으로 불안정하고 초기 상태에 대단히 민감해서 '동요(perturbation)의 기하급수적 증가'로 나타난다. 

Meanwhile, in the world of macro physics, the concept of chaos theory was being evolved to explain how certain dynamic systems can be highly deterministic (i.e. they have a clear and simple set of rules to describe their behaviour), but still be highly unpredictable just a short distance out from their initial state.22 These chaotic systems are inherently unstable because of their extreme sensitivity to initial conditions, which manifest as an ‘exponential growth of perturbations’. In short, for such systems, the simplifying assumption that ‘error’ cancels out simply does not hold. Rather ‘error’ multiplies, so the most minute deviations at the initial state manifest as massive deviations in a very short time.


이러한 '최근의' 물리학의 움직임은 교육학 영역과 유사성 갖는다.

The discoveries and descriptions found in these more ‘recent’ movements in physics have a ring of familiarity in the education domain.


19세기 물리학에서 다뤘던 고전적인 단순성과 예측가능성의 모델보다 근래에 나온 더 복잡한 구조들이 교육학적 맥락을 더 잘 묘사한다. 모든 것을 단순화시키려는 노력은 모든 것이 서로 상호작용할 때, 그 어떤 것도 '단순하지 않다'라는 문제가 있다.

These more complex constructs may be better descriptions of education contexts than the classic models of simplicity and predictability that were the organising principles of 19th century physics. The problem with trying to define everything simply is that when everything interacts, nothing is simple. 


따라서 '가정을 단순화'하고자 하는 환원주의의 목적은 달성할 수 없는 목표이다. 대신 Bryson은 '우리가 가질 수 있는건 기껏해바야 우아한 혼란일 뿐이다' 라고 했다. 아마 이것이 우리가 기대할 수 있는 최선일 것이다.

So the goal of reductionism by way of ‘simplifying assumptions’ may be a chimera. Instead, as Bryson concluded about physics, ‘…so far all we have is a kind of elegant messiness’.10 And perhaps this elegant messiness is the best we can hope for


현실적인 관점에서, 이 복잡성은 교육학에서의 흔한 문제를 해결하기 위한 의미있고 단순하며 일반화가능한 해결책은 근본적으로 불가능하다는 것을 말해준다. 한 교육적 영역과 다른 영역은 환경이 다르고, 맥락이 다르고, 교수-학생 관계가 다르고, 간섭하는 요소들도 달라서 서로 다른 맥락에서 예측을 한다는 것 자체가 의미가 없다.

From a practical perspective, this complexity probably indicates that meaningful, simple, generalisable findings that address common problems in education are fundamentally unachievable.14 Environmental differences between one education domain and the next, between one education context and the next, between one student–teacher dyad and the next, and even between one interaction in a student–teacher dyad and the next may involve a set of unique perturbations sufficient to render cross-context predictions meaningless.


Howell은 'Context는 줄일 수 없는 공변량이다' 라고 했다. 이는 Haidet 등의 논문에서 잘 강조되어 있다. "우리는 서로 비슷하거나 다른 아홉 개의 학교에서 이 연구를 환자 중심적 학습 환경에 대한 연구를 하고자 했다. 연구 결과는 우리가 던진 질문보다 더 복잡한 현실만을 보여줬다." 현실은 복잡하다. 19세기 물리학을 따라서 복잡한 세계를 단순하게 만들려고 하다가는 다양성의 아름다움을 놓치게 될 것이다.

Howell suggested that ‘context is the irreducible covariate’.23 This was highlighted wonderfully in the conclusions of a paper by Haidet and colleagues, who wrote: ‘We conducted this study to ask whether patient-centred learning environments at nine schools were substantially similar or different, both in strength and character. Our results indicate a more complex reality than the question would suggest.’24 The world is a complex and complicated place. By adopting the imperative of representing this complex and complicated world simply, in an emulation of 19th century physics, we have failed to represent the beauty and richness of variation and context.


우리가 단순하고 일반화가 가능한 해답을 얻기 위해 이 복잡함을 무시한다면, 복잡성을 잘 설명할 수 있는 방법을 만들어 낼 기회도 놓치는 것이다.

And we have missed the opportunity to evolve methods by which we can represent this complexity well, choosing instead to dismiss it as noise in our eagerness to achieve simple, generalisable solutions.









 2010 Jan;44(1):31-9. doi: 10.1111/j.1365-2923.2009.03418.x.

It's NOT rocket sciencerethinking our metaphors for research in health professions education.

Source

Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. glenn.regehr@ubc.ca

Abstract

CONTEXT:

The health professional education community is struggling with a number of issues regarding the place and value of research in the field, including: the role of theory-building versus applied research; the relative value of generalisable versus contextually rich, localised solutions, and the relative value of local versus multi-institutional research. In part, these debates are limited by the fact that the health professional educationcommunity has become deeply entrenched in the notion of the physical sciences as presenting a model for 'ideal' research. The resulting emphasis on an 'imperative of proof' in our dominant research approaches has translated poorly to the domain of education, with a resulting denigration of the domain as 'soft' and 'unscientific' and a devaluing of knowledge acquired to date. Similarly, our adoption of the physical sciences''imperative of generalisable simplicity' has created difficulties for our ability to represent well the complexity of the social interactions that shape education and learning at a local level.

METHODS:

Using references to the scientific paradigms associated with the physical sciences, this paper will reconsider the place of our current goals for education research in the production and evolution of knowledge within our community, and will explore the implications for enhancing the value of research in health professional education.

CONCLUSIONS:

Reorienting education research from its alignment with the imperative of proof to one with an imperative of understanding, and from the imperative of simplicity to an imperative of representing complexity well may enable a shift in research focus away from a problematic search for proofs of simple generalisable solutions to our collective problems, towards the generation of rich understandings of the complex environments in which our collective problems are uniquely embedded.




(출처 : http://aveneca.com/yesno.html)


과도하게 근거만을 추구하게 되면 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.


이렇게 되면 결국 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버리며, 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.


이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 더 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 






교육을 연구하는 사람들에게 '가설 검증 패러다임'은 대단히 실용적인 방향으로 발전해서, 연구의 목적이 '노출(exposure)과 결과(outcomes) 사이에 타당한 연결고리를 만드는 것'이 되었다. 특히 큰 범위에서 '근거중심의학'의 범주 안에 들어있다고도 볼 수 있는 의학교육에 있어서는, 이와 같은 목적은 어떤 교육학적 개입 방법의 효과에 대한 근거를 요구하는 방향으로 더 나아갔다. Eva의 말을 빌리자면 "효과가 있다는 근거"를 찾는 것이라고도 할 수 있다.

Yet, in the hands of education researchers, the hypothesis-testing paradigm developed in a highly practical direction,13 and the approach came to be defined less by the epistemology (the elaboration of causal theories through hypothesis testing) and more by the methodology by which the epistemology was enacted (the randomised control trial).14 With this shift, the goal of research in this tradition was reinvented as a much more practical desire ‘to establish credible links between exposures and outcomes’.15 Particularly in medical education, which has been functioning for some time in the larger context of the evidence-based medicine movement, this goal evolved further into a demand for evidence of the efficacy for education interventions, which, again as Eva has suggested, has been equated with ‘proof that something works’.9 


많은 교육 프로그램 개발자들에게 있어서, 이렇게 증거를 요구하는 것은 프로그램 평가를 '총괄평가'의 특성을 갖도록 했을 뿐만 아니라, 그 개입방법이 실제로 효과가 있었는가(worked)에 대해서만 집중을 하게 만들었다. '총괄평가'를 하는 전형적인 접근 방법은 아래와 같다.

For many programme developers, this imperative of proof has led to summative models of programme evaluation and to an almost exclusive focus on the question of whether the intervention ‘worked’16 (i.e. whether those who received the intervention improved on a predetermined outcome measure). One implication of this summative approach to programme evaluation is that a typical process of education innovation looks something like this:



1 identify a content area that needs to be taught;

2 develop a teaching module to match the content and implement the module;

3 test to see if it ‘works’;

4 try to figure out what went wrong;

5 tweak the design and delivery;

6 test to see if it works now (if it does not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the content area can be taught in this way.


프로그램 개발에 대한 이와 같은 접근 방법의 결과는 프로그램 수정이 총체적인 데이터 수집을 기반으로 이뤄지는 것이 아니라, 우선 도입한 후 사후 짐작을 바탕으로 이뤄진다는 것이다. 따라서 프로그램은 기껏해봐야 차선의 수준에서 개선이 이뤄지며, 더 흔하게는 종합적이고 지속적인 개선이 이뤄지기도 전에 폐기되기 일쑤이다.

The result of such an approach to programme development is that any iterative modifications made to the programme are based on post hoc guesses rather than on systematically collected data. Thus, programmes are, at best, improved in a suboptimal way and, more often, are abandoned before they have a chance to mature effectively through systematic and sustained innovation.17 


더 심각한 것은 프로그램이 '효과가 있든' 아니면 버려졌든, 우리는 효과가 있는지에만 집중을 했기 때문에 그 결과로부터 아무것도 배우지 못한다. 

More importantly for the science of education, regardless of whether the programme ultimately ‘works’ or is abandoned, we don’t learn anything meaningful from these efforts because we are more focused on whether a programme works than on why it does or doesn’t and the implications of its ‘success’ or ‘failure’ both for our  understanding of learning and, through this understanding, for future education practices.


교육 프로그램 개발자만이 이렇게 증거를 따지고 드는 것이 아니다. '가설 검증'의 전통을 바탕으로 이론을 연구하는  연구자들도 이론이 일반화될 수 있고 적용가능한지에 대한 검증을 하는 대신 증거만 만들어내고자 한다. 이러한 식으로 이론적 연구를 하는 사람들은 안타깝게도 앞서 프로그램 개발자들이 밟았던 전철을 그대로 밟는다. 

Interestingly, the limitations of having adopted an imperative of proof are not restricted to the developers. Even for those who focus on the study of theory in the hypothesis-testing tradition, there has been some gravitational pull towards producing proof of a theory rather than a test of its applicability and generalisability. Thus, for many who attempt to engage in theoretical work in the context of this imperative, a distressingly similar road to theory ‘development’ can be travelled:


1 identify a data pattern expected from the theory;

2 develop a study to demonstrate that result;

3 run the pilot subjects to see if the experimental manipulation ‘works’;

4 if it does not, try to figure out what went wrong;

5 tweak the materials and instructions;

6 test to see if it works now (if not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the theory is plausible.


이 과정에서, 우리는 종종 확증편향에 빠지게 되고, 가지고 있는 데이터를 설명할 수 있는 다른 요소를 찾거나, 더 시간을 들여서 깊이 들여다보고자 하지 않는다. 다시 한번, 우리는 그 이론이 작동하는 조건만을 찾으려고 들기 때문에 아무것도 배우지 못한다. 그 이론이 언제 작동하고 언제 작동하지 않는지, 또는 더 넓은 이해를 바탕으로 성공 / 실패에 담긴 함의가 무엇인지를 알아내는 것에는 관심을 갖지 않았기 때문이다.

In the process, we often fall prey to the confirmation bias (i.e. if our results are predicted by our theory, then our theory must be right)13 and spend little time looking deeper into what else might explain our data or what else might be going on in our dataset. But again, importantly for the science of education, we don’t learn anything meaningful from the ultimate result because we are more focused on finding the conditions that prove our theories than we are on when they do or don’t work and the implications of the ‘success’ or ‘failure’ of our studies for our broader understanding of the theories we are exploring.


따라서 과도하게 근거만을 추구할 때에 지나치게 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.

Thus, by having adopted too completely the imperative of proof for determining the quality and value of our research efforts, we have brought about a general movement towards a ‘decision-oriented’ model of education research.17 Rather than dwelling on the questions of what is going on, we jump straight to the issue of whether it worked. We keep tweaking when the answer is ‘No’, but are satisfied as soon as the answer is ‘Yes’.


그 결과로 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버려서 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.

As a result, the information we share with the larger education research community through the talks we give and the studies we publish tends to feel more like a ‘show-and-tell’ exercise than an engaging and challenging contribution to the community’s understanding of learning processes and education practices.


이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 다만 증거에 대한 요구가 알게 모르게 우리를 통과/실패의 이분법적인 가치만을 가장 좋은 '근거'로 생각하도록 만드는 것이다. 

From the perspective of improving our education science, therefore, there is always a better question than ‘Did it work?’ and there is always a better answer than ‘Yes’. Yet the imperative of proof that underlies much of this work implicitly and explicitly values these dichotomous pass ⁄ fail questions as representing the highest form of ‘evidence’, creating one of the gravitational pulls that shape much of the work carried out in the field.









 2010 Jan;44(1):31-9. doi: 10.1111/j.1365-2923.2009.03418.x.

It's NOT rocket sciencerethinking our metaphors for research in health professions education.

Source

Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. glenn.regehr@ubc.ca

Abstract

CONTEXT:

The health professional education community is struggling with a number of issues regarding the place and value of research in the field, including: the role of theory-building versus applied research; the relative value of generalisable versus contextually rich, localised solutions, and the relative value of local versus multi-institutional research. In part, these debates are limited by the fact that the health professional educationcommunity has become deeply entrenched in the notion of the physical sciences as presenting a model for 'ideal' research. The resulting emphasis on an 'imperative of proof' in our dominant research approaches has translated poorly to the domain of education, with a resulting denigration of the domain as 'soft' and 'unscientific' and a devaluing of knowledge acquired to date. Similarly, our adoption of the physical sciences''imperative of generalisable simplicity' has created difficulties for our ability to represent well the complexity of the social interactions that shape education and learning at a local level.

METHODS:

Using references to the scientific paradigms associated with the physical sciences, this paper will reconsider the place of our current goals for education research in the production and evolution of knowledge within our community, and will explore the implications for enhancing the value of research in health professional education.

CONCLUSIONS:

Reorienting education research from its alignment with the imperative of proof to one with an imperative of understanding, and from the imperative of simplicity to an imperative of representing complexity well may enable a shift in research focus away from a problematic search for proofs of simple generalisable solutions to our collective problems, towards the generation of rich understandings of the complex environments in which our collective problems are uniquely embedded.





(출처 : http://www.amee.org/index.asp?tm=23)



교육에 대한 연구는 어떻게 가르쳐야 하는가에 대한 논쟁을 해소시키는 역할과 실제로 교육적 향상이 있음을 입증하는 역할을 할 수 있어야 한다. 또한 전통을 축적, 확립하여 오래된 지혜가 일시적인 유행에 의해 흔들리지 않으면서도 교육적인 발전을 이룰 수 있어야 한다.


Education research should be capable of ‘…settling disputes regarding educational practice, …verifying educational improvements, and … establishing a cumulative tradition in which improvements can be introduced without the danger of a faddish discard of old wisdom in favour of inferior novelties’


Stanley JC, Campbell DT. Experimental and Quasi-experimental Designs for Research. 1966.





2008년 1월, Robert Slavin은 이렇게 말했다. "교육의 역사를 통틀어, 교육 프로그램은 '근거'보다는 이데올로기, 유행, 정치, 마케팅에 따라서 바뀌어왔다. 근거 중심의 정책을 펴는데 가장 중요한 것은 복제가능한(replicable) 교육 프로그램에 대해서 과학적으로 타당하고, 해석가능한 연구를 수행하는 것이다"


그의 주장이 최근에 나온 것이긴 하지만 새로운 것은 아니다. 사실, 이미 40년 전 Campbell과 Stanley는 교육에 관한 연구는 "새롭기만 하고 열등한 것이 오랜기간 축적된 지혜를 위협하지 않는 선에서 발전이 이뤄질 수 있도록" 할 수 있어야 한다고 주장했다.


근거중심의 교육과 그 근거라는 것이 무엇인가를 밝히려는 노력은 오래 전부터 있어왔다. Tom Russell은 1999년 그의 책 "The No Significant Difference Phenomenon"에서 "이미 10년 전부터 나는 기술이 교육을 향상시킨다는 근거를 모으기 위한 연구를 해왔다. 내가 내린 놀라운 결론은, 엄청난 수의 연구가 있지만 그 대부분은 유의미안 차이를 보여준 것은 거의 없다는 사실이다" 라고 했다. 즉, 교육자들은 스스로 난제를 만들었다. 별다른 향상을 이뤄내지 못했다고 결론을 내거나, 그렇지 않으려면 스스로를 위해서 세운 이 목표를 위해 수행한 연구들의 가치에 대한 의문을 제기해보아야 한다.


의학교육 분야 역시 이 문제로 고심하고 있다. 연구를 하는데 있어서 무언가 잘못되어 가고있고, 이에 대한 우려를 표하는 사람들도 있지만, 정확히 무엇이 문제인지를 짚어내지 못하고 있다. 연구를 위한 과학적 모델이 있지만 이 모델을 따르려는 노력에도 불구하고, 과연 달성하려는 목표를 향해 제대로 가고 있는지, 우리가 달성하려는 목표가 옳은 것인지에 대한 확신이 없다.


이와 같은 문제에 대한 다양한 관점이 있다. 방법론적 관점에서는 여러 연구가 교육과정에 대한 개입과 장기적인 성과를 효과적으로 연결짓지 못한다는 우려가 있다. 또 어떤 사람들은 사람들은 광범위한 교육적 실험은 무용지물이며, 교육의 진보는 '여러 개의 작은, 잘 통제된, 여러 실험실에서 이루어지는, 개입 요소의 약간의 변조(variation) 속에서도 반복적으로 증명되는' 연구에 의해서 이뤄진다고 주장한다.


여러 대중들의 논쟁은 교육에 있어서 '좋은'연구란 무엇인가에 대한 논쟁과 연결되어 있다. 이것은 자연과학에서 말하는 '타당한' 연구에 대한 은유(metaphor)이기도 하다. 그리고 이것은 두 가지 특징을 가진다.


첫 번째는, 전통적인 자연과학의 '가설검증'이란 프레임이다. 이는 '증거에 대한 요구(imperative of proof)'라고도 할 수도 있다.

두 번째는, '궁극적인 단순함을 추구하는 것(ultimate search for simplicity)' 이다. 이는 '단순함에 대한 요구(imperative of simplicity)'라고도 할 수 있다.


이 두 가지 요구가 합쳐져서 의학교육에 '과학'이라는 것이 생겨났고, 단순하고, 일반화될 수 있는 '근거'를 제시하는 것이 그 목적이 되었다.


의학교육도 점차 자연과학의 필수요소(imperatives)를 연구의 목적으로 삼게 되면서, 이는 의학교육 연구의 아젠다에 영향을 주게 되었다. 

종종 이러한 영향은 매우 노골적으로 의학교육연구의 '기준(standard)'를 확립할 것을 요구하고 있다. 

또 가끔은 매우 소소한 부분에 영향을 줘서 의학교육 저널들은 다른 사회과학 저널들과 달리 논문의 길이를 훨씬 더 제한하고 있다. 


이렇게 노골적이든, 소소하게든, 종합적으로 봤을 때 자연과학에서 차용한 기준이 영향을 주고 있는 것 만큼은 분명해보인다.


따라서 우리 의학교육 커뮤니티가 연구의 기저에 깔려있는 '필수요소'를 어떻게 해석하고 받아들이고 있는지 조사해볼 필요가 있다. 여기서는 '교육의 과학'에 대해서 다르게 생각해 볼 수 있는 프레임을 제시하고, 이를 바탕으로 어떻게 우리가 좀 더 발전적으로 대처해갈 수 있을가를 이야기해보고자 한다.


또한 본격적으로 들어가기에 앞서서, 이러한 우려가 단지 '양적 연구'에만 해당되는 것은 아님을 밝히고자 한다. Lingard가 말한 것처럼 질적 연구까지도 이 분야에 팽배해있는 인식론적인 영향으로부터 자유롭지 못하다. 단순화(simplification)에 대한 압박에 있어서 특히 더 그렇다.  따라서 양적 연구 패러다임에 대해서만 비판을 하고자 하는 것은 아니며, 단지 인식론적 힘이 미치고 있는 영향을 보여주기 위한 사례로서 사용하고자 하는 것이다.








 2010 Jan;44(1):31-9. doi: 10.1111/j.1365-2923.2009.03418.x.

It's NOT rocket sciencerethinking our metaphors for research in health professions education.

Source

Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. glenn.regehr@ubc.ca

Abstract

CONTEXT:

The health professional education community is struggling with a number of issues regarding the place and value of research in the field, including: the role of theory-building versus applied research; the relative value of generalisable versus contextually rich, localised solutions, and the relative value of local versus multi-institutional research. In part, these debates are limited by the fact that the health professional educationcommunity has become deeply entrenched in the notion of the physical sciences as presenting a model for 'ideal' research. The resulting emphasis on an 'imperative of proof' in our dominant research approaches has translated poorly to the domain of education, with a resulting denigration of the domain as 'soft' and 'unscientific' and a devaluing of knowledge acquired to date. Similarly, our adoption of the physical sciences''imperative of generalisable simplicity' has created difficulties for our ability to represent well the complexity of the social interactions that shape education and learning at a local level.

METHODS:

Using references to the scientific paradigms associated with the physical sciences, this paper will reconsider the place of our current goals for education research in the production and evolution of knowledge within our community, and will explore the implications for enhancing the value of research in health professional education.

CONCLUSIONS:

Reorienting education research from its alignment with the imperative of proof to one with an imperative of understanding, and from the imperative of simplicity to an imperative of representing complexity well may enable a shift in research focus away from a problematic search for proofs of simple generalisable solutions to our collective problems, towards the generation of rich understandings of the complex environments in which our collective problems are uniquely embedded.



+ Recent posts