아는 것 만으로는 충분하지 않다: 지식, 힘, 생성적영역(Educational Researcher, 2012)

To Know Is Not Enough: Knowledge, Power, and the Zone of Generativity

Arnetha F. Ball1

올해 연례 회의 주제인 "Non Satis Scire: '아는 것 만으로는 부족하다'는 회원들 간의 대화를 유도하고, 우리 조직의 삶과 미래에 있어 이 시점에서 특히 시의적절한 질문을 이끌어내기 위해 선택되었다.

This year’s annual meeting theme, “Non Satis Scire: To Know Is Not Enough,” was selected to invite dialogue among the membership as well as to elicit—and perhaps address—questions that are particularly timely at this juncture in the life and future of our organization.

이러한 질문에 대한 한 가지 대답은 세자르 차베스가 "모든 지식의 목적은 반드시 타인에 대한 봉사가 되어야 한다"고 결론내렸을 때 제공되었다(The WRITE Institute, 2001). 이 기사는 올해 연례 회의 주제와 관련된 문제들을 고려할 때 고려해야 할 몇 가지 관점뿐만 아니라 이러한 질문들에 대한 몇 가지 추가적인 답변을 제공한다. 이어지는 페이지에 제시된 목소리는 지식 추구를 위한 개인 및 집단적 목표뿐만 아니라 이 조직의 명시적 사명을 반영한다. 독자들이 이 글에서 대표되는 목소리와 관점에 관여하는 만큼 회원들이 '아는 것 만으로는 충분하지 못하다'는 말의 의미와 중요성에 대해 개인적으로 성찰하는 계기로 삼기를 부탁드린다.

One response to these questions was provided by Cesar Chavez when he concluded that “the end of all knowledge should surely be service to others” (The WRITE Institute, 2001). This article provides some additional responses to these questions as well as some perspectives that should be considered when contemplating issues related to this year’s Annual Meeting theme. The voices represented in the pages that follow reflect on the stated mission of this organization as well as on individual and collective goals for the pursuit of knowledge. As readers engage with the voices and perspectives represented in this article, I ask that members use this as an opportunity to personally reflect on the meaning and importance of the statement “to know is not enough.”

AERA 미션에 명시된 바와 같이, 우리 조직의 목표는

As stated in the AERA mission, the goal of our organization is to

교육에 대한 지식을 향상시키고, 교육과 관련된 학문적 연구를 장려하며, 교육을 개선하고 공익을 위해 연구 이용을 촉진한다.

advance knowledge about education, encourage scholarly inquiry related to education, and promote the use of research to improve education and serve the public good.

이 사명 선언문은 세 가지 상호 관련 부분이 있다. 본 논문은 주로 교육을 개선하고 공공의 이익을 위해 연구를 사용하는 것을 촉진하기 위해 우리 임무의 세 번째 부분에 초점을 맞추고 있다.

This mission statement has three interrelated parts. This paper focuses primarily on the third part of our mission, to promote the use of research to improve education and serve the public good.

조직의 역사 인식: 몇 가지 관찰

Situating Our Organization Historically: A Few Observations

지식-수행 격차에 관한 연구

Explanations Concerning the Knowing–Doing Gap

미국뿐만 아니라 전 세계적으로 연구-실무 또는 실행-실행 공백이 존재하는 이유에 대해 많은 설명이 제공되었다(Broekkamp & van Hout-Wolters, 2007; Fuhrman, 2001; Walters et al. 설명은 다음과 같다.

A number of explanations have been offered concerning why the research–practice or knowing–doing gap exists (Broekkamp & van Hout-Wolters, 2007; Fuhrman, 2001; Walters et al., 2009), not only in the U.S. but across the globe. Explanations include the following:

• 1. 연구 보고서의 접근 불가능성

• 2. 전문적 규범과 실무자 및 정책 입안자가 연구 결과를 상담하고 활용할 수 있는 시간의 부족

• 3. 교육 실무자와 정책 입안자는 연구를 거의 수행하지 않는다.

• 4. 교육 실무자, 정책 입안자 및 연구자 간의 동등한 협력을 위한 포럼의 부재

• 5. 수전 퍼먼이 지적한 바와 같이, "연구는 종종 정책의 새로운 방향을 정하는 것보다 이미 취해진 정치적 입장을 정당화하는 데 이용된다." 그리고 다른 사람들이 지적했듯이, 연구는 정책을 정당화하는 데 이용되기 위해서 표준적인 과학적 요구 조건을 통과시킬 필요도 없다.

1. the inaccessibility of research reports;

2. a lack of professional norms and time for practitioners and policy makers to consult and use research findings;

3. educational practitioners and policy makers very rarely carry out the research;

4. a lack of a forum for equal collaboration between educational practitioners, policy makers, and researchers; and

5. as Susan Furman has noted, “Research is often used to justify political positions already taken rather than to set a new direction for policy.” And as others have noted, research does not even need to pass standard scientific muster in order to be used to justify policies.

이러한 현실은 정책 수립의 정치적 본질을 부각시킨다. 지식-실무 격차라고도 하는 지식-실무 격차는 교육 분야만의 과제가 아니다. 다른 분야와 영역에서도 "아는 것 만으로는 충분하지 않다"고 인식하고 그들 역시 그 격차를 해소하기 위해 노력하고 있다. 피퍼와 서튼(2000년)은 재계에서 똑똑하거나 읽고, 듣고, 생각하고, 어려운 현상에 대해 글을 쓰는 것만으로는 충분하지 않다는 결론을 내렸다고 말한다. 홀푸드, 스타벅스, 나이키와 같은 가장 성공적인 사업체들은 단지 사업 관행을 연구하는 것 이상의 것을 할 필요가 있다는 것을 발견했다. 그들은 축적된 지식으로 무언가를 할 필요가 있었다. 그 깨달음은 "저스트 두 잇"이라는 유명한 구절에서 포착되었다. Pfeffer와 Sutton은 또한 "알고 있는-행위의 격차를 줄이는" 것을 중시하고 보상한 CEO들이 그것을 닫을 가능성이 더 높고 그렇게 하는데 더 성공적이라는 것을 발견했다. 

This reality highlights the political nature of policy making. The knowledge–practice gap, which I also refer to as the knowing–doing gap, is not a challenge unique to the field of education. Other disciplines and domains recognize that “to know is not enough” and they, too, are working to address the gap. Pfeffer and Sutton (2000) tell us that in the business world, they have concluded that being smart or reading, listening to, thinking, and writing about a challenging phenomenon is not enough. The most successful business firms—like Whole Foods, Starbucks, and Nike—found that they needed to do more than just research business practices. They needed to do something with the knowledge they accumulated. That realization has been captured in the well-known phrase “Just do it!” Pfeffer and Sutton also found that those CEOs who valued and rewarded “closing the knowing–doing gap” were more likely to close it and more successful in doing so. 

의학으로 간단히 돌아보면, 연구에 기반을 둔 "이중 맹목적인 임상시험" (Lechat 등, 1998)은 의료 관행에 혁명을 일으켰고, 효과적인 신약 치료법의 식별과 후속 채택으로 이어졌다는 것을 알게 된다. 최근 몇 년 동안, 또 다른 형태의 의학 연구가 등장했는데, 바로 중개연구였다. 중개연구는 연구를 실제 실행으로, 즉 새로운 치료법과 연구지식이 실제로 그들이 의도하고 올바르게 구현된 환자나 모집단에 도달하도록 보장하는 것을 말한다(Woolf, 2008). 의사와 과학자의 모자를 쓰고 다학제, 다학제, 다학제 팀의 학술 보건소에서 일하는 개인에 의해 중개연구가 점점 더 이루어지고 있다. 이러한 의사-과학자들은 지식-실무 격차에 훨씬 더 큰 영향을 미치기 위해 연구를 실험실에서 치료 지점으로 이동시킨다. 연구와 협업 문화를 수행하기 위해 개발된 새로운 구조의 결과, 의학의 분야가 변화되었다.

Turning briefly to medicine, we find that research-based “double-blind clinical trials” (Lechat et al., 1998) revolutionized medical practice and led to the identification and subsequent adoption of effective new drug therapies. In recent years, another type of medical research has emerged: translational research. Translational research refers to translating research into practice, that is, ensuring that new treatments and research knowledge actually reach the patients or populations for whom they are intended and are implemented correctly (Woolf, 2008). Increasingly, translational research is being conducted by individuals who wear the hat of both physician and scientist and who work for academic health centers in multidisciplinary, multiskilled teams. These physician-scientists move research from the laboratory to the point of care in an effort to have an even greater impact on the knowledge–practice gap. As a result of new structures that have been developed for conducting research and cultures of collaboration, the field of medicine has been transformed.

지식-수행 격차 해소 모델

Models for Addressing the Knowledge–Doing Gap

연구 문헌에는 교육에서의 지식-행위의 격차(연구-실무 격차라고도 함)를 해소하기 위해서는 연구자, 정책 입안자, 실무자 간의 더 많은 협력이 필요하다는 공감대가 있다(Broekkamp and van HoutWolters, 2007; Hallennan, 1996; Towne, Wise, 2004; Vanderline & Van Braak, 2010). 교육에서의 연구-실무 격차에 관한 문헌을 검토하면 그 격차 문제를 해결할 수 있는 방법에 대한 실무적 가정이 드러난다. 브로크캄프 및 밴 후트 월터스(2007)는 확인된 네 가지 유형의 접근방식의 모델을 제공한다. 이 네 가지 모델은 다음과 같다.

There is some consensus in the research literature that to address the knowing–doing gap (also referred to as the research–practice gap) in education, more cooperation is needed among researchers, policy makers, and practitioners (Broekkamp and van HoutWolters, 2007; Hallinan, 1996; Towne, Wise, & Winters, 2004; Vanderline & Van Braak, 2010). A review of the literature regarding the research–practice gap in education reveals working assumptions about how the gap can be addressed. Broekkamp and van Hout-Wolters (2007) provide models of four types of approaches that have been identified. Those four models are as follows:

1. 연구개발 확산모형

2. 증거 기반 실행 모델

3. 경계-교차 프랙티스 모델 및

4. 지식 커뮤니티 모델

1. The Research Development Diffusion Model

2. The Evidence-Based Practice Model

3. The Boundary-Crossing Practices Model, and

4. The Knowledge Communities Model

[연구 개발 확산 모델]은 지식 생산의 위계를 반영하고 있으며, 이는 결국 실천의 개선을 이끌 수 있다. 이 모델을 바탕으로 실무 중심의 연구자들은 이론과 보다 상류에서 기초 연구자들에 의해 생산된 탈맥락화된 연구에서 도움을 받는다. 이 모델의 핵심은 [중재자]가 연구와 실천 사이의 필수적인 연결고리라는 것이다. 이 모델에서 mediator의 기능은 연구 내용을 실무자가 맡을 수 있는 보고서, 정책, 교재, 전문 개발 프로그램으로 번역하는 것이다.

The Research Development Diffusion Model reflects a hierarchy of knowledge production that can eventually lead to improved practice. Drawing on this model, practice-oriented researchers draw on theories and decontextualized research produced by basic researchers further upstream. A key point to this model is that Mediators are the integral link between research and practice. The function of Mediators in this model is to translate research into reports, policies, teaching materials, and professional development programs that can be taken up by practitioners.

[근거 기반 실천 모델]은 그 차이를 어떻게 해결해야 하는지에 대한 교육 및 작업 가정의 연구-실무 격차에 관한 또 다른 관점을 반영한다. 이 모델은 메디케이터가 다시 한번 연구와 실무를 연결하는 중심적 역할을 한다는 점에서 이전 모델과 매우 유사하다. 이 근거 기반 실천 모델과 이전 연구 개발 확산 모델의 주요 차이점은 [연구 개발 확산 모델은 개념 체계, 서술적 연구, 학습 과제 등 다양한 연구 결과를 중요시]하는 반면, 이 [근거 기반 실천 모델은 주로 경험적 증거를 중시]한다는 것이다. 그것은 무작위화된 실험 설계의 결과물이다. 다시 말하지만, Mediators는 효과적인 연구에서 발견한 것을 실천으로 옮기는 데 중요한 역할을 한다. 이 모델 내에서, 중재자의 역할은 출판된 교육 관행과 자료를 검토하여, 교육에서 무엇이 효과적이거나 "무엇이 효과가 있는지"를 결정하는 것이다. 그런 다음 실무자들은 "효과적인 것으로 입증된" 방법을 사용한다.

The Evidence-Based Practice Model reflects another perspective regarding the research–practice gap in education and working assumptions for how the gap should be addressed. This model is very similar to the previous model in that Mediators, once again, play a central role in linking research and practice. The key difference between this Evidence-Based Practice Model and the previous Research Development Diffusion Model is that the Research Development Diffusion Model values diverse research results, such as conceptual frameworks, descriptive research, and learning tasks, whereas this Evidence-Based Practice Model primarily values empirical evidence that is a result of randomized experimental designs. Again, the Mediators serve a critical role in translating findings from effective research into practice. Within this model, the role of Mediators is to review published educational practices and materials and determine what is effective or “what works” in education. Practitioners then make use of methods that have been “proven to be effective.”

[경계-교차 관행 모델]은 그 차이를 어떻게 해결해야 하는지에 대한 교육 및 작업 가정의 연구-실무 격차에 관한 세 번째 관점을 반영한다. 이 모델과 다음 모델은 연구가 교육 관행으로 해석되도록 하는 데 있어 협동의 중요성을 강조한다. 그러나 이 경계-교차 관행 모델의 독특한 점은 [중재자의 역할이 축소]되고 연구가 연구원, 실무자, 정책 입안자의 모호한 역할을 통해 실천으로 해석된다는 점이다. 이러한 역할은 이러한 영역에 걸쳐 복수 살해된 한 사람에 의해 동시에 수행될 수 있으며, 예를 들어, 연구자는 교직에 종사할 수 있고 개업자는 연구의 설계와 수행에 종사할 수 있다.

The Boundary-Crossing Practices Model reflects a third perspective regarding the research–practice gap in education and working assumptions for how the gap should be addressed. This model and the next model emphasize the importance of collaboration in ensuring that research translates to educational practice. However, what is unique about this Boundary-Crossing Practices Model is that the role of the Mediator is diminished and research translates to practice through the blurred roles of researchers, practitioners, and policymakers. These roles can be carried out simultaneously by one person who is multiskilled across these areas or, for example, a researcher can engage in teaching and a practitioner can engage in the design and conduct of research.

[지식 공동체 모델]은 그 차이를 어떻게 해결해야 하는지에 대한 교육 및 작업 가정에서의 연구-실무 격차에 관한 네 번째 관점을 반영한다. 이 모델은 이전 모델과 마찬가지로 협업을 중시한다. 그러나, 지식 공동체 모델에서는 [연구자-실행자-정책개발자]의 역할을 모호하게 하는 대신, 다양한 행위자들이 교육적 문제를 해결하기 위하여 지식 교환의 파트너십이나 네트워크에 상호 관여함에 따라 전통적인 역할(구분)이 유지된다. 아래의 그림 1은 이 네 가지 모델을 나타낸다.

The Knowledge Communities Model reflects a fourth perspective regarding the research–practice gap in education and working assumptions for how the gap should be addressed. This model, like the previous model, values collaboration; however, instead of blurring the roles of researcher–practitioner– policymaker, in the Knowledge Communities Model, traditional roles are maintained as a diverse group of actors are mutually engaged in a partnership or network of knowledge-exchange as they work to address an educational issue. Figure 1 below provides representations of these four models.

생성적이라는 것은 무엇을 의미할까?

What Does It Mean To Be Generative?

에릭 에릭슨의 정신사회 발전 이론의 7단계에 따르면, 생성성은 우리가 우리를 지속시킬 것들을 창조하거나 육성하기 위해 노력하는 단계다; 우리는 다른 사람들에게 이익이 되는 긍정적인 변화에 기여하기 위해 노력한다. 파워power으로서의 지식은 우리가 세상을 더 나은 곳으로 만드는 데 도움이 되는 지식을 만들 때 발생한다. 그렇지 않은 사람들은 일반적으로 [침체 영역zone of stagnation]에 들어가는데, 침체는 기여할 수 있는 방법을 찾지 못한 것을 말한다.

According to the seventh stage of Erik Erikson’s theory of psychosocial development, generativity is a stage in which we strive to create or nurture things that will outlast us; we strive to contribute to positive changes that benefit others. Knowledge as power occurs when we create knowledge that serves to make the world a better place. Those who do not, generally enter a zone of stagnation, where stagnation refers to the failure to find a way to contribute.

위에서 언급한 관찰에 근거하여, 우리는 지식-행위의 차이가 존재하고 분야와 직업에 걸쳐 만연하고 있음을 알고 있다. 우리는 또한 다른 분야와 직업들이 그 격차를 해소하는데 진전을 이루었다는 것을 알고 있다. 이것을 알고있기에 우리가 교육 연구의 지식 격차를 해소할 수 있다는 것을 더욱 확신하게 한다. 그러나 문제는 여전히 남아있다: 어떻게 해소할 것인가? 먼저 간극이 존재한다는 것을 인정하고 그 다음 우리는 아는-행위의 간극을 좁히도록 선택해야 한다고 제안한다.

Based on the observations noted above, we know that the knowing–doing gap exists and that it is pervasive across fields and professions. We also know that other fields and professions have made progress in addressing that gap. Knowing this makes us more convinced that we can address the knowing–doing gap in education research as well. But the question remains: How? I propose that first we must acknowledge that the gap exists and then we must choose to close the knowing–doing gap;

[생성성 영역]은 다음의 둘 사이의 거리를 구성하는 영역 또는 영역이다. 

• 현재 연구 수행에 의해 [결정었다고 알려진 것] 

• 교육 연구자가 연구 수행을 통해 배운 것을 응용(또는 응용을 촉진)할 수 있는 능력을 통해 [알 수 있는 잠재력이 있는 것]. 

The Zone of Generativity is the region or area that constitutes the distance between 

• what is currently known as determined by the conduct of research and 

• what education researchers have the potential to know through their ability to apply (or promote the application of) what they have learned through the conduct of research. 

그들의 [연구 지식]과 [그들 자신의 개인적인 지식]을 [연구 맥락에서 얻은 지식]과 결합시킴으로써, 연구자들은 그들의 지식을 교육 향상을 위한 노력에 적용하면서 생성될 수 있다. 연구자들이 하는 것을 통해 배우면서, 그들은 자기 반복적인 변화의 과정을 통해 다른, 더 경험적인 종류의 지식을 얻는다.

By combining their research knowledge and their own personal knowledge with the knowledge they gain from the research context, researchers can become generative as they apply their knowledge in efforts to improve education. As researchers learn through doing, they gain a different, more experiential kind of knowledge through a process of self-perpetuating change.

생성성의 영역

The Zone of Generativity

생성성 영역은 현재 지식 생성 수준에서 시작되며 4단계(그림 2)

The Zone of Generativity begins at our current level of knowledge creation and has four stages (Figure 2):

1. 반성 

2. 자성

3. 비평

4. 퍼스널 보이스

1. Reflection

2. Introspection

3. Critique

4. Personal Voice

첫 번째 단계는 교육 연구자 입장에서의 사려 깊은 성찰로, 이는 인식의 증가와, 어쩌면 아는 것으로는 충분하지 않다는 깨달음으로 이어진다(그림 3). 성찰은 우리의 연구 관행의 규칙적인 부분이 되어야 한다. 이런 질문을 던져야 한다. 내가 연구한 것과 관련된 관행을 알고 있는가? 내 연구의 소비자는 누구인가, 아니면 누가 될 것인가?"

The first stage is thoughtful reflection on the part of education researchers, which leads to increased metacognitive awareness and, perhaps, to the realization that to know is not enough (Figure 3). Reflection should become a regular part of our research practice. We should ask questions such as “Is this research making a difference? Am I aware of the practice in relation to what I research? Who are or will be the consumers of my research?”

우리가 선택한 모델에 따라, 만약 아는 것과 하는 것의 차이를 교육에서 해결하기로 선택했다면, [연구 맥락에서 연구자의 개인적인 경험]이나 [연구사업]에 대하여 신중한 성찰을 함으로써, 연구자, 정책 입안자 및 실무자 간의 협력 필요성의 중요한 역할에 대한 인식 개선 동기를 부여할 수 있다. 이 성찰 단계에 engage하게 되면, 아는 것과 하는 것 사이의 차이를 해결하기 위해 서로 다른 접근법이 식별되었다는 사실에 대한 개인적 각성이 증가하게 된다. 메타인식을 촉진하기 위한 사려 깊은 성찰의 중요성은 모델의 1단계에 나타나 있다.

Depending on the model we choose to operate within, thoughtful reflection on a researcher’s personal experiences in the research context and on the research enterprise motivates increased metacognitive awareness concerning the critical role of the need for cooperation among researchers, policymakers, and practitioners if one chooses to address the knowing–doing gap in education. Engagement with this reflection stage results in an increased sense of personal awakening concerning the fact that different approaches have been identified for addressing the knowing–doing gap. The importance of thoughtful reflection to promote metacognitive awareness is represented in Phase 1 of the model.

두 번째 단계는 [자기 내면을 들여다보고 연구자로서 연구 기업 내에서 자신의 역할을 결정하도록 요구하는 자성]으로, 이는 지식 통합, 협업, 연구 결과의 번역 등의 형태로 지지도를 높여 실천과 정책 커뮤니티에 평가될 수 있도록 한다(그림 4).).

The second stage is introspection, which requires us as researchers to look within ourselves to determine our own role within the research enterprise, which leads to increased advocacy in the form of knowledge integration, collaboration, and the translation of research findings so they are assessable to the practice and policy communities (Figure 4).

우리가 내부에서 운용하기로 선택한 모델에 따라, 이 단계는 이론가, 연구자, 실천가, 혹은 위의 어떤 조합으로서의 우리의 역할을 이해할 수 있도록 자기성찰적이 될 것을 요구한다. 그리고 [우리가 자성을 통해 우리의 역할을 이해하게 될 때], 이것은 우리의 연구가 교육 관행에 어떤 영향을 미칠지에 대한 우리의 가정에 대해 더 신중하고 전략적으로 도움이 될 것이다.

Depending on the model we choose to operate within, this stage calls for us to be introspective so we can understand our role as a theorist, a researcher, a practitioner, or some combination of the above. And as we come to understand our role through introspection, this will help us to be more deliberate and strategic about our assumptions on how our work will influence educational practice.

세 번째 단계는 우리의 현재 지식 수준과 현재의 연구 관행에 대한 비판이며, 우리의 연구 지식이 정책 및 실천 공동체에 의해 접근되고 있거나 그렇지 않은 현재의 현실에 대한 비판이며, 이는 우리를 더 많은 행위자성agency으로 이끌 수 있다. 우리의 연구에서는, 우리는 존재하는 지식-수행의 격차를 고려해야 하며, 우리의 작업의 적용이 어떻게 그러한 격차를 해소할 수 있는지를 비판해야 한다(그림 5).

The third stage is critique of our current levels of knowledge and current research practices, and a critique of the current reality that our research knowledge is—or is not—being accessed by the policy and practice communities, which can lead us to increased agency. In our research, we should consider the knowledge–doing gaps that exist and critique how the application of our work can break down those gaps (Figure 5).

네 번째 단계는 개인적인 목소리인데, 연구 결과가 실제 실행으로 어떻게 전환되는지에 대한 우리의 연구 결과에 대한 성찰과 지지된 가정으로부터 얻어진 것이다. 또한 자기성찰과 비평(그림 6). 개인의 목소리를 통해, 우리는 지식-행동 격차를 해소하기 위한 노력의 일환으로 취해진 개별적인 접근법을 증명할 수 있다. 개인의 목소리는 연구-실천 격차 해소를 위한 노력을 어떻게 지원할 것인가를 명확히 할 수 있는 기회일 뿐만 아니라, 지식은 우리가 "공익을 위해 봉사"하는 실천과 정책에 영향을 미치고 영향을 미치기 때문에 우리의 연구에 신뢰성을 부여할 수 있는 기회다. 개인적인 목소리의 예는 이 기사의 마지막 부분에 제시되어 있다.

The fourth stage is personal voice, gained from reflections on our work and our espoused assumptions about how research is translated into practice—as well as through introspection and critique (Figure 6). Through personal voice, we can demonstrate individual approaches taken in an effort to help address the knowing–doing gap. Personal voice is not only our opportunity to articulate how we will support efforts to address the research– practice gaps in a concerted way but will give credibility to our research—where knowledge becomes power as we use it to influence and impact practice and policy to “serve the public good”— which leads to a sense of efficacy. Examples of personal voice are presented in the final section of this article.

'생성적 영역'을 틀로 삼아 성찰, 자기성찰, 비평, 개인의 목소리를 활용해 연구기업에 대한 기여를 지속적으로 실현할 수 있다. 생성의 영역은 인식 인식, 이념화, 내면화, 사회문화적 과정에 의존한다. 그리고 그것은 교육 연구자들의 연구 생활에서 의식적으로 그리고 전략적으로 경험되고 있기 때문에 생성성이 있다(Ball, 2009).

Using the Zone of Generativity as a framework, we can utilize reflection, introspection, critique, and personal voice to continually realize our contribution to the research enterprise. The Zone of Generativity draws on the sociocultural processes of metacognitive awareness, ideological becoming, internalization, and generativity as it is consciously and strategically experienced in the research lives of education researchers (Ball, 2009). 

아래에 묘사된 모델은 Franz Fanon(1986)이 내가 진짜 도약이 발명을 존재에 도입하는 데 있다는 것을 끊임없이 상기해야 한다고 말할 때 말하는 것을 운영하기 위해, 교육을 개선하고 공공의 이익을 위해 우리의 접근방식에서 연구자들이 생성될 기회를 이용할 수 있는 과정을 보여준다. 

The model depicted below illustrates the process by which researchers can make use of opportunities to be generative in our approaches to improve education and serve the public good—to operationalize what Franz Fanon (1986) speaks of when he says I should constantly remind myself that the real leap consists in introducing invention into existence. 

우리가 연구자로서 이 네 가지 단계나 기간을 거쳐 발전함에 따라, 에릭슨이 정의한 대로 지식을 생성적인 방법으로 사용할 때 점점 더 발명을 도입하게 된다. —우리는 의식적으로 우리 자신을 넘어 견딜 수 있는 무언가를 창조하기 위해 노력한다. 우리는 권력을 행사하며, 권력의 정의는 [다른 사람들에게 영향을 미치고 봉사하는 능력]이다. 이렇게 해서 세상을 더 나은 곳으로 만드는 역할을 하는 연구를 수행함에 따라 지식이 강력해진다.

As we progress through these four stages or periods in our development as researchers, increasingly we introduce invention into existence when we use knowledge in generative ways as Eric Erikson defines it—we consciously work toward creating something that can endure beyond ourselves— we exercise power, defined as the ability to influence and to serve others. In this way, knowledge becomes powerful as we conduct research that serves to make the world a better place.

이러한 자기 반복적인 생성 과정의 개념을 보다 이해할 수 있도록 하기 위해, 그림 7은 각 단계와 각 발전 단계의 결과를 묘사한다.

To make this notion of a self-perpetuating process of generativity more understandable, Figure 7 depicts each stage and the results of each stage of development.

왜 생성성의 영역인가?

Why a Zone of Generativity?

또 다른 의문점은 다음과 같다. 내가 왜 '생성성 영역'을 도입하는 거지? 왜냐하면 Zone의 개념은 개인의 능력, 헌신, 자신의 옹호 수준, 현재의 아는 수준에 따라 개인들이 서로 다른 지점에서 진입할 수 있게 해주기 때문이다. ZPD와 마찬가지로 그 영역으로 들어가기에 잘못된 장소는 없다. 현재 알고 있는 수준에서 당신이 있는 생성 영역에 들어가 자신의 진척도를 측정한다. 성찰, 자기성찰, 비평, 그리고 개인의 목소리의 발전을 통해, 잠재적인 지식의 수준을 증가시키는 방향으로 성장과 발전의 가능성이 항상 존재한다.

One other question that arises is: Why am I introducing a Zone of Generativity? It’s because the concept of a zone allows individuals to enter in at different points—based on one’s ability, one’s commitment, one’s own level of advocacy, one’s level of current knowing. Like the zone of proximal development (Vygotsky, 1978), there is no wrong place to enter the zone—you enter the Zone of Generativity where you are, at your current level of knowing, and you measure your development against your own progress. Through reflection, introspection, critique, and the development of personal voice, there is always the possibility for growth and development toward increased levels of potential knowing.

교육 연구자로서 우리는 우리가 누구라고 말하는지 계속 살펴보고, 우리가 ZOG에서 어느 지역에 있는지, 그리고 우리가 어디에 있고 싶은지 결정해야 한다. AERA의 일원으로서, 우리는 스스로에게 물어봐야 한다: 혁신적이고, 창조적이며, 21세기의 교육적 도전에 대처하기 위한 강력한 방법에서 발을 내딛는 나의 공헌은 무엇인가. 내가 공익을 위해 봉사할 발명을 존재에 도입하고 있는가? 

As education researchers, we must continue to look at who we say we are, determine where we are within the Zone of Generativity (ZOG), and decide where we want to be. As members of AERA, we must ask ourselves: what are my contributions toward stepping out in innovative, generative, and powerful ways to meet 21st-century educational challenges. Am I introducing invention into existence that will serve the public good? 

나폴레옹 힐(1937년)에 따르면 "노력은, 노력을 그만두기를 거부한 후에야 그 힘을 방출한다!" 또는 "평범한 사업business as usual"에 만족하거나 안주하기를 거부한 후에야, 우리는 아는 것과 하는 것의 차이를 없앨 것이다. 

• 우리가 실패의 문서화에 만족하는 것을 넘어섰을 때, 

• 실패에 대한 두려움이 지식 격차를 조장한다는 것을 인식할 때, 

• 행함으로써 아는 것이 더 깊고 심오한 수준의 지식을 발전시킨다는 현실을 경험할 때

According to Napoleon Hill (1937), “effort . . . only releases its power [its reward], after we refuse to quit!” Only after we refuse to be satisfied or complacent with “business as usual,” 

• when we move beyond being satisfied with the documentation of failure, 

• when we recognize that fear of failure fosters the knowing–doing gap, and 

• when we experience the reality that knowing by doing develops a deeper and more profound level of knowledge

—then, by doing, we will eliminate the knowing–doing gap. 

그렇다면 그리고 그때서야 우리는 우리 앞에 놓여 있는 진정한 도전은 현재의 연구의 경계를 넘어 새로운, 보다 혁신적인 패러다임을 구축하는 것이라는 것을 깨닫게 될 것이다. —그것을 받아들일 사람들을 위해.

Then and only then will we realize that the real challenge that lies before us—for those who will accept it—is to push beyond the current boundaries of research—to forge new, more innovative paradigms.

지식-수행 격차 해소를 위한 과제, 비용 및 제안

A Challenge, a Charge, and Suggestions for Closing the Knowledge–Doing Gap

끝으로 우리 앞에 놓여 있는 도전을 상기시켜 드린다. 그 도전은 다음과 같은 질문을 던진다. 교육 연구자로서 우리는 어떻게 지식 격차를 해소하고 21세기 과제를 해결하기 위해 지식을 활용할 수 있을까? 우리는 이 질문에 대답해야 한다.

In closing, I remind you of the challenge that lies before us. That challenge begs the question: How can we—as education researchers—operationalize the Zone of Generativity in order to close the knowing–doing gap and further use our knowledge to address 21st-century challenges? Our response to this question is a charge.

이 혐의를 해소하기 위해서는 우선 올해 주제에서 나온 선도적 질문을 고려해야 한다. 만약 "아는 것만으로는 충분하지 않다"고 한다면, 그렇다면, 무엇이 충분한가?

To address this charge, we must first consider the leading question that emerged from this year’s theme: If “To Know Is Not Enough,” what, then, is enough?

단순화된 답변으로 응답하기 보다는, "지속적인" 것이 모든 학습자를 위한 개선된 교육을 지속적으로, 진보적으로 추구하는 것이라고 제안한다. 그리고 우리 중 누구도 혼자서는 이 일을 해낼 수 없다. 우리는 충분히 할 수 있는 길을 전진하면서 우리 집단의 힘이 필요하다. 우리의 계급 중에는 기초적인 연구자가 필요하고, 교육 관행을 개선하기 위해 일하는 사람들이 필요하다. 우리는 교육 연구를 독특하게 복잡하게 만드는 미세하고 미묘한 미묘함을 드러내는 연구가 필요하다. 그리고 우리는 개인이 사회에 영향을 미칠 수 있도록 대규모 이니셔티브를 설계하고 고안해 낼 필요가 있다. 우리는 지역, 국가, 국제 수준에 정책을 알리고 영향을 미칠 수 있는 더 많은 메커니즘이 필요하다. 충분한 것은 여행이지 목적지가 아니다. 

Rather than responding with a simplistic answer, I propose that “enough” is our continual, progressive pursuit of improved education for all learners. And no one of us can accomplish thisfeat alone. We need the strength of our collective as we progres-sively travel on the path of doing enough. Among our ranks  we need basic researchers, we need those who are working to improve educational practices, we need research that reveals the fine-grained, nuanced subtleties that make education research uniquely complex, and we need individuals to design and imple-ment large-scale initiatives so we can—in more strategic ways—impact society. We need more mechanisms to inform and influence policy on local, national, and international levels. Enough is a journey, not a destination. 

이 동적 생성 영역(Zone of Generativity)의 네 번째 단계인 개인의 목소리personal voice는, 연구자가 자신의 참여에 기반한 연구 맥락에서 얻은 연구 지식, 개인 지식 및 지식을 결합하는 능력을 통해, 지식-행동 작업 격차에 대처하기 위해 취한 개별 접근법을 입증하는 시점을 나타낸다. [반성, 자기성찰, 비평을 통하여] 연구자들은 개인의 목소리를 통해 연구-실무 간극을 해소하기 위한 노력을 어떻게 지원할 수 있는지, 그리고 이를 통해 우리가 '공익을 위해 봉사한다'는 정책, 실천에 영향을 미치고 실효성을 가진 정책에 영향을 미침으로써 우리의 연구에 신뢰성을 부여할 수 있는지를 명확히 한다. 개인의 목소리에 의지하여, 우리 회원은 단지 이야기만 하는 것이 아니라, 지식-행위의 차이를 효과적으로 해소하기 위해 취할 수 있는 제안된 조치에 대해 썼다.

The fourth stage of this dynamic Zone of Generativity, personal voice, represents the point at which researchers demonstrate individual approaches taken in an effort to help address the knowing–doing gap through an ability to combine research knowledge, personal knowledge, and knowledge gained from the research context based on their own engagement with reflection, introspection, and critique. Through personal voice, researchers articulate how we can support efforts to address the research–practice gap in a concerted way and give credibility to our research by demonstrating knowledge that becomes power as we use it to influence and impact practice and policy to “serve the public good” with a sense of efficacy. Drawing on personal voice, our membership has not only talked about but written about suggested steps that can be taken to close the knowing–doing gap with a sense of efficacy.

다음은 2012년 AERA 커미셔닝 에세이스트들의 개인적인 목소리로부터 우리가 할 수 있는 몇 가지 일들을 말해주는 몇 가지 더 많은 예들이다. 나는 이 목소리들을 Pfeffer와 Sutton의 (2000) 8가지 행동 지침에서 발견된 구성 요소들과 결합한다.

Following are a few more examples taken from the personal voices of the 2012 AERA Commissioned Essayists that tell us some things we could be doing that would be an “enough.” I combine these voices with the building blocks found in Pfeffer and Sutton’s (2000) Eight Guidelines for Action.

1. 지식-행위의 차이는 깊은 철학적 사고에 의해 추진되기 때문에 만연하고 지속적이며 중요한 문제라는 것을 기억하라. 그렇기 때문에 "지식 자체뿐만 아니라, [지식이 왜 사용되지 않는가에 대한 지식]도 충분하지 않다."(Pfeffer & Sutton, 2000, 페이지 244) 근본적으로, 아는 것과 하는 것의 차이를 좁히는 것은 우리의 근본적인 철학에 관한 것이다. 그래서 우리 주제의 제3부를 구현하려면 강력하고 생성적인 철학을 채택해야 한다. 수필가 와기드와 스마이어스는 우리를 인도할 수 있는 강력하면서도 생성적인 근본 철학으로 '우분투'를 논했다. Ubuntu는 "Action with Care"에 관한 것이고, 인간의 상호의존성에 관한 것이고, 사람들 간의 관계에 관한 것이다. 우분투와 생성적 사고를 결합함으로써 우리는 연구를 21세기 도전에 적용하고 공익에 봉사할 수 있다.

1. Remember that the knowing–doing gap is a pervasive, persisting, and important problem because it is driven by deep philosophical thinking. That is why “knowledge itself, as well as knowledge about why the knowledge is not being used, is not enough” (Pfeffer & Sutton, 2000, p. 244). Fundamentally, closing the knowing–doing gap is about our underlying philosophy. So if we want to implement the third part of our theme, we need to adopt a philosophy that is powerful and generative. The essayists Waghid and Smeyers, discussed “Ubuntu” as a powerful yet generative underlying philosophy that can guide us. Ubuntu is about “Acting with Care,” about human interdependence, and about relationships between and among persons. By combining Ubuntu with generative thinking, we can apply research to 21stcentury challenges and serve the public good.

2. 깊은 종류의 지식은 다른 사람들에게 어떻게 하는지를 가르치는 것에서 생길 수 있다. [함으로써 아는 것]은 깊고 심오한 수준의 지식을 발전시킬 수 있으며, (그 정의상) 아는 것과 행하는 것의 차이를 없앨 수 있다. 수필가 하틀렙과 칼슨에 따르면: "학원이 동료에게 봉사하는 것을 중시해야 할 때야. . . 지식 생성자(학술가)로서, 우리 연구는 지역사회와 협력하여 [인류]의 상태를 개선해야 한다. . . 더 이상 학문적으로 한 가지에만 지나치게 몰두하는 것이 받아들여지고, 인정받거나, 보상되어서는 안 된다. . . . . 학계는 봉사함으로써 리드해야 한다."

2. A deep kind of knowing can occur from doing and from teaching others how. Knowing by doing can develop a deep and profound level of knowledge and can—by definition— eliminate the knowing–doing gap. According to essayists Hartlep and Carlson: “It is high time that the academy values service to its fellow man. . . . As knowledge-generators (academicians), our scholarship should improve the condition of humanity [by working] in concert with the community. . . . No longer should academic navel gazing be accepted, appreciated, or rewarded. . . . The academy must lead by serving.”

3. 행동은 우아한 말과 계획보다 중요하다. "똑똑한 것처럼 말을 하는 것이 스마트한 행동을 하는 것을 너무 자주 대체하는 세상에서는, [계획, 의사 결정, 회의, 대화 등]이 [집행implementation]을 대신하는 경향이 있다. [너무 자주] 사람들은 행동이 아닌 말로 지위를 얻는다."(Pfeffer & Sutton, 2000, 페이지 251). 수필가 아라페에 따르면, 학습을 위한 학습이 충분하지 않다는 것을 인식하고, 공익을 향상시키기 위해 이용되는 학습에 대한 강조의 적용을 통해 교육을 재인식할 필요가 있다고 한다.

3. Action counts more than elegant words and plans. “In a world where sounding smart has too often come to substitute for doing something smart, there is a tendency to let planning, decision making, meetings, and talk come to substitute for implementation. [Too often] people achieve status through their words, not their deeds” (Pfeffer & Sutton, 2000, p. 251). According to essayist Arafeh, there is a need to reconceptualize education through the application of an emphasis on learning that is used to improve the public good, recognizing that learning for the sake of learning is not enough.

4. 모든 학습에는 약간의 실패와 실수가 수반된다는 것을 기억하라: 우리는 그것을 통해서 배우는 것이다. 논술가 이씨에게 있어서, 아는-행위의 차이를 연구와 실천 또는 정책 사이의 단순한 단절이나 의사소통 문제로 생각하는 것은 실수였다. 그녀는 교육에 영향을 미치는 다양한 요소들을 고려함으로써 교육 관행과 정책과 관련된 역동적이고 복잡하며 다층적인 문제들을 보고 다루기 위해 보다 복잡한 생태 시스템 접근방식을 사용함으로써 배울 것이 많다고 주장했다.

4. Remember that all learning involves some failure and mistakes: they are things we learn from. For essayist Lee, it has been a mistake to think about the knowing–doing gap as a simple disconnect or communication issue between research and practice or policy. She argued that there is much to be learned by using a more complex ecological systems approach for viewing—and addressing—the dynamic, complex, and multilayered issues related to educational practice and policy by taking into consideration the many different factors that influence education.

5. 두려움은 아는 것과 행하는 것의 차이를 조장하므로 두려움을 몰아낸다. 에세이스트 로빈슨은 두려워서 무언가를 하는 대신, 모든 교육 연구자들은 공공의 이익을 위해 그들의 연구를 이용할 의무가 있다고 겁 없이 말한다. 그녀는 정책 입안자와 실무자들이 현재 연구를 보다 쉽게 접근할 수 있도록 하기 위한 두려움 없는 방법을 제안했다. 

• 연구 결과에 대한 개방적 접근. 

• 간결한 연구 보고서 

• 적시에 결과를 종합한다. 

• 전문적 판단의 타당성 인정 

• 결과가 학교에서 효과적으로 사용될 수 있는 방법에 대한 정보 제공 

• 연구자의 윤리적 관행 검토 

• 자신의 연구를 직접 실천가에게 가져다 준 사람들에게 보상한다

5. Fear fosters the knowing–doing gap, so drive out fear. Instead of operating out of fear, essayist Robinson fearlessly states that all education researchers (not just those in AERA) are obligated to use their research to serve the public good. She suggested fearless ways to make current research more accessible for policy makers and practitioners—including 

• open access to research findings; 

• concise research reports; timely synthesis of results; 

• acknowledging the validity of professional judgment; 

• providing information on how results can effectively be used in schools; 

• reviewing the ethical practices of researchers; and 

• rewarding those who bring their research to the practitioner directly.

6. 결과는 [공통의 노력, 공유된 목표, 그리고 지식을 사용하고], [각 구성원의 성공이 모두의 성공과 연관되어 있다는 것을 기억하는] 것의 산물이다. 

• 수필가 니에토는 교육 연구자들에게 권력에 진실을 말하라고 충고했다; 결코 중립과 옹호, 연구 대 교육 연구의 활동주의 사이의 오래된 논쟁에 곁길로 빠지지 않았다. 그녀는 그 지식을 가진 사람들이 주류 지식에 도전하고 세상을 모두에게 더 공평한 곳으로 만드는 데 도움을 주기 위해 그 지식을 이용하도록 도전했다. 

• 수필가 허들리와 웰스는 또한 접근 가능한 연구가 실습을 알려주고, 실무를 알려 주는 루프 시스템을 사용하여 교육에서 더 많은 번역적 연구를 바탕으로 더 나은 협업을 위한 사례를 만들었다.

6. Results are the product of using knowledge toward common effort, shared goals, and remembering that each member’s success is linked to the success of all. 

• Essayist Nieto admonished education researchers to speak truth to power; never being sidetracked by the age-old argument between neutrality and advocacy, research versus activism in education research. She challenged those with knowledge to use that knowledge to challenge mainstream knowledge and help make the world a more equitable place for all. 

• Essayists Hudley and Wells further made a case for better collaboration based on more translational research in education using a looping system in which accessible research informs practice, which informs research, which informs practice, and so on.

7. 지식을 행동으로 전환함으로써 차이점과 더 나은 미래를 만들기 위해 할 수 있는 일에 집중하라. 수필가 에이어스, 쿠마시로, 마이어스, 퀸, 스토벌은 지식을 이용하여 자신들의 공동체와 관련된 연구를 만들고 정치인들에게 책임을 묻게 했다. 현직 시카고 시장이 재선에 출마하지 않기로 결정했을 때, 이들 연구자들은 많은 후보자들이 교육에 대해 business-as-usual 로서의 입장을 공유한다는 것을 발견했다. 저자들은 지역사회와 후보자들에게 학교개혁에 대한 연구기반 정보와 새로운 학교개혁 비전을 제공하는 기구를 설립해 연구지식을 변화의 출발점으로 삼았다.

7. Focus on what can be done to create a difference and a better future by turning knowledge into action. Essayists Ayers, Kumashiro, Meiners, Quinn, and Stoval used knowledge to make research relevant to their community and to hold their politicians accountable. When a current Chicago mayor announced the decision not to run for reelection, these researchers found that many of the candidates shared a business-as-usual stance on education. The authors used their research knowledge as a starting point for change by establishing an organization that provided the community and candidates with research-based information on school reform and new visions for reforming schools.

8. 리더가 무엇을 하고, 시간을 어떻게 보내고, 자원을 어떻게 할당하느냐가 중요하다. 우리 조직이 무엇을 하고, 시간을 어떻게 보내고, 자원을 어떻게 할당하느냐가 중요하다. 우리의 일상적인 관행은 지식의 생산뿐만 아니라 그 지식의 활용을 가치 있게 여겨서 교육을 향상시키고 공공의 이익을 위해 봉사하는 문화를 정책 영역뿐만 아니라 실천 영역에서도 구현해야 한다.

8. What leaders do, how they spend their time, and how they allocate resources matters. What our organization does, how it spends its time, and how it allocates its resources matters. Our day-to-day practices must embody a culture that values not only the production of knowledge but also the use of that knowledge to improve education and serve the public good—not only in the policy arena, but in the practice arena as well.

과학: 축적되는 근거의 느린 행진(Perspect Med Educ, 2016)

Science: the slow march of accumulating evidence

Katherine Picho1 · Lauren A. Maggio1 · Anthony R. Artino Jr1

과학은 진화하고 있으며, 새로운 발견들이 끊임없이 세상이 어떻게 돌아가는지에 대한 '우리가 알고 있는 것'의 경계를 밀어내고 있다. 그러나 무작위성은 자연에 대해 관찰되는 것에 영향을 줄 수 있기 때문에, 새로운 발견이 '진짜'가 아니라 단지 잘못된 긍정에 불과할 가능성이 항상 있다.

Science is ever evolving, with new discoveries constantly pushing the boundaries of ‘what we know’ about how the world works. However, because randomness can influence what is observed about nature, there is always a chance that new findings, rather than being ‘true,’ are merely false positives.

진정한 발견은 이론적으로 복제될 수 있어야 한다. 따라서, 새로운 발견의 결과가 몇 번의 반복 실험에서 재현될 때, 그 결과는 이론[1]을 위한 다소 견고한 경험적 기초를 제공한다. 복제replication는 과학자들이 작동 이론의 핵심 원리를 시험하고 확인하거나, 새롭고 상반되는 발견을 발견할 수 있게 해주기 때문에 과학적인 성장과 이론 발전의 중심이다. 이렇게 해서 복제는 과학자들이 속담 밀(진정한 효과)을 쐐기풀(허위 양성 또는 우연한 기회에 기초한 발견)과 구분할 수 있게 한다.

True findings should, theoretically, be replicable. Thus, when results from a new discovery are reproduced in several repeated experiments, the findings provide a more or less robust empirical foundation for a theory [1]. Replication is central to scientific growth and theory development because it allows scientists to test and confirm core principles of working theories, or discover new, conflicting findings. In so doing, replication allows scientists to separate the proverbial wheat (true effects) from the chaff (false positives or findings based on chance).

과학적인 발견과 이론 발달에 그것이 중요함에도 불구하고, replication은 연구라는 enterprise에서 주변적인 역할로 밀려났으며, 이는 혁신에 상을 주는prize 출판 준비와 같은 시스템 요소에 기인할 수 있다. 또는 통계적으로 유의하지 않은 결과는 그다지 흥미롭지 않고 따라서 발표될 가능성이 낮다는, 아무도 대놓고 말하지는 않지만, 너무 실제적인 개념 때문일 수 있다. 따라서의 publish or perish의 압력은 연구자들은 출판 시스템에 내재된 규칙에 따라 행동하든, 아니면 사지로 나가 시장성이 떨어지는 복제 시도를 출판하려고 시도하든 해야 한다는 결정을 하게 만든다. 결과적으로, 복제는 종종 뒷전으로 밀리고 과학은 결국 어려움을 겪는다.

Despite its importance for scientific discovery and theory development, replication has been relegated to a peripheral role within the research enterprise, which could be attributed to systems factors such as publication arrangements that prize innovation; or the unspoken, but all-too-real notion that non statistically significant results are not very interesting and are, thus, unlikely to be published. Therefore, the pressure to publish or perish leaves researchers with the decision of having to play by the rules inherent in the publication system or go out on a limb and attempt to publish a perhaps less marketable replication attempt. As a result, replication often takes a back seat and science ultimately suffers.

복제를 통해 과학적 정당성을 입증하려는 노력이 예상보다 덜 성공했기 때문에 최근 몇 년 동안 과학 연구의 신뢰성에 대한 도전을 받고 있다[2, 3]. 예를 들어, 100개 이상의 발표된 심리학 연구를 복제하려는 재현성 프로젝트의 시도는 주요 연구 결과의 65%가 재현 불가능한 것으로 보고되었다[3].

The credibility of scientific research has been challenged in recent years as efforts to demonstrate scientific legitimacy through replication have been less successful than expected [2, 3]. For example, attempts by the Reproducibility Project to replicate over 100 published psychology studies reported that 65 % of key findings were not reproducible [3].

이전 연구에서는 바이오의학과 심리학 연구에서 복제의 문제를 부각시켰지만, 의학 교육을 포함한 다른 분야도 똑같이 잘못된 긍정의 위험에 처해 있기 때문에 이와 유사한 정밀조사가 필요하다고 본다.

Although previous work has highlighted the issue of replication in biomedical and psychology research, we believe that other fields, including medical education, are equally at risk of false positives and thus warrant similar scrutiny.

복제: 직접 대 개념

Replication: direct versus conceptual

이론을 개발하기 위해서는 발견과 복제가 필요하다. 견실한 이론은 시간의 시험을 견디며 광범위한 조건에서 반복적으로 시험했을 때 얼마나 잘 버텨내느냐에 따라 측정된다. 복제는 몇 가지 결과 중 하나를 가질 수 있다: 이론이 확인, 수정, 확장 또는 거부된다.

Theory development requires discovery and replication. Robust theories stand the test of time and are gauged by how well they hold up when repeatedly tested under a wide array of conditions. Replication can have one of several outcomes: either the theory is confirmed, revised, extended, or rejected.

복제를 고려할 때, 연구자들은 먼저 과학자가 연구의 모든 요소를 정확하게 복제하려고 노력하는 [직접 복제]를 생각할 수 있다. 직접복제는 가능한 한 실험적인 절차를 가깝게 반복함으로써 과학적 소견의 진실성을 측정하기 위한 연구를 의미한다[4]. 반면에 [개념 복제]는 특정 결과의 기초가 되는 이론을 시험하기 위한 시도다[1].

When considering replication, researchers may first think of direct replication in which a scientist endeavours to precisely replicate all elements of a study. Direct replication refers to research intended to gauge the veracity of scientific findings by repeating, as closely as possible, an experimental procedure [4]. Conceptual replication, on the other hand, is an attempt to test the theory underlying a particular result [1].

[직접 복제]는 주로 특정 연구[1]의 특정 결과를 검증하는 데 초점을 두기 때문에, 직접 복제 연구를 수행하는 과학자는 가능한 한 모든 조건을 원래 연구와 유사하게 유지하려고 시도한다.

Because direct replication focuses primarily on validating a specific finding from a particular study [1], a scientist conducting a direct replication study attempts to keep all conditions as similar to the original study as possible.

직접 복제는 우연한 결과나 위양성 [4, 6] 및 연구 결과(내적 타당도 결여)를 통제하기 때문에 유용하다[4]. 비록 가치가 있지만, 이론 개발에서 직접적인 복제의 역할은 여러 가지 이유로 제한된다. 

• 첫째, 직접 복제는 findings을 복제하거나 사실을 확인하는 데 초점을 맞춘다[4]. 소견 복제에 대한 이러한 초점은 특정 결과의 기초가 되는 이론의 신뢰성에 대해 거의 조명하지 않으며, 결과적으로 일반성을 확립하는 데 직접적인 복제의 역할을 제한한다[1]. 

• 둘째, 직접 복제는 원래 연구의 조건과 밀접하게 일치하는 연구 조건을 요구하기 때문에 (특정 소견에 기여했을 수 있는) 원래 연구 설계의 방법론적 또는 설계상의 결함은 특정 현상의 후속 직접 복제 연구에서 그대로일perpetuated 가능성이 높다. 

따라서, 설계 결함design flaws의 경우, 직접 복제 연구를 통해 false original finding이 확인될 수 있다[1]. 이와 같이, 원본 연구의 설계 결함이 후속 직접 복제 연구에서 영구적으로 발생할 경우 시간이 지남에 따라 스스로 교정할 수 있는 문헌의 능력은 상당한 영향을 받을 수 있다.

Direct replications are useful because they control for chance results or false positives [4, 6], and study artifacts (lack of internal validity) [4]. Although valuable, the role of direct replication in theory development is limited for a number of reasons. 

• First, direct replications focus on replicating findings or confirming facts [4]. This focus on findings replication sheds little light on the credibility of the theory underlying a particular result, which consequently limits the role of direct replication in establishing generality [1]. 

• Second, because direct replication requires that study conditions closely match those of the original study, any methodological or design flaws in the original study design (that might have contributed to a particular finding) will likely be perpetuated in subsequent direct replication studies of a given phenomenon. 

Therefore, in the case of design flaws, it is possible for false original findings to be confirmed through direct replication studies [1]. In this way, the ability of the literature to self-correct over time can be significantly impacted when design flaws in the original study are perpetuated in subsequent direct replication studies.

반면에 [개념적 복제]는 주어진 결과에 기초하는 이론의 검증에 초점을 맞춘다[4, 7]. 따라서 개념 복제는 이론 검증theory testing과 거의 비슷하다. 즉, 주어진 이론이나 가설이 다양한 조건에서 유지되는지(또는 유지하지 않는지)를 결정하는 것이다. 예를 들어 위에서 언급한 시험 강화 학습 효과는 교육 심리학에 그 뿌리를 두고 있지만 의학 교육에서는 개념적으로 복제되었다. 이러한 복제 연구는 이론에 대한 확고한 증거를 구축하기 위해 다양한 설정(실험실 대 교실), 모집단(성인 대 아동 학습자) 및 내용 영역(단어 쌍 대 일반 내용 지식)에서 수행되었다.

Conceptual replications, on the other hand, focus on validating the theory underlying a given result [4, 7]. Thus, conceptual replication is much like theory testing; that is, determining whether a given theory or hypothesis holds (or not) under a variety of conditions. For example, the test-enhanced learning effect referenced above has its roots in educational psychology but has been conceptually replicated in medical education. These replication studies have been conducted in a variety of settings (laboratories vs. classrooms), populations (adult vs. child learners) and content areas (word pairs vs. general content knowledge) to build a robust body of evidence for the theory.

직접 복제와 달리, [개념 복제]의 몇 가지 요소는 주어진 이론이나 가설이 다양한 조건에서 유지되는지 여부를 측정하기 위해 다양할 수 있으며, 대개는 '필수 조건'을 일정하게 유지하는 것이다. 본질적인 조건들은 이론에 의해 지시되고 그 현상이 일어나기 위해 반드시 갖춰져야 하는 조건들을 구성한다. 개념적 복제에서는 복제 연구의 필수 조건들이 원본 [8]의 조건들과 [근접하게 일치하도록만 요구]하는 반면, 유연성이 있어서, 연구의 다른 비필수 조건들을 변화시킬 수 있다.

Unlike direct replication, several elements of conceptual replications can be, and usually are, varied to gauge whether or not a given theory or hypothesis will hold under a variety of conditions, while at the same time holding ‘essential conditions’ constant. Essential conditions are dictated by the theory and constitute those conditions that must be in place for the phenomenon to occur. Conceptual replications only require that the essential conditions of the replication study closely match those in the original [8], while allowing for flexibility to vary other non-essential conditions of a study.

예를 들어, 원래 연구와 다른 다양한 측정, 독립 변수, 방법, 컨텍스트 및 모집단을 개념 복제에 사용하여 주어진 결과에 기초하는 이론적 가정을 삼각측량할 수 있다. 앞에서 언급한 비필수적 요소를 변화시키면 개념 복제 연구를 통해 관찰된 결과가 [수요 특성, 표본 특성 또는 현상의 좁은 정의 때문일 수 있는 가능성]을 배제할 수 있다[6].

For instance, a variety of measures, independent variables, methods, contexts and populations that differ from the original study can be used in conceptual replications to triangulate theoretical postulates that underlie a given result. Varying the aforementioned nonessential elements enables conceptual replication studies to rule out the possibility that observed findings could be due to demand characteristics, sample characteristics, or narrow definitions of a phenomenon [6].

개념적 복제는 또한 반증falsification을 용이하게 한다. 성공적인 개념적 복제는 기존 이론에 신빙성을 부여하지만, 성공하지 못한 개념적 복제(예: 특정 조건 하에서 어떤 이론이 상정된 것처럼 운영되지 않는 경우)는 해당 이론의 한계에 대한 수정을 요구할 수 있다[3]. 개념적 복제는 이론에 대한 이해를 증진시키기 때문에, 우리와 다른 이들은 이론 개발과 궁극적으로는 과학적 진보에 대한 직접적인 복제 상대보다 그것들이 더 가치 있다고 믿는다[1].

Conceptual replication also facilitates falsification. Successful conceptual replications lend credence to extant theories, while unsuccessful ones (such as when a given theory does not operate as posited under certain conditions) might call for revisions to the bounds of said theory [3]. Because conceptual replications further our understanding of theory, we and others believe they are more valuable than their direct replication counterpart to theory development and, ultimately, to scientific progress [1].

개념복제에 대한 한 가지 비판은 종속변수와 독립변수의 운영방식에 유연성이 있을 뿐만 아니라 다른 방법의 수정방식에 유연성이 있기 때문에 개념복제가 성공하지 못할 때 복제 실패의 원인을 확인하기 어려운 경우가 많다[1]. 질문은 다음과 같다. 복제 실패가 우연 및/또는 아티팩트로 인한 것이었는가, 아니면 결과에 영향을 미칠 수 있는 다른 감지되지 않은 진행자 때문이었는가? 이러한 이유로, 여러 학자들은 직접 복제가 항상 개념 복제[7–9]보다 선행되어야 하며, [결과의 검증]이 [이론의 확장]보다 선행되어야 한다고 제안했다.

One criticism of conceptual replication is that because there is flexibility in how dependent and independent variables are operationalized, as well as flexibility in how other methods are modified, when conceptual replications are unsuccessful, the source of replication failure is often difficult to ascertain [1]. The question becomes: Was the failure to replicate due to chance and/or artifacts, or was it due to other undetected moderators that might have influenced the results? For this reason, several scholars have suggested that direct replications should always precede conceptual replications [7–9], as verification of findings should precede extension of theory.

• 특정 결과를 검증하고 내부 타당성과 관련된 다른 요인뿐만 아니라, 발견 결과가 우연, 유물 또는 사기의 결과일 가능성이 낮다는 것을 확인하는 것이 목표라면 직접 복제를 선호한다. 

• 연구자의 목표가 이론을 확장하거나 개발하는 것이라면, 강력한 이론 프레임워크를 점진적으로 테스트하고 구축하는 데 도움이 되는 일련의 임시 서열화, 계층 구조화 및 점점 더 복잡한 개념 복제 연구를 권고한다.

• If the goal is to verify a specific finding and ascertain that findings are less likely to be a result of chance, artifacts, or fraud, as well as other factors related to internal validity, then a direct replication is preferred. 

• If the researcher’s goal is to extend or develop theory, then a series of temporally sequenced, hierarchically structured, and increasingly complex conceptual replication studies that help to progressively test and build robust theoretical frameworks is recommended

의료 교육에서의 복제

Replication in medical education

비록 실험 연구가 우세한 인지 심리학과 같은 영역에서 유용하지만, [직접 복제는 종종 비실용적이며, 일부에서는 맥락 특수성과 관련된 요소들이 가장 지배적인 의료 교육 맥락에서 관련이 없다]고 주장할 수 있다.

Although useful in domains such as cognitive psychology where experimental research prevails, direct replication is often impractical – and some might argue, irrelevant – in medical education contexts where factors associated with context specificity reign supreme.

의학 교육에서 직접 복제를 사용할 수 있는 경우는 제한적이지만, 개념적 복제는 (지난 20년 동안 반복적으로 비판 받아온) 의학교육 연구의 질을 향상시킬 수 있는 잠재력을 가지고 있다고 생각한다[5].

Although direct replication may have limited use in medical education, we believe that conceptual replication has the potential to enhance the quality of medical education research, the methods of which have been criticized repeatedly over the past two decades [5].

실제로 다른 학자들은 연구자가 이론을 실험하고 실증적으로 뒷받침되지 않는 이론을 폐기할 수 있는 방법을 사용하여 지식의 점진적 축적과 현상에 대한 이해의 진보로서 다시 개념화함으로써 의학 교육 연구가 개선될 수 있다고 제안했다[11].

Indeed, other scholars have proposed that medical education research can be improved by re-conceptualizing research quality as progressive accumulation of knowledge and advances in understanding of phenomena using methods that allow researchers to test theories and discard those that are weak and empirically unsupported [11].

또한, 의학 교육 연구자들은 교육, 심리학, 사회학을 포함하되 이에 국한되지는 않는 다른 분야의 이론을 채택하는 경우가 많다. 그러나 의학교육 연구자들은 기초 이론이 시험한 의학교육의 구체적인 맥락에 적용되는지 여부를 검증하는 것과 관련하여 '루프 닫기'를 하지 않는 경우가 많다. 개념 복제는 의학 교육 연구자들에게 의학 교육 맥락에서 채택된 이론을 시험하고, 그 이후의 연구 결과를 사용하여 이론 개발뿐만 아니라 그 분야의 실용적인 응용에 유용한 정보를 제공할 수 있는 수단을 제공한다.

Further, medical education researchers often adopt theories from other disciplines including, but not limited to, education, psychology, and sociology. However, medical education researchers often do not ‘close the loop’ with respect to verifying whether or not the underlying theory applies to the specific context of medical education that was tested. Conceptual replication offers medical education researchers a means to test adopted theories within a medical education context and use subsequent findings to inform theory development, as well as practical applications in the field.

의학 교육 연구가 교육 실무에 중대하고 긍정적인 영향을 미치기 위해서는 연구자들이 복제의 복잡성, 특히 개념적 복제에 유창해야 한다고 생각한다.

For medical education research to have a significant, positive impact on educational practice, we believe researchers must become fluent in the intricacies of replication – in particular, conceptual replication.

한계에 의한 제한(Perspect Med Educ, 2019)

Limited by our limitations

Paula T. Ross · Nikki L. Bibler Zaidi

도입

Introduction

제한limitation은 연구 결과 및 결론에 영향을 미칠 수 있는 연구 내 약점을 나타낸다. 제한사항을 제시하는 목적은 독자에게 의미 있는 정보를 제공하는 것이지만, 의학교육논문의 제한사항이 단순하고 최소한으로 관련되는 주제(예: 단일 기관 연구, 자체 보고 데이터의 사용 또는 작은 표본 크기)로 간과되거나 축소되는 경우가 너무 많다 [1]. 이 문제는 의학 분야의 다른 연구 분야에서도 두드러진다. 예를 들어, 임상적 영향에도 불구하고, 의학 연구는 종종 한계가 연구 결과 및 해석에 어떻게 영향을 미칠 수 있었는지에 대해 논의하지 못한다[2]. 또한 관찰 연구는 종종 독자들에게 연구 설계에 내재된 근본적인 한계를 상기시키지 못하는데, 그것은 바로 인과 관계를 설명할 수 없는 한계이다[3].

Limitations represent weaknesses within the study that may influence outcomes and conclusions of the research. The goal of presenting limitations is to provide meaningful information to the reader; however, too often, limitations in medical education articles are overlooked or reduced to simplistic and minimally relevant themes (e.g., single institution study, use of self-reported data, or small sample size) [1]. This issue is prominent in other fields of inquiry in medicine as well. For example, despite the clinical implications, medical studies often fail to discuss how limitations could have affected the study findings and interpretations [2]. Further, observational research often fails to remind readers of the fundamental limitation inherent in the study design, which is the inability to attribute causation [3].

한계 제시 목표

Goals of presenting limitations

의학교육연구는 다음에 대한 경험적 증거를 제공해야 한다

• 교육에 대한 우리의 지식과 이해를 심화시키고 [4, 5], [6, 7], [6, 7], 

• 교육 실무와 과정에 정보를 주고, 

• 다른 연구자를 교육하는 포럼의 역할한다[8]. 

Medical education scholarship should provide empirical evidence that 

• deepens our knowledge and understanding of education [4, 5], 

• informs educational practice and process, [6, 7]and 

• serves as a forum for educating other researchers [8]. 

학문적 한계를 제공하는 것은 사실 이 학문적 과정의 중요한 부분이다. 이러한 조건이 없으면 연구 소비자들은 [제공된 결과와 결론에 영향을 미칠 수 있는 잠재적 배제 영역 또는 기타 편견]을 완전히 파악해야 한다[9]. 연구 제한은 독자로 하여금 현재의 연구와 현존하는 문헌에 격차를 제시함으로써 미래적 개선에 관여할 기회를 생각하도록 해야 하며, 따라서 다른 연구자들의 호기심과 흥미를 배양하여 학술적 탐구 범위를 넓히도록 해야 한다[9].

Providing study limitations is indeed an important part of this scholarly process. Without them, research consumers are pressed to fully grasp the potential exclusion areas or other biases that may affect the results and conclusions provided [9]. Study limitations should leave the reader thinking about opportunities to engage in prospective improvements [9–11] by presenting gaps in the current research and extant literature, thereby cultivating other researchers’ curiosity and interest in expanding the line of scholarly inquiry [9].

연구 한계를 제시하는 것도 과학 연구의 윤리적 요소다[12]. 연구와 연구자 모두의 투명성을 보장하며, 전이성[15]과 방법의 재현성을 제공한다. 한계를 제시하는 것은 또한 조사 결과의 적절한 해석과 타당성을 뒷받침한다[16]. 연구의 한계는 독자가 연구 결론의 신뢰성을 완전히 식별할 수 있고, 연구 결과를 적절하게 일반화할 수 있도록 연구 결과물을 적절한 맥락 안에 배치해야 한다[16].

Presenting study limitations is also an ethical element of scientific inquiry [12]. It ensures transparency of both the research and the researchers [10, 13, 14], as well as provides transferability [15] and reproducibility of methods. Presenting limitations also supports proper interpretation and validity of the findings [16]. A study’s limitations should place research findings within their proper context to ensure readers are fully able to discern the credibility of a study’s conclusion, and can generalize findings appropriately [16].

일부 저자가 한계를 제시하지 못할 수 있는 이유

Why some authors may fail to present limitations

프라이스와 무르난[8]이 주목하듯이, 연구자들이 연구의 한계를 충분히 보고하지 않는 가장 중요한 이유가 있을 수 있다. 예를 들어, 저자들은 자신의 연구 한계의 중요성과 함의를 완전히 이해하지 못하거나, 토론하지 않는 것이 출판의 가능성을 높일 수 있다고 가정할 수 있다. 저널에 의해 부과된 단어 제한은 또한 저자들이 연구의 한계에 대한 철저한 설명을 제공하는 것을 방해할 수 있다[17]. 여전히 한계를 배제하는 또 다른 가능한 이유는 일부 저자들이 저널 편집자가 한계를 식별하는 책임이 있다고 잘못 가정할 수 있는 책임의 확산이다. 이유나 의도와 상관없이 연구자들은 학계에 완전하고 정직한 연구 한계를 제시할 의무가 있다.

As Price and Murnan [8] note, there may be overriding reasons why researchers do not sufficiently report the limitations of their study. For example, authors may not fully understand the importance and implications of their study’s limitations or assume that not discussing them may increase the likelihood of publication. Word limits imposed by journals may also prevent authors fromproviding thorough descriptions of their study’s limitations [17]. Still another possible reason for excluding limitations is a diffusion of responsibility in which some authors may incorrectly assume that the journal editor is responsible for identifying limitations. Regardless of reason or intent, researchers have an obligation to the academic community to present complete and honest study limitations.

제한사항 제시 지침

A guide to presenting limitations

제한 사항 설명

Describe the limitations

한계를 설명할 때 저자는 한계를 명확하게 도입하기 위해 제한 유형을 식별하고 제한의 근원origin을 명시해야 한다.

When describing limitations authors should identify the limitation type to clearly introduce the limitation and specify the origin of the limitation.

스터디 디자인

Study design

일부 연구 제한은 연구자가 연구의 범위를 좁히기 위해 행한 의식적인 선택(구분이라고도 함)에서 비롯된다[1, 8, 18]. 예를 들어, 연구자는 특정 연령층, 성별, 인종, 민족성, 지리적으로 정의된 지역 또는 연구 결과를 일반화할 수 있는 사람에 제한되는 다른 속성에 대한 연구를 설계했을 수 있다. 그러한 구분delimitation은 연구계획의 개발 중에 이루어진 의식적인 배제 및 포함 결정을 수반하며, 이는 연구자에 의해 연구 설계나 계기에 의도적으로 도입되는 체계적 편향을 나타낼 수 있다[8]. 구분 및 제한delimitation and limitations에 대한 명확한 설명과 서술은 편집자와 검토자가 방법론적 문제를 이해하는 데 도움이 될 것이다.

Some study limitations originate from conscious choices made by the researcher (also known as delimitations) to narrow the scope of the study [1, 8, 18]. For example, the researcher may have designed the study for a particular age group, sex, race, ethnicity, geographically defined region, or some other attribute that would limit to whom the findings can be generalized. Such delimitations involve conscious exclusionary and inclusionary decisions made during the development of the study plan, which may represent a systematic bias intentionally introduced into the study design or instrument by the researcher [8]. The clear description and delineation of delimitations and limitations will assist editors and reviewers in understanding any methodological issues.

데이터 수집

Data collection

데이터 수집 중에는 연구 한계도 도입할 수 있다. 인간 주제 연구의 의도하지 않은 결과는 참여자들이 그들의 질문에 어떻게 반응하는지에 영향을 줄 수 있는 연구자의 잠재력이다. 적절한 샘플링 방법을 채택한 경우에도 일부 연구는 연구에 등록하기로 결정한 참가자로부터만 수집된 데이터를 사용함으로써 제한된다(자체 선택 편향). [11, 19]. 일부 경우에, 참여자들은 진심의 응답보다는 연구자에게 유리하다고 생각하는 질문에 응답함(사회적 만족도 편견)으로써 편향된 의견을 제공할 수 있다[20–22]. 참가자는 자신이 관찰되고 있을 때 고의로 자신의 행동을 변화시킴으로써 수집된 데이터에 영향을 미칠 수 있다(호손 효과)[23]. 연구자(관찰자 역할)는 참가자의 첫 인상이 불리한 (호른horns 효과) 또는 호의적인 (할로halo 효과)의 다른 특징의 단일 특성이나 인상에 의해 영향을 받도록 허용함으로써 수집한 데이터를 편향시킬 수도 있다[24].

Study limitations can also be introduced during data collection. An unintentional consequence of human subjects research is the potential of the researcher to influence how participants respond to their questions. Even when appropriate methods for sampling have been employed, some studies remain limited by the use of data collected only from participants who decided to enrol in the study (self-selection bias) [11, 19]. In some cases, participants may provide biased input by responding to questions they believe are favourable to the researcher rather than their authentic response (social desirability bias) [20–22]. Participants may influence the data collected by changing their behaviour when they are knowingly being observed (Hawthorne effect) [23]. Researchers—in their role as an observer—may also bias the data they collect by allowing a first impression of the participant to be influenced by a single characteristic or impression of another characteristic either unfavourably (horns effect) or favourably (halo effort) [24].

데이터 분석

Data analysis

수행된 통계 분석 유형의 결과로 연구 한계가 발생할 수 있다. 일부 연구는 대상 모집단에서 확률 표본 추출법을 채택하지 않고 편의 표본 추출(즉, 비확률 표본 추출)을 사용하는 경우 추론 통계 분석의 기본 원칙을 따르지 않을 수 있다[19]. 통계 분석 중에 발생할 수 있는 또 다른 제한사항은 초기 분석 전에 명시되지 않은 계획되지 않은 post hoc 데이터 분석을 채택할 때 발생한다 [25]. [계획되지 않은 사후 분석]은 연관성을 시사하지만 우연적 발견에 지나지 않는 통계적 관계를 초래할 수 있다[23]. 따라서 계획되지 않은 사후 분석을 수행할 때, 특히 원본 표본의 부분 집합만 조사할 때 독자가 적절한 해석과 결론을 내릴 수 있도록 이 점을 명확히 명시해야 한다[23].

Study limitations may arise as a consequence of the type of statistical analysis performed. Some studies may not follow the basic tenets of inferential statistical analyses when they use convenience sampling (i.e. non-probability sampling) rather than employing probability sampling from a target population [19]. Another limitation that can arise during statistical analyses occurs when studies employ unplanned post-hoc data analyses that were not specified before the initial analysis [25]. Unplanned posthoc analysis may lead to statistical relationships that suggest associations but are no more than coincidental findings [23]. Therefore, when unplanned posthoc analyses are conducted, this should be clearly stated to allow the reader to make proper interpretation and conclusions—especially when only a subset of the original sample is investigated [23].

연구 결과

Study results

모든 연구 연구의 제한은 결과의 유효성에 기초할 것이다. 특히 내부 또는 외부 타당성에 대한 위협이다[8]. 

• 내부 타당성은 연구 결과[26]의 신뢰성 또는 정확성을 참조하는 반면, 

• 외부 타당성은 연구 표본에서 더 큰 목표 모집단에 이르는 결과의 일반화가능성과 관련이 있다[8].

The limitations of any research study will be rooted in the validity of its results—specifically threats to internal or external validity [8]. Internal validity refers to reliability or accuracy of the study results [26], while external validity pertains to the generalizability of results from the study’s sample to the larger, target population [8].

내부 타당성에 대한 위협의 예로는 

• 연구 외적 사건의 영향(역사), 

• 연구된 효과 대신 시간에 따른 참여자의 변화 (성숙)

• 연구의 특징과 관련된 참가자의 체계적인 감소(중간탈락attrition) 

• 반복적인 측정 참여자에 의한 참가자 응답의 변화(시험 효과), 

• 계측기 수정(도구성instrumentality) 및 

• 반복 시험에서 평균으로 회귀할 극한 점수에 기초하여 참가자 선택 (평균으로의 회귀)[27]

Examples of threats to internal validity include: 

• effects of events external to the study (history), 

• changes in participants due to time instead of the studied effect (maturation), 

• systematic reduction in participants related to a feature of the study (attrition), 

• changes in participant responses due to repeatedly measuring participants (testing effect), 

• modifications to the instrument (instrumentality) and 

• selecting participants based on extreme scores that will regress towards the mean in repeat tests (regression to the mean) [27].

외부 타당성에 대한 위협에는 연구의 표본에서 더 큰 대상 모집단에 대한 결과의 일반화를 억제할 수 있는 요인들이 포함된다[8, 27]. 연구의 결과가 맥락, 환경, 참여자 및 시간 측면에서 더 큰 모집단 또는 유사한 모집단에 일반화될 수 없을 때 외부 타당성에 도전한다[18]. 따라서 연구에 영향을 미쳤을 수 있거나 잠재적으로 숨겨져 있는 편견을 연구 소비자에게 알리고 연구 매개변수를 넘어 일반화를 방지하기 위해 결과에 한계를 투명하게 만들어야 한다.

Threats to external validity include factors that might inhibit generalizability of results from the study’s sample to the larger, target population [8, 27]. External validity is challenged when results from a study cannot be generalized to its larger population or to similar populations in terms of the context, setting, participants and time [18]. Therefore, limitations should be made transparent in the results to inform research consumers of any known or potentially hidden biases that may have affected the study and prevent generalization beyond the study parameters.

각 제한의 시사점 설명

Explain the implication(s) of each limitation

저자는 제한사항의 잠재적 영향(예: 가능성, 크기)[13]을 포함해야 하며, 결과 및 후속 결론의 구체적인 타당성 시사점을 다루어야 한다[16, 28]. 

• 예를 들어, 자체 보고된 데이터는 내부 타당성을 위협하는 부정확성(예: 사회적 만족도 편견으로 인한)을 초래할 수 있다[19]. 

• 연구자의 특성이나 결과에 대한 부적절한 귀속(예: 정형화)도 관련 없는 특성이나 결과(할로 또는 경적 효과)를 지나치게 강조(긍정적이거나 부정적으로)하여 내부 타당성에 영향을 미칠 수 있다[24]. 

• 자신이 연구의 일부라는 참여자의 인식은 결과에도 영향을 미칠 수 있으며(호손 효과), findings의 외부 타당성을 제한할 수 있다[23]. 

• 응답자의 참여 성향과 실질적인 연구 주제와 상관관계가 있는 경우에는 데이터가 편향되고 관심 모집단을 나타내지 못할 수 있으므로 (자기 선택 편향)  외부 타당성이 위협받을 수 있다[29]. 

이 설명을 듣는 것은 독자들이 결과를 해석하고 그 결과의 적용 가능성을 그들 자신의 설정에 일반화하는 데 도움이 된다.

Authors should include the potential impact of the limitations (e.g., likelihood, magnitude) [13] as well as address specific validity implications of the results and subsequent conclusions [16, 28]. 

• For example, self-reported data may lead to inaccuracies (e.g. due to social desirability bias) which threatens internal validity [19]. 

• Even a researcher’s inappropriate attribution to a characteristic or outcome (e.g., stereotyping) can overemphasize (either positively or negatively) unrelated characteristics or outcomes (halo or horns effect) and impact the internal validity [24]. 

• Participants’ awareness that they are part of a research study can also influence outcomes (Hawthorne effect) and limit external validity of findings [23]. 

• External validity may also be threatened should the respondents’ propensity for participation be correlated with the substantive topic of study, as data will be biased and not represent the population of interest (self-selection bias) [29]. 

Having this explanation helps readers interpret the results and generalize the applicability of the results for their own setting.

잠재적인 대안적 접근 방식 및 설명 제공

Provide potential alternative approaches and explanations

종종, 연구원들은 새로운 연구 질문을 만들고 다음 단계의 연구를 형성하는 첫 단계로 다른 연구의 한계를 사용한다. 따라서 독자들은 왜 잠재적 대안적 접근법(예: 유사한 주제를 탐구하는 다른 사람들이 취하는 접근법)이 채택되지 않았는지를 이해하는 것이 중요하다. 대안적 접근법 외에도, 저자는 자신의 연구 결과에 대한 대안적 설명도 제시할 수 있다[13]. 이 정보는 연구를 수행하면서 얻은 직접적이고 관련성 있는 경험과 통찰력 때문에 연구자에게서 얻을 수 있는 가치가 있다. 대안적 접근방식의 제시는 학계에 대한 주요한 공헌을 나타낸다.

Often, researchers use other studies’ limitations as the first step in formulating new research questions and shaping the next phase of research. Therefore, it is important for readers to understand why potential alternative approaches (e.g. approaches taken by others exploring similar topics) were not taken. In addition to alternative approaches, authors can also present alternative explanations for their own study’s findings [13]. This information is valuable coming from the researcher because of the direct, relevant experience and insight gained as they conducted the study. The presentation of alternative approaches represents a major contribution to the scholarly community.

각 한계를 최소화하기 위해 취한 조치 설명

Describe steps taken to minimize each limitation

어떤 연구 설계도 완벽하고 명시적이고 암묵적인 편견이 없는 것은 아니다. 그러나 다양한 방법을 사용하여 연구 제한의 영향을 최소화할 수 있다. 위에서 언급한 한계를 완화하거나 최소화하기 위한 몇 가지 제안된 단계에는 

• 중립 질문, 무작위 응답 기법, 강제 선택 항목 또는 자체 평가 설문지를 사용하여 민감한 질문에 대답할 때 응답자들의 불편함을 줄임(사회적 만족도 편향) [21]

• 연구자가 배석할 필요가 없는 상황에서 unobtrusive 데이터 수집 조치(예: 이차 데이터의 사용) 사용 [11, 30]

• 명확하게 정의된 채점 지침과 함께 표준화된 고무 재질 및 객관적인 평가 양식 사용하여 연구자 편향을 최소화. 또는 평가자 성향(halo or horns effect)을 해소하기 위해 평가 점수에 대한 평가자 보정

• 기존 데이터 또는 통제 그룹 사용(자체 변형 치우침) 

No research design is perfect and free from explicit and implicit biases; however various methods can be employed to minimize the impact of study limitations. Some suggested steps to mitigate or minimize the limitations mentioned above include 

• using neutral questions, randomized response technique, force choice items, or self-administered questionnaires to reduce respondents’ discomfort when answering sensitive questions (social desirability bias) [21]; 

• using unobtrusive data collection measures (e.g., use of secondary data) that do not require the researcher to be present (Hawthorne effect) [11, 30]; 

• using standardized rubrics and objective assessment forms with clearly defined scoring instructions to minimize researcher bias, or making rater adjustments to assessment scores to account for rater tendencies (halo or horns effect) [24]; or 

• using existing data or control groups (self-selection bias) [11, 30]. 

해당되는 경우, 연구자는 연구 설계의 일부로 한계를 완화하기 위해 취한 조치를 입증하는 충분한 증거를 제공해야 한다[13].

When appropriate, researchers should provide sufficient evidence that demonstrates the steps taken to mitigate limitations as part of their study design [13].

결론 

Conclusion

제한은 독자의 주요 발견에 초점을 맞추는 데 도움이 되므로, 대부분의 연구의 일반적인 제한사항이 아니라 특정 연구 문제와 관련된 연구의 가장 두드러진 제한사항만 다루는 것이 중요하다[17, 28]. 연구 설계나 결과의 한계를 최소화하지 않는 것이 중요하다. 오히려 그 한계를 포함한 결과는 독자들이 현재의 연구와 현존하는 문학 사이의 연관성을 끌어내는 데 도움이 되어야 한다.

Limitations help focus the reader on key findings, therefore it is important to only address the most salient limitations of the study [17, 28] related to the specific research problem, not general limitations of most studies [1]. It is important not to minimize the limitations of study design or results. Rather, results, including their limitations, must help readers draw connections between current research and the extant literature.

연구의 질과 엄격함은 주로 우리의 한계로 정의된다[31]. 사실, 리뷰어들이 의학 교육 연구 원고의 수용을 권고하는 주요 이유 중 하나는 한계와 관련이 있고, 특히 연구의 해석이 그 한계를 어떻게 설명하는지와 관련된다[32]. 따라서, 저자는 자신의 연구의 한계를 편집자나 검토자가 식별하도록 하기보다는 인정하는 것이 최선일 뿐만 아니라, 한계의 적절한 구성과 제시는 실제로 acceptance의 가능성을 높일 수 있다.

The quality and rigor of our research is largely defined by our limitations [31]. In fact, one of the top reasons reviewers report recommending acceptance of medical education research manuscripts involves limitations—specifically how the study’s interpretation accounts for its limitations [32]. Therefore, it is not only best for authors to acknowledge their study’s limitations rather than to have them identified by an editor or reviewer, but proper framing and presentation of limitations can actually increase the likelihood of acceptance.

리뷰를 할 때 가장 적절한 지식합성 방법은 무엇인가? (BMC Med Res Methodol, 2012)

What is the most appropriate knowledge synthesis method to conduct a review? Protocol for a scoping review

Monika Kastner1*, Andrea C Tricco1, Charlene Soobiah1, Erin Lillie1, Laure Perrier1,2, Tanya Horsley3, Vivian Welch4, Elise Cogo1, Jesmin Antony1 and Sharon E Straus1,5

배경 Background

지식 합성은 건강 문제 관리에 대한 정보를 제공할 잠재력을 가지고 있으며 [1] 캐나다 인구의 건강에 필수적이다[2]. 지식 합성은 특정 문제에 관한 모든 관련 연구를 요약하고, 다양한 증거의 불일치에 대한 이해를 향상시킬 수 있으며, 미래 연구 의제를 정의할 수 있다[1,3]. 지식합성은 또한 지식번역(KT) 프로세스의 중요한 부분이며(그리고 이상적으로는 제공자와 정책입안자를 위한 KT 전략의 '기본 단위'를 형성해야 한다)이며, 임상실무 지침, 정책설명서, 의사결정 보조기구 등을 포함한 KT 제품의 증거기반을 제공하는 데 사용된다[4]. 이와 같이 지식합성은 증거의 총체성의 맥락 안에서 개별 연구의 결과를 해석하는 데 이용될 수 있다. 하나의 연구나 전문가의 의견에 근거한 실천요강과 정책결정을 하는 것이 오해를 불러일으킬 수 있다는 점을 고려할 때, 이것은 중요한 고려사항이다 [5].

Knowledge synthesis has the potential to inform the management of health problems [1] and is integral to the health of the Canadian population [2]. A knowledge synthesis summarizes all pertinent studies on a specific question, can improve the understanding of inconsistencies in diverse evidence, and can define future research agendas [1,3]. Knowledge synthesis is also an important part of the knowledge translation (KT) process (and ideally should form the ‘base unit’ of KT strategies for providers and policy makers), and be used to provide the evidence base for KT products including clinical practice guidelines, policy briefs and decision aids [4]. As such, knowledge synthesis can be used to interpret results of individual studies within the context of the totality of evidence. This is an important consideration, given that basing practice and policy decisions on a single study or expert opinion can be misleading [5].

의료 분야의 지식 종합 활동은 종종 가장 일반적으로 개입되는 방법론적으로 엄격한 코크란 검토에 초점을 맞추었다. Cochrane Collaboration에 따른 체계적 검토의 정의는 "관련 연구를 식별, 선택, 비판적으로 평가하고, 검토에 포함된 연구로부터 데이터를 수집, 분석하기 위해 체계적이고 명시적인 방법을 사용하는 명확하게 작성된 질문의 검토로서, 통계적 방법(메타 분석)은 포함된 연구의 결과를 분석하고 요약하는 데 사용될 수도 있고 아닐 수도 있다."[6]. 그러나 모든 지식 종합 질문, 특히 복잡하고 다원적인 주제를 조사하는 질문에 대한 답변에는 코크란과 같은 검토 방법이 항상 적용될 수는 없다[7,8].

Knowledge synthesis activities in healthcare have often focused on the methodologically rigorous Cochrane reviews, most commonly of interventions. The definition of a systematic review according to the Cochrane Collaboration is “A review of clearly formulated questions that uses systematic and explicit methods to identify, select, and critically appraise relevant research, and to collect and analyse data from the studies that are included in the review. Statistical methods (meta-analysis) may or may not be used to analyse and summarise the results of the included studies” [6]. However, Cochrane-like review methods may not always be applicable for answering all knowledge synthesis questions, particularly those investigating complex and multidisciplinary topics [7,8].

더욱이 Cochrane 검토와 같은 전통적인 검토는 특정 개입이 어떤 환경에서는 작동하지만 다른 환경에서는 작동하지 않는 이유를 항상 설명할 수 없다[10]. 예를 들어, Cochrane 검토 결과, 학교 급식 프로그램은 취약계층 아동의 성장과 인지 성능을 상당히 향상시켰지만 [11] 정책 입안자들이 어떤 개입을 이행해야 하고 어떤 상황에서 어떤 상황에서 시행해야 하는지를 결정할 수 있는 방향을 제시하지 못했다. Cochrane 검토와 함께 현실주의 검토[10]를 실시함으로써, 저자들은 실무와 정책 수립에서 실행할 수 있는 구체적인 권고안을 제시할 수 있었다[7]. Realist review는 어떤 조건에서 누구에 대해서 무엇이 효과가 있느냐를 이해하기 위하여 사용된다.  이러한 유형의 질문을 해결하고 환자의 요구, 선호 및 경험을 의료 제공에 적절히 통합하기 위해, 덜 전통적인 복잡한 증거 검토 방법(즉, 이질적이고, 방법론적으로 다양하며, 분류하기 어렵고, 모순됨)을 고려할 필요성이 증가하고 있다[12,13].

Furthermore, a traditional review such as a Cochrane review cannot always explain why particular interventions work in some settings but not in others [10]. For example, a Cochrane review found that school feeding programs significantly improved the growth and cognitive performance of disadvantaged children [11], but failed to provide direction for policy-makers to decide which intervention should be implemented and under what circumstances. By conducting a realist review alongside the Cochrane review (which can be used to understand ‘what works for whom and under what circumstances’ [10]), the authors were able to provide concrete recommendations that could be implemented in practice and policy making [7]. To address these types of questions and adequately incorporate the needs, preferences and experiences of patients into healthcare delivery, there is an increasing need to consider less traditional review methods of complex evidence (i.e., heterogeneous, methodologically diverse, difficult to classify, and contradictory) [12,13].

표 1은 현재 여러 분야에 걸쳐 문헌에 존재하는 지식 종합 방법의 선택을 요약한다(지식 종합 전문가 및 정성 연구자와의 협의를 통해 확인).

Table 1 summarizes a selection of knowledge synthesis methods that currently exist in the literature across multiple disciplines (identified through consultation with knowledge synthesis experts and qualitative researchers).

본 연구에 대비하여 수행한 검토의 연구자 및 최종 사용자와의 협의에서는 연구 질문에 적합한 검토 방법을 일치시키는 방법, 이러한 검토를 수행하는 데 사용되는 방법, 그리고 의사결정을 알리기 위해 검토 결과를 분석하고 제시하는 [방법에 대한 명확성이 결여]되어 있음을 알 수 있다.

Consultation with researchers and end users of reviews that we conducted in preparation for this research indicate a lack of clarity around 

• how to match the appropriate review method to the research question, 

• the methods used to conduct these reviews, and 

• how to analyze and present the results from the review to inform decision making.

확인된 다른 도전 과제에는 수많은 통합 방법(특히 정성적 연구를 합성하기 위한 방법)을 찾는 것이 포함되며, 이는 문헌 내부와 많은 다른 분야와 데이터베이스에 광범위하게 분산되어 있기 때문에 문제가 많고 자원 집약적일 수 있다. 서로 다른 합성 방법을 설명하는 데 사용되는 용어는 흔히 유사하며(예: '메타신성', '메타-윤리', '메타-해석', '메타-스터디', '메타-해석'), 그 정의가 중복될 수 있다[12].

Other identified challenges involve locating the numerous synthesis methods (particularly those for synthesizing qualitative research), which can be problematic and resource-intensive since they are scattered widely within the literature and across many different disciplines and databases. The terms used to describe the different synthesis methods are often similar (e.g., ‘metasynthesis’, ‘meta-ethnography’, ‘meta-narrative’, ‘meta-study’, ‘meta-interpretation’) and their definitions can overlap [12].

Gough와 동료들에 의한 최근의 overview는 이 용어들 사이의 중요한 개념적 차이와 실제적 차이를 기술함으로써 검토 설계와 방법 사이의 차이를 개략적으로 설명하려고 시도했다[8]. 그러나 모든 다른 합성 방법(양적/질적 또는 혼합)에 대한 포괄적인 매뉴얼은 현재 존재하지 않으며, 이러한 방법론이 어떻게 관련되는지, 그리고 특정 연구 질문에 가장 적합한 방법론을 결정하는 방법을 설명한다.

A recent overview by Gough and colleagues attempted to outline the differences between review designs and methods by describing the important conceptual and practical differences amongst them [8]. However, a comprehensive manual for all of the different synthesis methods (quantitative/qualitative or mixed), outlining how they are related and how to decide which methodology is the most appropriate for a particular research question does not currently exist.

방법 Methods/Design

검색전략

Search strategy

연구 선택: 포함 기준

Study selection: inclusion criteria

스터디 선택: 선별

Study selection: screening

데이터 추상화

Data abstraction

데이터 분석

Data analysis

지식 사용자 및 KT 계획 참여

Engagement of knowledge users and KT plan

예상되는 과제

Anticipated challenges

고찰 

Discussion

제안된 범위 지정 검토는 관행과 정책에 영향을 미칠 가능성이 있으며 KT와 보건 서비스 연구 문헌에 몇 가지 기여를 할 것이다. 

The proposed scoping review has the potential to impact practice and policy and will make several contributions to the KT and health services research literature. 

첫째, 이 연구는 핵심 지식 사용자들이 자신의 연구 질문에 답하기 위해 어떤 합성 방법이 가장 적합한지에 대한 정보에 입각한 결정을 내릴 수 있는 체계적인 과정을 제공함으로써 지식 종합의 과학을 발전시킬 것이다. 이것은 또한 생산된 연구 증거의 질을 높일 수 있다. 특히 이 작품에서는 복잡하고 다요소적이며 다학제적인 건강관리 개입을 명확히 하고, 증거 기반 실천과 증거 기반 의사결정의 진전에 기여할 수 있는 참신한 지식 종합방법의 가능성을 강조할 예정이다. 

First, the work will advance the science of knowledge synthesis by providing a systematic process for key knowledge users to make informed decisions about which synthesis method is the most appropriate to answer their research questions. This may also augment the quality of the research evidence produced. In particular, the work will highlight the potential for novel knowledge synthesis methods to clarify complex, multi-component, and multi-disciplinary healthcare interventions [13], and to contribute to the advancement of evidence-based practice and evidence-based decision-making. 

둘째, 현재 이용 가능한 모든 합성 방법(양적/질적 또는 혼합)에 대한 포괄적인 매뉴얼이 없다. 본 매뉴얼을 개발하기 위해서는 이용 가능한 모든 합성 방법에 대한 분류법과 비교가 필요하다. 우리의 작업은 건강, 철학 등 여러 분야에 걸쳐 종합방법의 분류법을 개발하는 것을 목표로 하고 있다. 

Second, there is currently no comprehensive manual for all available synthesis methods (quantitative/qualitative or mixed). To develop this manual, a taxonomy and comparison of all available synthesis methods are needed. Our work aims to develop the taxonomy of synthesis methods across multiple disciplines such as health and philosophy. 

셋째, 이 scoping review는 문헌을 지도화map하고, 주요 방법의 증거가 부족하고 필요한 간극을 식별하며, 체계적인 검토가 필요한 곳을 식별하는데 도움이 될 것이다. 우리는 이 작업이 이후 여러 개의 체계적인 검토로 이어질 것으로 기대한다. 예를 들어, 한 미래 체계적 검토는 보건 서비스 연구를 위한 지식 합성 방법에 초점을 맞추고 다른 검토는 질적 데이터의 지식 합성에 초점을 맞출 수 있다. 

Third, the scoping review will help map the literature, identify gaps where primary methods evidence is lacking and needed, and where systematic reviews are required; we anticipate that this work will lead to multiple subsequent systematic reviews. For example, one future systematic review may focus on knowledge synthesis methods for health services research and another may focus on knowledge synthesis of qualitative data.

넷째, 이 작업은 CIHR(Canadian Institute of Health Research, CIHR) 개발 자원(예: 모듈)과 같은 지식 합성 기금 제공자들에게 직접적인 영향을 미칠 수 있는 잠재력을 가지고 있으며, 이는 새로운 합성 방법에 대한 인식과 복잡한 증거를 다루기 위한 관련성을 높이는 데 사용될 수 있다. 이 정보는 합성 보조금의 안전 점검을 수행하는 지식의 경우 특히 필수적이다. 

Fourth, the work has the potential to directly influence knowledge synthesis funders such as the in Canadian Institutes of Health Research (CIHR) developing resources (e.g., modules) that can be used to increase awareness of novel synthesis methods and their relevance for addressing complex evidence. This information is especially imperative for those knowledge conducting peer review of synthesis grants. 

다섯째, 이 scoping review는 출판사와 편집자가 이러한 유형의 지식 종합을 기술하는 원고의 동료 검토를 돕기 위해 사용할 수 있다. 

Fifth, the scoping review can be used by publishers and editors to assist with the peer review of manuscripts describing these types of knowledge syntheses. 

여섯째, 우리의 연구결과는 종합방법에 대한 현재의 이해를 확대함으로써 임상 역학 프로그램 내의 건강 연구 방법 커리큘럼에 영향을 미칠 수 있는 잠재력을 가지고 있다. 복잡한 개입에 대한 개발과 평가가 KT의 중요한 요소로 대두되고 있어 비전통적인 검토 방법을 수행하는 전문지식이 연구자, 교사, 학생에게 점점 중요해질 것이다. 

Sixth, our findings have the potential to influence health research methods curricula within clinical epidemiology programs, by expanding the current understanding of synthesis methods. The development and evaluation of complex interventions has emerged as an important component of KT, so expertise in conducting non-traditional review methods will become increasingly important for researchers, teachers, and students. 

마지막으로, 이 작업은 광범위한 보건 분야 전반에 걸쳐 목표가 될 것이며, 이는 이러한 분야 내의 실천요강과 정책 결정을 직접적으로 알릴 수 있는 좀 더 일반화할 수 있는 발견을 이끌어낼 기회를 제공할 것이다.

Lastly, the work will be targeted across a broad scope of health disciplines, which will provide the opportunity to elicit more generalizable findings that can directly inform practice and policy decisions within these disciplines.

청각학 교육에서 이론과 연구: 방법론적 결정을 통한 복잡성의 이해와 제시(J Am Acad Audiol, 2013)

Theory and Research in Audiology Education: Understanding and Representing Complexity through Informed Methodological Decisions

Stella L. Ng*t

보건전문교육 연구

SCHOLARSHIP IN HEALTH PROFESSIONAL EDUCATION

우리는 적절한 교육과 훈련 없이 양질의 교육 연구를 수행하기를 기대해서는 안 된다. 이론적 관점, 방법론, 교육에 사용되는 언어는 과학 탐구 및 학술적 글쓰기의 특정한 스타일에 익숙한 우리들에게 놀랄 수 있다.

we should not expect ourselves to conduct good quality educational research without appropriate education and training. Theoretical perspectives, methodologies, and the language used in education can be surprising to those of us accustomed to a particular style of scientific inquiry and academic writing.

교육연구는 보건전문가의 교육을 수반하는 경우에도 교육이 사회현상이기 때문에 사회연구에서 비롯된다. 따라서 기초과학과 실험과학의 기법을 교육연구에 엄격히 적용하는 것은 잘못된 노력일 수 있다.

Education research, even when it involves the education of health professionals, stems from social research, since education is a social phenomenon. Thus, strictly applying the techniques of basic and experimental science to education research may be a misguided endeavor.

HPE 리서치의 풍경

The Landscape of HPE Research

HPE 연구에는 두 개의 캠프가 있는 것 같다. 

There seem to be two camps in HPE research. 

첫째, 새로운 교육 혁신을 연구하고 이러한 혁신의 효과에 대한 연구를 수행하는 캠프가 있다(Regehr, 2010). 이 캠프의 목표는 학생 학습을 향상시키고, 환자 결과를 향상시키며, 심지어 교직원의 업무량까지 줄이기 위한 보다 효과적이고 효율적인 교수 접근법의 개발이다. 이 캠프에서의 연구는 임상 연구를 반영하는 경향이 있는데, 새로운 교육적 혁신이 연구에서의 "인터벤션" 역할을 한다. HPE의 일부 학자들은 실험 연구나 임상 연구를 모방하려고 하지만 그 틀에는 전혀 들어맞지 않는 상황에서 교육 연구는 보건 분야의 학문 세계에서 낮은 지위에 처하게 될 것이라고 우려를 표명했다(Bvinniss and Kelly, 2010; Regehr, 2010).

First, there is the camp that researches new teaching innovations and conducts research on the effectiveness of these innovations (Regehr, 2010). The goal of this camp is development of more effective and efficient teaching approaches to enhance student learning, improve patient outcomes, and even reduce faculty workload. Research in this camp tends to mirror clinical research, with the novel teaching innovation serving as the "intervention" under study. Some scholars of HPE have expressed concern that in trying to emulate experimental or clinical research, yet never quite fitting the mold, education research is doomed to a low status in the academic worlds of the health professions (Bvinniss and Kelly, 2010; Regehr, 2010).

또 다른 캠프에서, 연구자들은 이론 문학의 더 큰 단체가 보건 전문 교육자들에게 정보를 제공하고 장기적으로 이 분야를 발전시키기를 희망하면서 교육 현상에 대한 더 큰 이해를 얻으려고 한다(Regehr, 2010). 현재까지 HPE에서의 짧은 경력에서, 나는 2차 캠프에 끌린다.

In the other camp of HPE research, researchers seek to gain greater understanding of educational phenomena (Regehr, 2010), with the hopes that a greater body of theoretical literature will inform health professional educators and advance the field in the long-term. In my short career in HPE to date, I find myself drawn to the second camp.

HPE 연구 이론

Theory in HPE Research

HPE의 이론은 HPE의 학자들이 지속적으로 노력하는 도전적 목표로 남아있지만, 한동안 우선순위와 목표였다(Pridaux and Spencer, 2000년). 의학 교육의 관점에서 볼 때, Rees와 Monrouxe(2010년)는 이론이 HPE 연구에서 다음과 같은 중심적 역할을 한다고 주장했다. 

Theory in HPE has been a priority and goal for some time (Prideaux and Spencer, 2000) although it remains a challenging goal for which scholars of HPE continually strive (Rees and Monrouxe, 2010). Coming from a medical education perspective, Rees and Monrouxe (2010) posited that theory plays a central role in HPE research such that 

(1) 의학 교육에 관한 모든 연구 노력에는 이러한 이론이 명시되지 않은 경우에도 그랜드 이론이 배어 있다. 

(1) all research efforts in medical education are imbued with grand theories, even when these theories are not made explicit; 

(2) 이론은 연구 과정을 촉진하고 엄격성과 신뢰성을 향상시키는데 결정적이다. 

(2) theory is crucial in facilitating the research process, improving rigor and credibility; and 

(3) 모든 의학 교육 연구자는 모든 수준의 이론에 관여해야 한다. 즉, 기초 또는 임상 과학 배경을 가진 연구자들은 그들의 연구를 뒷받침하는 원대한 이론의 이해를 촉진하고 사회 이론으로 여정을 항해하기 위해 사회 과학 배경을 가진 연구자들과 협력해야 한다.

(3) all medical education researchers should engage with theories at all levels, which means that those with basic or clinical science backgrounds should collaborate with those with social science backgrounds to facilitate understandings of the grand theories underpinning their research, and navigating journeys into social theory.

Rees와 Monrouxe(2010년)는 이론의 수준을 구분하는데, 

[대grand 이론]은 현실의 본질에 대한 우리의 개념(존재론)과 지식의 본질(인식론)을 언급하고, 

[거시 이론]은 국소 시스템을 지칭하며, 

[미시 이론]은 개인의 수준에 관한 행동과 관련된다. 

Rees and Monrouxe (2010) distinguish between levels of theory, with 

grand theories referring to our conceptions of the nature of reality (ontology) and the nature of knowledge (epistemology), 

macro theories referring to local systems, and 

micro theories relating to action on the level of the individual. 

Rees와 Monrouxe(2010년)는 위대한 이론에 대한 특정한 관심을 끌어낸다. 왜냐하면 연구자들은 [연구를 위한 그들의 guiding 패러다임을 항상 명시하지는 않지만, 그들의 연구는 의심할 여지 없이 [존재론 및 인식론]에 대한 그들의 신념에 의해 인도]되기 때문이다. 실제로, 연구 질문을 정의하는 아주 초기 단계는 이러한 믿음이 탐구되었는지 여부에 관계없이 본질적으로 온톨로지 및 인식론에 대한 신념과 연결되어 있다. 즉, 무엇이 연구할 가치가 있고 어떻게 연구되어야 하는가에 대한 우리의 근본적인 가정은 우리가 질문할 질문들을 지시한다.

Rees and Monrouxe (2010) draw specific attention to grand theories, because while researchers do not always state their guiding paradigms for research, their research is undoubtedly guided by their beliefs about ontology and epistemology. Indeed, the very early step of defining one's research question is inherently tied to one's beliefs about ontology and epistemology, regardless of whether these beliefs have been explicated. That is, our underlying assumptions about what is worth studying and how it should be studied dictate the questions we will ask.

증거의 위계질서 뒤집기

Turning the Hierarchy of Evidence Upside Down

연구에 대한 후기실증주의적 패러다임을 가진 연구자들은 객관적인 측정에 관련된 연구 질문에 초점을 맞출 가능성이 높다(Crotty, 1998). 교육에서는 경험에 대해 묻는 질문의 공간, 전통적 의미로는 가늠할 수 없는 실천과 학습의 요소를 만들 필요가 있다. 예를 들어, 청각학 학생에 의해 입증된 고객에 대한 동정심과 공감을 어떻게 측정할 것인가?

Researchers with a postpositivist paradigm of inquiry • are likely to focus on research questions pertaining to objective measurement (Crotty, 1998). In education, we need to make space for questions that ask about experiences, and elements of practice and learning that cannot be measured in the traditional sense. For example, how would we go about measuring the compassion and empathy toward clients demonstrated by an audiology student?

나는 전문 교육과 실천의 저명한 이론가 쇤(1983년; 1987년)을 소개한다. 쇤은 프로페셔널 프랙티스의 이미지를 완전히 뒤집어 생각할 것을 제안했다turn on its head(KinseUa, 2007b). 우리는 종종 무엇보다도 기술적 기술과 기초적인 과학적 지식에 초점을 맞춘다. Schön은 전문직 종사자들이 오로지 [주로 기술 및 연구 기반 지식]에만 집중하기 보다는 [실무 기반 지식, 즉 개인적이고 실용적인 경험을 통해 개발되고 입증된 지식]으로 주의를 집중시키는 것이 유익할 수 있다고 제안했다. 이 제안은 높은 수준의 연구 증거에 의해 정보를 제공받도록 하기 위해 실무자들이 그들의 논리에 의문을 제기하도록 하는 증거 기반 관행(EBP)의 시대에 불안할 수 있다. 

I introduce Schön (1983; 1987), a renowned theorist of professional education and practice. Schön proposed that we turn our image of professional practice on its head (KinseUa, 2007b). So often we focus first and foremost on technical skills and basic scientific knowledge. Schön proposed that rather than focusing solely or primarily on technical and research-based knowledge, professions could benefit from a refocusing of attention to practice-based knowledge, that is, knowledge developed and demonstrated through personal and practical experience. This proposal can be unsettling in a time of evidence-based practice (EBP), in which practitioners are asked to question their reasoning to ensure it is informed by high-level research evidence.

그러나 쇤은 연구 기반 지식과 실천 기반 지식의 이분법을 설정하지 않는다. 오히려 [너무 흔히 사후 사상으로 덧씌워지거나 아예 간과되는] 'practice'의 측면에 관심을 갖는다(KinseUa, 2007b). 실제로 과학적이고 실무에 기반한 지식은 임상 추론을 위한 동등하고 보완적인 출처(KinseUa, 2007a; Mantzovikas, 2007, 2008)로 볼 수 있으며, 둘 다 전문 교육 과정에서 유의미한 주의를 기울일 가치가 있다.

 However, Schön does not set up a dichotomy between research-based knowledge and practice-based knowledge. Rather, he draws attention to aspects of practice that are too often added on as afterthoughts or even completely overlooked (KinseUa, 2007b). Indeed, scientific and practice-based knowledge may be viewed as equal and complementary sources for clinical reasoning (KinseUa, 2007a; Mantzovikas, 2007, 2008), both worthy of significant attention in the professional education process.

우리의 실천 문제를 뒤집어보자는 쇤의 제안과 유사하게, 우리는 보건 전문 교육자나 학자로서 우리의 전통적인 증거 서열 체계를 뒤집어 보는 것도 고려할 수도 있다. 전통적인 증거 서열은 체계적 검토, 메타분석, 무작위 통제 재판 등을 상위에 배치한다. 계층 구조의 하단에서 사례 연구와 전문가 의견을 찾는다(Sackett 등, 2000; Palmer, 2007; Moodie 등, 2008). 다른 이들은 연구 질문에 대한 접근방식의 적절성을 반드시 고려하지 않고 연구 접근방식의 좁은 관점을 취하기 때문에 과연 모든 연구분야에 이 위계가 적용가능성한 것인지에 의문을 제기하였다(Morse et al, 2001; Greenhalgh et al, 2003; Tickle-Degnen and Bedell, 2003; Whalley Hammeu and Carpartin, 2004; Whiteford, 200).5; Bartlett 등, 2006; Plath, 2006; Greenhalgh 및 Wieringa, 2011).

Similar to Schön's proposal to turn our practice problems upside down, we as health professional educators and scholars might also consider turning our traditional hierarchy of evidence on its head. The traditional hierarchy of evidence places systematic reviews, metaanalyses, and randomized controlled trials at the top. On the bottom of the hierarchy, we find case studies and expert opinion (Sackett et al, 2000; Palmer, 2007; Moodie et al, 2008). Others have questioned this hierarchy's applicability to all research areas, because it takes a narrow view of research approaches without necessarily considering the appropriateness of an approach to the research question (Morse et al, 2001; Greenhalgh et al, 2003; Tickle-Degnen and Bedell, 2003; Whalley HammeU and Carpenter, 2004; Whiteford, 2005; Bartlett et al, 2006; Plath, 2006; Greenhalgh and Wieringa, 2011).

첫째, 방향 마이크가 소음에서 음성 인식을 개선하는지 여부를 고려한다. 이 주제에 대한 전문가 의견이나 사례 연구는 매우 낮은 수준의 증거로 간주될 수 있다. 여기서는 대규모의 무작위 통제 시험이 청각 장애가 있는 일반 대중을 위한 방향 마이크로폰의 효과를 결정하는데 실현 가능하고 유익할 수 있다는 것은 타당해 보인다.

First, consider the question of whether directional microphones improve speech perception in noise. Expert opinion or a case study on this topic would be considered a very low level of evidence. Here it seems reasonable that a large scale, randomized controlled trial could be feasible and informative in determining the effectiveness of directional microphones for the general public with hearing loss.

둘째, 다음 질문을 고려하십시오. '신생아가 난청으로 '위험하다'는 꼬리표를 달고 보편적인 신생아 청력검사 후속목록에 올려졌을 때 가족의 정서적 경험은 무엇일까?' 이 주제에 대한 정량적 연구를 수행하는 것이 합당할까? 아마도 가족들을 조사하고 고통이나 다른 부정적인 감정적 영향을 경험한 비율을 분석하는 것이 공정할까? 나는 위의 연구 질문을 다룰 수 있는 더 풍부하고 유익한 연구 방법론이 있을 수 있다고 제안한다. 구체적으로 현상학이나 근거 이론과 같은 질적 방법론을 생각해 보겠다. 

Second, consider this question: What is the emotional experience of a family when their newborn is labeled "at risk" for hearing loss and is placed on a universal newborn hearing screening follow-up list? Would it be fair to conduct a quantitative study on this topic, perhaps surveying families and analyzing the proportion that experienced distress or other negative emotional effects? I suggest that there could be a richer and more informative research methodology with which to address the research question above. Specifically, I would consider a qualitative methodology such as phenomenology or grounded theory 

이제, 우리의 증거의 서열로 돌아가면, 근거이론 연구는 어디로 떨어질까? 흥미롭게도, 그것은 연구 증거의 전통적인 계층 구조에서는 고려되지 않는 것처럼 보인다. 한편, 질적 연구는 건강 직업에서 인기를 끌고 있다(Morse et al., 2001; WhaUey HammeU and Carpeter, 2004; Bunniss and Kelly, 2010; Rees and Monruxe, 2010).

Now, returning to our hierarchy of evidence, where would a grounded theory study fall? Interestingly, it does not appear to even be considered on the traditional hierarchy of research evidence. Meanwhile, qualitative research is growing in popularity in the health professions (Morse et al, 2001; WhaUey HammeU and Carpenter, 2004; Bunniss and Kelly, 2010; Rees and Monrouxe, 2010).

이 기사는 단순히 청각학에서 발표된 연구의 대다수가 포스트 포시티브 패러다임에서 나오고 양적 방법론을 사용한다는 이유만으로 질적 접근에 초점을 맞추고 있다.

This article focuses on qualitative approaches simply because the majority of research published in audiology comes from a postpositivist paradigm and uses quantitative methodologies.

청각학 교육의 연구를 위한 방법론적 고려사항

METHODOLOGICAL CONSIDERATIONS FOR RESEARCH IN AUDIOLOGY EDUCATION

온톨로지, 인식론 및 방법론

Ontologies, Epistemologies, and Methodologies

일반적인 질적 연구, 즉 그들의 지침 패러다임을 명확히 하지 않는 연구도 존재한다. 오히려, 이러한 연구들은 데이터 수집과 분석에 질적인 방법을 사용하며, 이론적 관점 및 따라서 그들이 알게 된 방법론은 고려하지 않는다. 이러한 연구가 도움이 되지 않는 것은 아니지만, 종종 질적 방법론학자 및 HPE의 연구자들에 의해 비판을 받는다(Ponterotto, 2005; Bunniss and Kelly, 2010; Rees and Monruxe, 2010).

Generic qualitative studies exist too, that is, studies that do not articulate their guiding paradigms. Rather, these studies use qualitative methods for data collection and analysis and do not consider the theoretical perspective and thus the methodology by which they were informed. These studies are not unhelpful but often undergo critique by qualitative methodologists and researchers of HPE (Ponterotto, 2005; Bunniss and Kelly, 2010; Rees and Monrouxe, 2010).

질적 연구에서는 방법론과 방법이 뚜렷하게 기술되어 있다. 

• [방법론]은 가정, 원칙 및 절차의 분석을 포함하여 조사가 어떻게 진행되어야 하는지에 대한 이론으로 정의된다(Schwandt, 2007). 

• 반면에 [방법]은 데이터 수행 분석을 수집하는 데 사용되는 도구와 기술이다(Meston 및 Ng, 2012).

In qualitative research, methodologies and methods are distinctly described. 

• Methodology is defined as theory of how inquiry should proceed, involving analysis of assumptions, principles, and procedures (Schwandt, 2007) whereas 

• methods are the tools and tochniques that are used to gather data ana conduct analyses (Meston and Ng, 2012).

정성적 연구 접근방식에서 발견되는 [일반적인 방법]으로는 포커스 그룹, 인터뷰, 문서 검토, 관찰 등이 있다. 분석 단계에서는 catogorizing, coding, concept mapping, constant comparisation 등이 일반적으로 사용되는 방법이다.

Common methods found in qualitative research approaches include focus groups, interviews, document review, observation, and many more. In the analysis phase, catogorizing, coding, concept mapping, and constant comparison are methods commonly used.

교육연구로의 여정의 예

An Example of a Journey into Educational Research

내가 근거이론의 방법론을 선택하는 지경에 이르렀을 때, 근거이론에 관련된 방법들이 그것을 방법론으로 만들지 않는다는 것을 깨달았다. 오히려 그 근거이론을 실천하는 학파(온톨로지, 인식론 포함)가 방법론적 특성을 구성한다. 따라서, 나는 나 자신의 철학적 입장과 연구 질문에 가장 잘 부합하는지를 결정하기 위해 기초 이론의 각 학파를 탐구할 필요가 있었다.

when I reached the point of choosing the methodology of grounded theory, I realized that the methods involved in grounded theory do not make it a methodology. Rather, the school of inquiry (which includes ontology and epistemology) in which that grounded theory is practiced make up its methodological characteristics. Hence, I needed to explore each school of grounded theory to determine the best alignment with my own philosophical stance and my research question.

나의 관심 주제는 성찰적 실천이었는데, 다음과 같은 구체적인 연구 질문들이 있었다: "청각학 학생들은 어떻게 성찰을 사용하여 전문적 실무자로 발전하는 것인가?"

My topic of interest was reflective practice, with the following specific research question: "How do audiology students use reflection to develop as professional practitioners?"

방법론적으로 성찰과 성찰적 실천이 '과정'으로서 이루어진다고 생각했다. 성찰은 "어떤 신념이나 어떤 형태의 지식이든 그것을 뒷받침하는 근거와 그것이 경향하는 추가적인 결론에 비추어 적극적이고 지속적이며 신중한 고려"이다(Dewey, 1910, 페이지 9). 두 개의 하위 프로세스로 구성된다. 

Methodologically, I considered that reflection and reflective practice take place as processes. Reflection is "active, persistent and careful consideration of any belief or supposed form of knowledge in light of the grounds that support it and further conclusions to which it tends" (Dewey, 1910, p. 9). It consists of two subprocesses: 

(1) 당황, 망설임 또는 의심의 상태 및 

(1) a state of perplexity, hesitation, or doubt, and 

(2) 제시된 신념을 지지하거나 반증하기 위한 조사(Dewey, 1910).

(2) investigation to support or disprove the suggested belief (Dewey, 1910). 

[성찰적 실천]은 전문적인 실천에서 일어나는 [구체화되고 의도적이며 노골적인 형태의 실천]에 대해 이론화하는 실용적인 방법이다. [성찰적 실천]은 전문적 실천가로서 착수하는 여정이나 과정으로 볼 수 있으며, 이를 통해 실천을 개선하기 위해 지속적으로 노력할 수 있다.

Reflective practice is a practical way of theorizing about the embodied (Kinsella, 2008) and intentional, explicit forms of reflection that take place in professional practice. Reflective practice can be viewed as a journey or process that one embarks on as a professional practitioner, through which one can continuously strive to improve practice (Kinsella, 2007a; KinseUa and Jenkins, 2007).

기초 이론의 각 학파는 그 자신의 존재론적, 인식론적, 이론적 신념에 의해 뒷받침된다. 3개의 주요 학교가 고려되었다: 글레이저 학파 (Glaser and Holton, 2004; Glaser and Strauss, 1967; Glaser and Strauss, 1967), 실용주의자 (Corbin and Strauss, 2008), 그리고 건설주의자 (Charmaz, 2006). 글레이저는 원래 스트라우스와 함께 일하기 시작했지만, 스트라우스는 나중에 코빈과 함께 기초 이론의 실용주의 분과를 발전시키는 쪽으로 나아갔다는 점에 주목한다.

Each school of grounded theory is underpinned by its own ontological, epistemological and theoretical beliefs. Three major schools were considered: Glaserian (Glaser and Holton, 2004; Glaser and Strauss, 1967), pragmatist (Corbin and Strauss, 2008), and constructivist (Charmaz, 2006). Note that Glaser originally began working with Strauss, but Strauss later moved on to develop the pragmatist branch of grounded theory with Corbin.

[글레이저]는 자료에서 나올 수 있는 하나의 참된 현실을 믿는 것처럼 보였고, 따라서 진실을 발견하기 위해서는 편견을 피해야 한다고 믿었다. 그는 또한 기초 이론가들이 더 넓은 수준에서 실질적인 연구 결과를 일반화하기 위해 노력할 것을 권고했다(Glaser, 2007). 이것은 현실주의자, 객관주의자, 실증주의자/사후 실증주의자 관점과 일치한다. 여기서 기초 이론이 항상 질적만을 위한 접근법으로 여겨진 것은 아니라는 점을 지적하는 것이 중요하다. 글레이저와 스트라우스(1967)는 원래 근거 이론의 개발에서 양적 데이터를 고려했다.

Glaser appeared to believe in one true reality, which can emerge from the data, and thus believed that to discover the truth, one must avoid bias. He also recommended that grounded theorists strive to generalize their substantive findings at a broader level (Glaser, 2007). This aligns with a realist, objectivist, positivist/ postpositivist perspective. It is important to point out here that grounded theory was not always considered a qualitative-only approach. Glaser and Strauss (1967) originally considered quantitative data in their development of grounded theory.

[실용주의 학파]에서는 코빈과 스트라우스(2008)가 상대주의, 주관주의, 해석주의 관점에 기울어 실용주의, 상징적 상호작용론자(Blumer, 1969)의 연구에 찬성하는 것처럼 보였다. 그들은 연구가 하나의 진정한 현실을 발견할 수 있다고 믿지는 않았고 다른 관점과 맥락들이 이 현실이 될 수 있는 것에 영향을 미쳤다고 생각하지는 않았지만, 연구가 데이터와 분석에 최소한의 개인적 믿음을 부여하면서 현실의 근사치를 시도할 수 있다고 생각했다(Corbin and Strauss, 2008; Meston and Ng, 2012).

In the pragmatist school, Corbin and Strauss (2008) appeared to lean toward a relativist, subjectivist, interpretivist perspective, favoring a pragmatic, symbolic interactionist (Blumer, 1969) approach to their research. They did not believe that research could discover one true reality and considered that different perspectives and contexts influenced what this reality may be, but did think research could attempt to approximate reality, imposing minimal personal belief onto the data and analyses (Corbin and Strauss, 2008; Meston and Ng, 2012).

[구성주의 근거 이론 지지자] Charmaz(2006)는 자신이 코빈과 스트라우스와 같은 관점에 뿌리를 두고 있다고 생각했다. 그러나, Charmaz는 개인의 구성과 참여자-연구자 공동구성coconstruction이 데이터에서 제거될 수 없으며, 제거되어서는 안 된다는 것을 더욱 인정하고 존중하겠다는 목표를 밝혔다. Charmaz는 그녀의 인식론적, 이론적 견해를 일부 실용주의 뿌리가 있는 구성주의자, 해석주의자, 구성주의자라고 묘사했다(2004; 2006). Charmaz, Corbin, Strauss 사이의 이러한 역동적 견해는 종류의 진화를 반영할 수 있지만, [한 연구자의 이론적 렌즈는 맥락과 회색 영역, 퍼지 경계선 또는 다양한 이론적 위치들 사이에서서 중첩될 가능성]이 있다는 것을 반영한다고 보는 것이 더 그럴듯하다.

Constructivist grounded theory proponent Charmaz (2006) considered herself to be rooted in the same perspectives as Corbin and Strauss. However, Charmaz expressed the goal of further recognizing and respecting that individual constructions and participant-researcher coconstructions of reality cannot (and should not) be eliminated from data. Charmaz described her epistomological and theoretical views as constructionist, interpretive, and constructivist, with some pragmatist roots (2004; 2006). This dynamic nature of views among Charmaz, Corbin, and Strauss could reflect an evolution of sorts but more likely reflects the potential for one's theoretical lens to shift depending on context, and the gray zones, fuzzy borders, or overlap between various theoretical positions.

Table 2

고찰 DISCUSSION

위의 예는 교육 연구의 사회적 본성에 대한 참여를 예시하고 있다. 우리는 교육이 복잡한 사회적 과정이라는 것을 인정해야 하며, 연구 접근법은 단순화된 표현을 일반화하기보다는 복잡성을 이해하려는 방법론을 채택함으로써 이러한 복잡성을 존중해야 한다. 이를 위해 레게르(2010년)는 입증과 단순화된 일반화(물리과학에서 채택)의 필수에서 이해와 복잡성을 나타내는 필수 사항으로 교육 연구의 방향을 바꿀 것을 요구한다.

The example above illustrates engagement with the social nature of education research. We must acknowledge that education is a complex social process, and research approaches must honor this complexity by employing methodologies that seek to understand complexity rather than generalize a simplified representation. To this end, Regehr (2010) calls for a reorientation of education research from an imperative of proof and simplistic generalizability (adopted from the physical sciences) to an imperative of understanding and representing complexity.

마찬가지로, 레게르(2010년)는 새로운 교육 접근방식에 대한 [학문적 "쇼 앤 텔(show and tell)"에서 벗어나] 우리가 직면하고 있는 도전과 우리가 해야 할 고려사항에 대한 [공유되고 심화된 이해를 추구]할 것을 요구한다. "쿡북" 해결책은 교육이 실행되는 다양한 맥락에서 효과적이지 않을 것 같다. 레게르(2010년)는 "역량은 개개인에게 존재하는 것이 아니라, 무언가를 실천하는 상황에서 끊임없이 진화하는 맥락과의 상호 작용 속에 있는 것"이라고 말한다. [T]그의 교육학은 일반적인 문제에 대한 더 나은 일반화 가능한 해결책을 만들고 공유하는 것이 아니라, 우리가 직면한 문제에 대해 더 나은 사고 방식을 만들고 공유하는 것이다."(37쪽)

Likewise, Regehr (2010) calls for a move away from an academic "show and tell" of new teaching approaches toward a mutual goal of a shared, deepened understanding of the challenges we face and considerations we need to make. "Cookbook" solutions are unlikely to be effective in the varied contexts in which education is practiced. Regehr (2010) states that "competence does not exist in the individual, but in the individual's interaction with the constantly evolving context in which he or she is practicing ... [T]he science of education is not about creating and sharing better generalisable solutions to common problems, but about creating and sharing better ways of thinking about the problems we face" (p. 37)

Bunniss와 Kelly(2010)에 따르면, 사회 연구 전통을 따르는 HPE 연구는 생성적 목적generative purpose를 중요시한다. 즉, 가설을 검증하기 보다는 현상에 대한 다른 해석의 출현을 허용한다. 교육 연구를 위한 조사의 후기실증주의 패러다임을 엄격하고 배타적으로 고수하는 것은 한 가지 유형의 지식을 다른 것들보다 특권적으로 우선시하는 것이다. 이러한 현실주의적이고 객관주의적인 유형의 지식은 기초과학에 잘 맞는 지식이다. 교육 연구는 그 분야의 학자들에 의해 엄격하게 통제된 실험 설계와는 잘 맞지 않는 다른 종류의 과학으로 간주되고 있다(Bunniss and Kelly, 2010; Regehr, 2010). 따라서 사회과학의 방법론이 요구된다.

According to Bunniss and Kelly (2010), HPE research that follows the social research tradition serves a generative purpose; rather than testing hypotheses, it allows the emergence of different interpretations of a phenomenon. To adhere strictly and exclusively to the postpositivist paradigm of inquiry for education research would be to privilege one type of knowledge over others. This realist, objectivist type of knowledge is one that fits well in the basic sciences. Education research is considered by scholars in the field to be a different kind of science, one that is not well suited to tightly controlled experimental designs (Bunniss and Kelly, 2010; Regehr, 2010), and thus methodologies from the social sciences are required.

American Academy of Audiology.

초첨길이 가변성: 의학교육연구에서 연구질문(Acad Med, 2019)

Focal Length Fluidity: Research Questions in Medical Education Research and Scholarship

Meredith Young, PhD, Kori LaDonna, PhD, Lara Varpio, PhD, and Dorene F. Balmer, PhD

1905년 알버트 아인슈타인은 상대성 이론을 발전시켰는데, 그 중에서도 블랙홀의 존재를 예측했다.1 아인슈타인이 자신의 이론을 정리한 이후 세기에 블랙홀의 존재를 암시하는 설득력 있는 증거가 생겨났지만, 다원적 과학자 팀은 최근에야 빛이 1.2로 소용돌이치는 모습을 문서화했다. 이 이미지는 천체물리학, 컴퓨터 공학, 공학 등 다양한 분야의 수많은 사람들이 천문학적인 양의 일을 시각적으로 표현한 것이다. 이 이미지는 추상적 사고에서 실제 실험에 이르는 범위에 걸쳐 질문을 받고 연구를 수행하고 있는 질문의 정점을 나타낸다. 이 이미지를 포착하기 위해서는 이론적이고 실용주의적인 여러 렌즈가 필요했을 뿐만 아니라, 리터럴 렌즈도 여러 개 필요했다. 이 사진을 찍기 위해 과학자들은 기본적으로 전 행성을 카메라 렌즈로 바꾸어 8개의 국제 사이트(그린랜드에서 남극으로, 하와이에서 프랑스 알프스로 이어지는 이벤트 지평선 망원경)에 걸쳐 있는 망원경 배열 위에 올려놓았다.3 렌즈, 국제 협력, 다원적 작업의 풍부한 결합을 통해 한때 불가능해 보였던 노력이 이루어졌다. 기고 과학자들 중 한 명은 이렇게 말했다. "우리 중 누구도 혼자 할 수 없었을 것이다. 다양한 배경을 가진 다양한 사람들이 모여들었기 때문에 그렇게 된 것이다."4

In 1905, Albert Einstein developed his theory of relativity, which, among other things, predicted the existence of black holes.1 While compelling evidence has accrued suggesting the existence of black holes in the century since Einstein penned his theory, a multidisciplinary team of scientists only recently captured an image documenting light spiraling into one.2 This image is a visible representation of an astronomical amount of work by scores of people from a variety of disciplines, including astrophysics, computer science, and engineering. This image represents the culmination of questions being asked— and research being conducted—across a spectrum from abstract thinking to hands-on experimentation. Not only were multiple theoretical and pragmatic scholarly lenses needed to capture this image, but multiple literal lenses were needed as well. To take this picture, scientists essentially turned the entire planet into a camera lens—relying on arrays of telescopes across 8 international sites (the Event Horizon Telescope array from Greenland to the South Pole; from Hawaii to the French Alps).3 Through a combination of lenses, international collaborations, and a wealth of multidisciplinary work, an endeavor that once seemed impossible was achieved. One of the contributing scientists noted: “None of us could’ve done it alone. It came together because of lots of different people from many different backgrounds.”4

건강직업교육(HPE) 연구는 블랙홀 이미지화에 필요한 학제간 협업과 중요한 유사성을 공유한다. 임상의 교육을 연구하기 위해서는 학자들이 확고한 실용주의자들부터 깊은 이론적인 사람들까지 다양한 질문을 하고 복수의 이론적, 방법론적, 교육학적, 분석적 렌즈의 힘을 활용해 답할 것을 요구한다. 이러한 다양성은 HPE 연구를 강화하지만, 5–7 그것은 또한 HPE 분야를 설명하고 탐색하는 것을 어렵게 만든다. 예를 들어, 마티외 알버트는 

• 의도된 청중(즉, 사용자 또는 생산자를 위한 연구)기반의 연구와

• 연구 질문의 목적(즉, 서비스 기반 vs 호기심 주도형)기반의 연구를 

...특징으로 삼았다. 그들은 연속체의 양 끝이며, HPE 학자들의 연구는 전체 스펙트럼을 따라 착륙한다.

Research in health professions education (HPE) shares important similarities with the interdisciplinary collaborations required to image a black hole. Studying the education of clinicians requires scholars to ask questions ranging from the firmly pragmatic to the deeply theoretical and to answer them by harnessing the power of multiple theoretical, methodological, pedagogical, and analytical lenses. While this diversity strengthens HPE research,5–7 it also makes the HPE field difficult to describe and navigate. For instance, Mathieu Albert has characterized HPE scholarship 

• based on the intended audience (i.e., scholarship for users or scholarship for producers)8 and 

• based on the purpose of the research question (i.e., service based vs curiosity driven).9 

they are ends of a continuum, with the work of HPE scholars landing along the entirety of the spectrum.

그러나, HPE 학자들은 [다른 학자들에게 정보를 주기 위한 의도의 이론적 호기심 중심의 연구]나 [교육자와 학습자를 위한 실용적인 응용을 개발하는 깊이 있는 실용주의 지향적인 연구]에 종사한다는 인식이 있다. 이분법적 사고방식은 어떤 상황에서는 유용할 수 있지만, 이러한 이분법적 사고방식은 [우리 지식분야의 잠재적인 사각지대]와 [연구의 타입에 따른 위계의 인식]에 기여할 수 있다. 학자들은 특정 청중(예: 생산자 대 사용자) 또는 특정 연구 목적(예: 호기심 중심 대 서비스 지향)과 일치해야 할 의무를 느낄 수 있다.

And yet, there is a perception that HPE scholars either engage in theoretical curiosity-driven work that intends to inform other scholars or in deeply pragmatically oriented work that develops practical applications for educators and learners. While dichotomies can be useful in some circumstances, this dichotomy-based thinking can contribute to perceived hierarchies of types of work and potential blind spots in our field of knowledge. Scholars can feel obliged to align themselves with a particular audience (e.g., producers vs users) or a particular research purpose (e.g., curiosity driven vs service oriented).

만약 우리가 우리 분야에서 대표되는 렌즈의 [다양성]을 이용하지 않는다면, 우리는 임상의 교육에 관련된 복잡한 현상의 미묘한 그림을 포착하기 위해 [서로의 성과를 기반으로 하는 능력]을 잃을 위험이 있다.

if we don’t make use of the diversity of the lenses represented in our field, we risk losing the ability to build on each other’s accomplishments to capture a nuanced picture of the complex phenomena involved in the education of clinicians.

10여 년 전 보르디지는 의학 교육 연구자들에게 "이론 검증과 이론 구축을 모두 촉진하는 프로그램적 연구를 집중적으로 연구할 것"을 요구했다.10 이러한 요구에도 불구하고 좋은 질문 개발, 연구 프로그램 구축, 이론 참여에 대한 H의 경향은 여전하다.PE 연구자들은 의도된 청중(즉, 사용자를 위한 장학금이나 생산자를 위한 장학금) 또는 연구 질문의 목적(즉, 서비스 기반 또는 호기심 유발)을 바탕으로 자신의 작업에 대해 생각한다.

Over a decade ago, Bordage called for medical education researchers to “focus on the research questions asked and on building programmatic research that fosters both theory testing and theory building.”10 Despite this call to attend to developing good questions, building programs of research, and engaging with theory, there remains a tendency for HPE researchers to think about their work based on intended audience (i.e., either scholarship for users or scholarship for producers) or on the purpose of the research question (i.e., either service based or curiosity driven).

[청중이나 목적에 따라 작품을 분류]하는 이러한 배타적인 방법들은, 연구자들을 질문을 하고 HPE의 스냅사진만 제공하는 학술적인 대화를 하는 "사일로"로 이끌게 했다. 그러한 초점은 [연속적으로 작업할 수 있는 우리의 능력]과 [HPE 관행을 알리는 모든 조사, 즉 이론적, 실용적으로 지향하는 조사]을 방해한다. 다시 말해서, 우리는 블랙홀의 이미지와 같이 HPE의 더 나은 그림을 만들기 위해 모든 렌즈를 사용하는 것을 옹호한다.

These exclusive ways of categorizing work by audience or purpose have led researchers to gravitate to research silos that ask questions and hold scholarly conversations that provide only a snapshot of HPE. Such focus curtails our abilities to work across the continuum and to build off all the investigations informing HPE practices— those theoretically and pragmatically oriented. In other words, we advocate using all our lenses to create a better picture of HPE, much like the image of the black hole.

우리는 렌즈의 유추에 의존하여 연구 질문이 초점 길이가 다른 렌즈와 어떻게 유사한지를 설명한다. 즉 현미경, 돋보기, 쌍안경, 망원경으로 보이는 것은 기하급수적으로 다르다. 

• 현미경은 세포 수준에서 중요한 질문들을 묻고 답할 수 있게 해주고, 

• 돋보기는 작은 생태계를 검사할 수 있게 해주며, 

• 쌍안경은 우리가 환경 시스템을 가로지르는 것을 볼 수 있게 해주며, 

• 망원경은 우주 수준에서 질문을 곰곰이 생각해 볼 수 있게 도와준다.

Relying on an analogy of lenses, we describe how research questions are akin to lenses that have different focal lengths. That is, what is made visible by a microscope, magnifying glass, binoculars, and a telescope differs exponentially. 

• Microscopes enable us to ask and answer important questions at the cellular level, 

• magnifying glasses allow us to examine small ecosystems, 

• binoculars empower us to see environmental systems across a landscape, and 

• telescopes help us to ponder questions at the cosmic level.

마찬가지로, 다른 유형의 연구 질문은 다른 초점 렌즈를 가지고 있다. 

• 어떤 질문들은 고도의 문맥화된 현상들에 초점을 맞추고 있다(우리는 이러한 미시적 수준을 지칭해 왔다), 

• 어떤 질문들은 브리지 이론과 실제 (메소 수준), 그리고 

• 다른 질문들은 현상의 철학적, 이론적 측면을 다루고 있다(매크로 수준).

Similarly, different types of research questions have different focal lenses: 

• Some questions focus on highly contextualized phenomena (we have termed these microlevel), 

• some questions bridge theory and practice (mesolevel), and 

• other questions address philosophical and theoretical aspects of a phenomenon (macrolevel).

우리는 단지 [주어진 현상에 대한 다른 잠재적 초점 길이]를 강조하기 위한 수단으로 그것을 의도한다. 초점 길이가 다르면 다른 질문을 할 수 있고, 다른 지식이 생성될 수 있으며, 문헌에 다른 종류의 기여를 할 수 있으며, 결합하여 HPE에서 중요한 현상에 대한 훨씬 더 포괄적인 관점을 제공한다.

we intend it simply as a means to highlight the different potential focal lengths for a given phenomenon. Different focal lengths allow for different questions to be asked, different knowledge to be generated, and different kinds of contributions to the literature and, in combination, give us a much more comprehensive view of important phenomena at play in HPE.

초점 길이가 다른 연구 질문: 마이크로, 메소, 매크로

Research Questions of Different Focal Lengths: Micro, Meso, Macro

이 부록에 포함된 대부분의 논문은 현미경과 유사한 초점 길이의 렌즈를 사용한다(Baju et al11; Wendling et al12; Novak et al16; Saudek et al18; Yudkowsky et al19; Youm과 Coral20). 이러한 미시적 수준의 질문은 설계상 매우 집중적이고 실용적이며 종종 국지적으로 내재되어locally embedded 있다. 

예를 들어, 표준화된 환자 접촉 후 미국 의료 면허 검사- 스타일 환자 노트의 교수 점수에 대한 비용 효과적이고 실현 가능한 대안을 모색하면서, Yudkowsky 외 19는 "비의사 평가자들이 의료 학생의 임상추론을 신뢰성 있게 평가하기 위해 교수진별 점수 계산식이 있는 체크리스트를 사용할 수 있는가?"라고 물었다.또한, Saudek et al18은 입학 결정과 관련된 사람들에게 더 잘 알려주기 위한 노력으로 "추천문서에서 일반적으로 사용되는 문구는 어떻게 해석되는가?"라고 물었다. 

Most of the papers included in this supplement use a lens with a focal length akin to a microscope (Bajwa et al11; Wendling et al12; Novak et al16; Saudek et al18; Yudkowsky et al19; Youm and Corral20). These microlevel questions are—by design—very focused, pragmatic, and often locally embedded. 

For example, seeking a cost-effective and feasible alternative to faculty scoring of United States Medical Licensing Examination– style patient notes following standardized patient encounters, Yudkowsky et al19 asked, “Can nonclinician raters use checklists with faculty-specific scoring formulas to reliably assess medical students’ clinical reasoning?” Additionally, in an effort to better inform those involved in admissions decisions, Saudek et al18 asked, “How are phrases commonly used in letters of recommendation interpreted?” 

이는 상황 및 맥락에 얽매인 현상에 세심한 주의를 기울이면서 중요한 실용주의 지향적인 문제에 초점을 맞춘 양질의 작업이 HPE의 훈련과 평가의 질에 크게 기여할 수 있음을 보여주는 사례들이다.

These are examples of how high-quality work focused on important pragmatically oriented problems, with careful attention to situation-and context-bound phenomena, can greatly contribute to the quality of training and assessment in HPE.

부록에 포함된 다른 논문에서는 돋보기(Chua et al13; Chaudhary et al15; Bullock et al17; Ju 및 van Schaik21)와 유사한 초점 길이를 가진 렌즈를 사용한다. 이러한 [중간 수준]의 질문은 관련 이론과 주어진 연구 연구의 실용주의 사이의 균형을 이루는 질문이다. 

예를 들어 지도력 분류 이론과 실제 거주 리더십 훈련의 균형을 맞춘 주씨와 반 샤이크21은 "레지던트들은 의사를 간호사보다 더 나은 지도자로 평가하고, 남성이 여성보다 더 나은 지도자로 평가하느냐"고 물었다. 또한 Chaudhary 외 연구진들은 통합지침에 대한 이전의 이론 구축 연구를 통해 "건강시스템 지식의 통합 교육이 임상적 특징만을 위한 교육보다 더 효과적일 것인가?"라는 질문을 던지며 연구 의제를 확장했다. 

Other papers included in the supplement use a lens with a focal length similar to a magnifying glass (Chua et al13; Chaudhary et al15; Bullock et al17; Ju and van Schaik21). These mesolevel questions are those that balance a relevant theory with the pragmatics of a given research study. 

For instance, balancing leadership categorization theory with actual leadership training in residency, Ju and van Schaik21 asked, “Do residents rate physicians as better leaders than nurse practitioners, and do they rate males as better leaders than females?” Additionally, informed by their prior theory-building research on integrated instruction, Chaudhary et al15 extended their research agenda by asking, “Would integrated instruction of health systems knowledge be more effective than clinical-features-only instruction?” 

이러한 중간 수준의 논문 각각에서, 연구는 개념적 및/또는 이론적 프레임워크에 내장되어 있다. 즉, 발견finding의 설계, 구현 또는 해석에 inform하기 위하여 이론에서 도출한 것이다.

In each of these mesolevel papers, the study is embedded within a conceptual and/or theoretical framework—drawing from theory to inform the design, implementation, or interpretation of findings.

여전히 다른 사람들은 망원렌즈를 사용하여 HPE 연구와 관련된 이론적 원리에 직접 대응하거나 도출하는 거시적 수준의 질문을 한다(부르주아 로 외 22; 수이 외 al14). 

예를 들어, 문헌에 수록된 심리적 안전의 원리를 끌어냄으로써, 츠에이 외 연구진(Tsue et al14)은 의학 학습자의 심리적 안전의 개념화에 관한 풍부한 통찰력을 개발하여 향후의 의학 교육 시책에 이용될 수 있는 이론적 구조를 개발하는 것을 목표로 하였다. 그리고 의료업계가 어떻게 임상 역량에 어려움을 겪는 의사를 지원하는 업무를 개념화하는지를 탐구하는 연구에서, 부르주아-로 외 22명은 "치료 이해당사자들은 어떻게 임상 역량 문제에 대한 교정조치가 필요한 의사를 개념화하는가?"라고 물었다. 

Still others use a telescopic lens and ask macrolevel questions that respond to, or draw directly from, theoretical principles relevant to HPE scholarship (Bourgeois-Law et al22; Tsuei et al14). 

For example, by drawing on principles of psychological safety contained in the literature, Tsuei et al14 aimed to develop rich insights about medical learners’ conceptualizations of psychological safety to develop theoretical constructs that can be used in future medical education initiatives. And in a study exploring how the medical profession conceptualizes the task of supporting physicians who struggle with clinical competency, Bourgeois-Law et al22 asked, “How do remediation stakeholders conceptualize physicians requiring remediation for clinical competence issues?” 

이러한 유형의 문항은 일반적으로 HPE와 관련이 있지만, 종종 HPE분야를 넘어서는 맥락에서 이론을 테스트, 확장 또는 개발한다.

These types of questions typically test, expand, or develop theory in contexts that are relevant to HPE but often extend beyond HPE as a field.

초점 길이의 유동성

Fluidity of Focal Lengths

본 부록에 수록된 개별 작품들을 미시적, 중간적 또는 거시적 수준으로 특징지었지만, 특정 현상에 대한 학자의 관심은 단일 유형의 문제에 고정되어 있는 경우는 드물다. 마찬가지로, 단일 문항은 한 수준에서만 관련이 없으며 마이크로, 메소 또는 매크로로 명확하게 식별할 수 없는 경우도 많다.

While we have characterized individual works contained within this supplement as micro-, meso-, or macrolevel, a scholar’s interest in a particular phenomenon is rarely fixed to a single type of question. Similarly, single questions are neither relevant at only one level nor definitively identifiable as micro, meso, or macro.

[거시적인 차원]에서, 한 학자는 어떤 현상에 대해 광범위한 질문을 던지면서 특정한 문제를 이해하는 데 관심이 있을 수 있다. 예를 들어, 

학습자의 정서적 경험이 교육 궤도에 어떤 영향을 미치는가? 

여성 교직원들은 어떻게 학술 의학을 젠더화된 조직으로 경험하는가? 

On a macrolevel, a scholar might be interested in understanding a specific issue, asking broad questions about a phenomenon, such as: 

How do learners’ emotional experiences impact their educational trajectory? 

How do women faculty members experience academic medicine as a gendered organization? 

이와는 대조적으로, [미시적인 수준]에서, 학자는 어떤 현상의 보다 집중적인 측면에 관심을 가질 수 있다. 예를 들어, 운영적 차원의 질문으로,

수치심의 경험이 미국의 사립 의과대학에서 의대생들의 특별한 선택에 어떻게 영향을 미치는가?

팀 기반 학습을 통해 학습자가 전자 건강 기록을 통해 의사소통하는 소아 입원 환자 간 전문 의료 팀에서 협업할 수 있도록 어떻게 준비할 수 있는가?

In contrast, at a microlevel, a scholar might be interested in a more focused aspect of a phenomenon, asking questions at an operational level, such as: 

How does the experience of shame impact medical students’ specialty choice in American private medical schools? 

How can team-based learning be used to prepare learners to collaborate in pediatric inpatient interprofessional health care teams that communicate via an electronic health record?

환자 오너십을 두고 HPE 연구자는 초점길이에 따라 다음과 같은 질문을 할 수 있다.

Questions an HPE researcher might ask regarding patient ownership with different focal lengths include the following:

1. HPE에서 "오너십"의 의미는 무엇인가?

1. What are the implications of “ownership” in HPE?

2. 환자 소유권은 보건 전문 문헌에서 어떻게 정의되고 설명되고 있는가? 환자 소유와 관련된 태도나 행동에 영향을 미치는 개인, 체계적 또는 기타 상황적 요인은 무엇인가?

2. How is patient ownership defined and described in the health professions literature? What individual, systematic, or other contextual factors have been shown to influence attitude or behaviors tied to patient ownership?

3. 주치의는 두 가지 다른 맥락(주치의와 응급실)에서 환자의 소유권을 어떻게 가르치고 있는가?

3. How do attending physicians teach patient ownership in two different contexts (primary care and emergency room)?

1번 질문에서 3번 질문으로 넘어가면서, 연구자는 실용적이고 문맥에 특정한 수준의 지식으로 전환하고 있다. 이들을 구분하는 것은 연구 질문이 [실용적 적용]과 [추상적 개념화]에 어느 정도 관여하는가이다.

in moving from question 1 to 3, the researcher is transitioning to a pragmatic and context-specific level of knowledge. What separates them is the extent to which the research question engages with practical application and abstract conceptualizations.

[거시적 수준]의 질문을 다루는 연구를 수행하기 위해서는, 연구자는 주어진 목표된 맥락 안에서 더 좁고, 더 구체적이고, 연구해야 하는 과정인 운영화되거나 결정화될 수 있는 연구 질문을 고안해야 한다. 본질적으로, 거시적 수준의 질문은 환자 소유권 예에서 제안한 것처럼, 일련의 "어떻게 질문"들에 의해 연구가능study-able한 메소 또는 미시적인 질문으로 변형된다. 이러한 "어떻게" 질문에는 다음과 같은 것이 포함된다: 

이런 상황에서 이 이론이 어떻게 관련성을 갖도록 만들 수 있을까? 

이 이론을 어떻게 관찰하고 측정할 수 있을까?

To conduct a study that addresses a macrolevel question, the researcher must craft a research question that can be operationalized or crystallized, a process that often requires the question to be narrower, more specific, and studied within a given targeted context. In essence, a macrolevel question is transformed to a meso-or a microquestion by a series of how questions to render it study-able, as suggested by the patient ownership example. These how questions might include the following: How would this theory be made relevant in this situation? How can we observe and measure this theory at work?

[미시적 질문]을 다루는 연구를 수행하기 위해, 연구자는 한 맥락에서 나온 통찰이 다른 맥락, 다른 맥락 또는 더 넓은 맥락과 관련될 수 있는 방법을 설명해야 한다. 마이크로 레벨 질문은 다음과 같은 일련의 "왜 질문"들에 의해 중간 또는 거시적인 질문으로 변형된다. 

왜 이런 발견들이 다른 병원이나 대학에 유익할까? 

왜 이러한 발견들은 다른 집단과 관련이 있는 더 광범위한 문제에 대한 통찰력을 제공하는가?

To conduct a study that addresses a microquestion, the researcher must explain how insights from one context can be made relevant to other, different, or broader contexts. A microlevel question is transformed to a meso-or macroquestion by a series of why questions: Why are these findings informative to other hospitals or universities? Why do these findings offer insights into a broader problem that is relevant to other populations?

하나의 질문이 다른 질문들보다 더 중요하고, 더 유익하며, 더 유용하다고 제안하는 것은 지식의 몸이 성장하고 진화하기 위해서는 이 모든 질문들이 필요하다는 것을 이해하지 못하는 것이다. 

실용적인 국지적 해결책이 그것이 미시적인 수준의 질문으로 남아있게 되면 소수의 사람들에게만 유용할 뿐이다. 

추상적인 이론적 질문이 사용자의 즉각적인 요구에 대해 말할 수 없게 되면 효용성이 제한된다. 

이러한 모든 수준의 초점에 걸쳐 질문을 함으로써 비로소 우리는 진정으로 모든 목적을 위해 활용할 수 있는 견실한 지식을 만들어 낼 수 있다.

To suggest that one set of questions is more important, more informative, or more useful than the others is to fail to understand that we need all of these questions for our body of knowledge to grow and evolve. A pragmatic local solution is useful to only a small group of people if it remains a microlevel question. An abstract theoretical question has limited utility when it cannot speak to the immediate needs of a user. It is only by asking all of these questions across all levels of focus that we can truly generate robust knowledge that can be harnessed for all purposes.

HPE의 중요 질문

Important Questions in HPE

그러나, 우리의 목표는 HPE에서 수행한 작업에 대한 새로운 범주화로서 초점 길이를 제안하는 것이 아니라, 반대로, 우리는 다른 렌즈의 가치를 고려하는 수단으로 그것을 제안한다. 심지어 가장 이론적이거나 거시적인 수준의 질문도 그것의 가장 실용적이거나 미시적인 질문에서 하나 또는 두 개의 "어떻게" 질문 정도의 거리에 있을 뿐이며, 가장 실용적인 질문조차 단지 한두 개의 "왜" 질문 정도 떨어져 있을 뿐이다.

However, our goal was not to propose focal length as a new categorization for work done in HPE; to the contrary, we offer it as a means to consider the value of different lenses—even the most theoretical or macrolevel question is only 1 or 2 how questions away from its most pragmatic or microversion, and the most pragmatic is only 1 or 2 why questions away from a theory-rich abstract version.

즉, 좋은 이론은 실용적이고, 좋은 실제 연구 문제는 이론에 기여하는 것이 많다.

In other words, a good theory is practical, and a good practical research question has much to contribute to theory.

22 Bourgeois-Law G, Teunissen PW, Varpio L, Regehr G. Attitudes towards physicians requiring remediation: One-of-us or not-like-us? Acad Med. 2019;94(11 suppl): S36–S41. XXX

개념적 프레임워크를 통해서 교육연구를 강화하기: 의학교육자를 위한 도전과 로드맵(Acad Pediatr, 2019)

Enhancing Educational Scholarship Through Conceptual Frameworks: A Challenge and Roadmap for Medical Educators

Matthew W. Zackoff, MD; Francis J. Real, MD, MEd; Erika L. Abramson, MD, MS; Su-Ting T. Li, MD, MPH; Melissa D. Klein, MD, MEd*; Maryellen E. Gusic, MD*

엄격한 벤치·임상·번역적 연구로 임상진료의 진척 속도는 빠르게 진전되었지만, 의학교육은 전통적으로 엄격한 연구를 통해 수집된 이론과 증거보다는 의식·문화·전통에 의해 추진되어 왔다.1,2 잠재적 연구 주제인 교육학자와 대치할 때, 다른 조사자와 마찬가지로, 조사의 초점을 정의하고, 연구 질문을 개발하거나 가설을 생성하기 위해 확립된 이론을 사용해야 하며, 조사를 적절하게 다루기 위한 방법론을 설계해야 한다.

Although the pace of progress in clinical care has advanced quickly owing to rigorous bench, clinical, and translational studies, medical education has traditionally been driven by ritual, culture, and tradition rather than theories and evidence gathered through rigorous study.1,2 When confronting a potential research topic, an educational scholar, like any investigator, must use established theories to define the focus for inquiry, develop a study question and/or generate a hypothesis, and then design the methodology to appropriately address the inquiry.

개념적 프레임워크는 문제에 대한 사고방식을 나타내며 교육적 또는 사회적 현상의 복잡성을 검사할 수 있는 렌즈다.3

Conceptual frameworks represent ways of thinking about a problem and are the lens through which one can examine the complexities of educational or social phenomena.3

의학 교육에서, 이러한 프레임워크는 결과에 기여하는 여러 요소들 - 교사, 학습자, 평가 및 맥락과 관련된 요인들 - 을 고려할 수 있게 해준다.5.6 개념적 프레임워크는 "그래서 어쩌라는 것인가so what"를 확립할 수 있는 기반을 제공한다. 즉, 작업의 중요성, 현상에 대한 이해에서 기존의 격차를 어떻게 메우는지, 그리고 어떻게 그것이 프로젝트의 "어떻게"로 이어질 수 있는지 등을 말한다. 이는 교육 방법, 평가 전략 및 결과의 적절한 해석의 선택에 영향을 미친다.

In medical education, these frameworks allow us to consider multiple factors that contribute to outcomes—factors related to the teacher, the learner, the assessment, and the context.5,6 Conceptual frameworks provide the foundation to establish the “so what”—the importance of the work, how it fills an existing gap in understanding the phenomenon, and how it can lead to the “how” of the project—which impacts the choice of educational methods, assessment strategy, and appropriate interpretation of outcomes.

개념적 틀의 결여가 주요 교육 학술지에 제출되는 원고의 게재거부 사유라는 점에 주목했다.7 이 연구의 후속 연구에서 쿡 외 al.8은 2003년과 2004년 사이에 발표된 의학 교육 논문의 체계적 리뷰에서 55%만이 개념적 프레임워크를 사용했다고 지적했다.

The lack of a conceptual framework was noted to have contributed to the rejection of manuscripts submitted to major educational journals 62.2%of the time.7 In a follow up to this study, Cook et al.8 noted in a systematic review of medical education papers published between 2003 and 2004 that only 55%utilized conceptual frameworks.

의학 교육 연구는 종종 비선형적인 길을 걸을 수 있지만, 본 논문에서는 의학 교육 개입과 연구의 설계를 강화하기 위한 도구로서 학술적 과정 초기에 개념 프레임워크를 사용하는 로드맵을 제공하는 것을 목표로 한다.

Although medical education research can often take a nonlinear path, in this article we aimto provide a roadmap for using conceptual frameworks early in the scholarly process as a tool to enhance the design of medical education interventions and research.

개념 프레임워크 대 모범 사례

CONCEPTUAL FRAMEWORKS VERSUS BEST PRACTICES

의료교육에 일반적으로 사용되는 개념 체계는 표에 설명되어 있다.

Commonly used conceptual frameworks in medical education are described in the Table.

[개념 체계]와 교육에서 확립된 [모범 사례]의 차이와 관계를 이해하는 것이 중요하다. 둘 다 교육자로서의 일에 있어서 귀중한 자산이다. 모범 사례는 [커리큘럼 설계에 대한 Kern의 6단계] 23, [프로그램 평가를 위한 로직 모델]24, [다단계 결과 측정을 위한 Kirkpatrick의 프레임워크]25를 예로 들 수 있다. 교육 개입의 설계와 평가에서 개념 체계와 모범 사례 접근법의 적용은 모두 교육 연구의 엄격성에 기여한다.

It is important to understand the difference and relationship between conceptual frameworks and established best practices in education. Both are valuable assets in one’s work as an educator. Best practices are accepted approaches, with noted exemplars being Kern’s 6 steps23 for curriculum design, the logic model24 for program evaluation, and Kirkpatrick’s framework25 for measuring multilevel outcomes. Both conceptual frameworks and the application of best practice approaches in the design and evaluation of educational interventions contribute to the rigor of educational scholarship.

그림 1은 개념 체계와 교육 모범 사례 모델의 통합을 보여준다. 이 예에서, Kern의 6단계 접근방식은 커리큘럼 개발을 위해 널리 받아들여지는 모범 사례를 나타낸다.

Figure 1 illustrates the integration of conceptual frameworks and a best practice model in education. In this example, Kern’s 6 steps approach represents a widely accepted best practice for curriculum development.

개념 프레임워크 선택

SELECTING A CONCEPTUAL FRAMEWORK

개념적 프레임워크를 식별하는 것은 교육 연구 연구를 설계하는 데 있어 중요한 단계다.26,27 고려해야 할 프레임워크는 학자와 학습에 대한 그들의 신념에 공명해야 한다.6 잠재적인 적용 가능한 개념 프레임워크를 식별하기 위한 철저한 문헌 검토는 프로젝트 개발의 필요한 초기 단계다.

Identifying a conceptual framework is a crucial step in designing an educational research study.26,27 Frameworks to consider should resonate with the scholar and their beliefs about learning.6 A thorough literature review to identify potential, applicable conceptual frameworks is a necessary early step in project development.

종종 [이론적 프레임워크]라는 용어가 사회과학 문헌에 활용된다. 이론적·개념적 프레임워크가 때로는 차별화되기도 하지만, 학술연구를 조직하고 강화하는 그들의 적용은 거의 동일하기 때문에 우리는 그 용어를 상호교환적으로 사용한다. 

Often, the term theoretical frameworks is utilized in social science literature. Although theoretical and conceptual frameworks are sometimes differentiated,29 their application to organizing and enhancing scholarship is much the same, so we use the terms interchangeably. 

잠재적으로 관련성이 있는 개념 프레임워크가 확인되면, 기존 문헌을 지속적으로 비판적 분석, 합성하여 연구자는 주제에 대해 이미 알려진 것을 식별하고, 프레임워크의 특정 구성요소나 대체 프레임워크의 사용이 문헌의 기존 격차를 해결하는 데 어떻게 도움이 되는지 고려할 수 있다. 그렇게 되면, 선택한 개념 프레임워크는 개입에 대한 근거를 뒷받침하고 그것이 수행될 이유와 방법을 정당화한다.

When potentially relevant conceptual frameworks have been identified, continued critical analysis and synthesis of the literature allow the investigator to identify what is already known about the topic and to consider how a specific component of the framework or the use of an alternative framework would be helpful in addressing existing gaps in the literature.30 The chosen conceptual framework then supports the rationale for the intervention and justifies why and how it will be undertaken.30

중요한 것은 하나 이상의 개념적 프레임워크가 연구 연구의 설계와 보건 과학 교육의 문제를 다루기 위한 개입에 적용될 수 있다. 각 개념체계는 독특한 질문을 만들 수 있는 다른 플랫폼을 제공하기 때문에, 조사자들은 어떤 문제를 탐구하는 데 가장 적합하다고 생각하는 프레임워크를 선택해야 한다. 개념적 프레임워크의 선택이 교육 개입과 그에 상응하는 연구 프로젝트의 설계를 안내하는 방법은 그림 2에 도해되어 있다.

Importantly, more than 1 conceptual framework may be applied to design a research study and the intervention to address an issue in health sciences education. Because each conceptual framework provides a different platform on which to build a unique question, investigators should choose the framework that they believe is most appropriate to explore an issue. The way in which the choice of conceptual framework guides the design of an educational intervention and corresponding research project is graphically illustrated in Figure 2.

예: 의사의 건강 증진을 위한 교육 개입

AN EXAMPLE: EDUCATIONAL INTERVENTION PROMOTING PHYSICIAN WELLNESS

교육자가 학습자 사이의 건강을 증진시키기 위해 취할 수 있는 수많은 접근법이 있다. 개념적 프레임워크의 선택은 개입의 설계와 개입과 관련된 연구 질문에 영향을 미친다. 

예를 들어 수사관의 신념이 다른 사람의 행동을 관찰하고 모방함으로써 사람들이 배운다는 개념에 바탕을 둔 반두라의 사회 인지 이론과 일치한다면, 이 렌즈는 조사자가 웰빙을 촉진하는 것으로 알려진 행동의 관찰과 에뮬레이션 기회를 제공하는 학습 경험을 설계하고 연구하는데 초점을 맞출 것이다.

There are numerous approaches an educator could take to attempt to promote wellness among learners. The choice of conceptual framework impacts the design of the intervention and the research question to be studied related to the intervention. 

For example, if an investigator’s beliefs align with Bandura’s social cognitive theory, which is grounded in the concept that people learn by observing and imitating other’s behavior,14 this lens would focus the investigator to design and study a learning experience that provides opportunities for observation and emulation of behaviors known to promote wellness.

조사자는 문헌을 검토한 후 사회 인지 이론이 다른 사람들에 의해 새로운 행동의 채택을 촉진하는 교육 개입을 개발하기 위해 사용되었음을 밝혀낸 후에 이 프레임워크를 선택할 수 있다. 다음 단계는 이 개념 체계(즉, 주의력, 보존, 재생산, 동기)의 구성요소가 웰빙을 촉진하는 행동의 채택에 어떻게 기여하는지를 조사하는 [연구 질문을 개발]하는 것이다. 

예를 들어, "임상 전 의대생을 위한 섀도잉 프로그램이 임상 기간 동안 보고된 감정 소모율을 감소시키는가?"와 같은 몇 가지 잠재적인 질문을 사용하여 탐구할 수 있다. 이 경우 그림자 프로그램은 웰니스 활동을 일상 업무에 통합하는 것으로 알려진 고위 임상의들을 그림자처럼 관찰할 수 있는 기회를 제공하기 위해 설계될 것이다. 학생들은 건강 증진을 위해 보여진 특정한 건강 개입에 대한 정보를 제공함으로써 이러한 관찰로부터 배울 수 있도록 준비될 것이다. 학생들은 [자신이 그림자처럼 따라다니는 의사]가 사용하는 활동의 인식된 가치에 대해 추가로 성찰하도록 유도될 것이다.

An investigator may choose this framework after a review of the literature reveals that social cognitive theory has been used by others to develop educational interventions that promote the adoption of new behaviors. The next step is to develop a research question investigating how components of this conceptual framework (ie, attention, retention, reproduction, and motivation) contribute to the adoption of behaviors that promote wellness. Several potential questions could be explored using this conceptual framework—

for example, “Does a shadowing program for preclinical medical students decrease the rate of emotional exhaustion reported during the clinical years?” The shadowing program in this case would be designed with the intention to provide opportunities to shadow senior-level clinicians who are known to incorporate wellness activities into their daily practice. The students would be primed to learn from these observations through the provision of information about specific wellness interventions that have been shown to promote wellness. Students would additionally be prompted to reflect on the perceived value of the activities used by the physicians they are shadowing.

대안적으로, 조사자는 웰니스 행동의 채택을 촉진하기 위한 교육 개입을 설계하고 연구하는 방법을 결정하기 위해 [상황 학습 이론]과 같은 다른 개념적 프레임워크를 선택할 수 있다. 이러한 개념적 틀은 학습자가 처음에는 집단에 변두리적 존재로 구성원이 되고, 실천 공동체로 환영받는 부수적 과정이 될 수 있다는 것을 전제로 한다.20 

본 예에 따르면, 학습자가 지역사회에 건강 증진을 위한 활동에 노출되고 참여할 수 있도록 하는 경험은, 주의력에 관한 레지던트의 정오 회의에 점원직을 노출시키는 것과 같은, 대안적 연구 질문으로 이어질 수 있다. 한 가지 잠재적인 질문은 "웰니스 행동을 촉진하기 위해 고안된 활동에서 가까운 동료들과 함께 하는 것이 졸업생 의대생들의 비인격화와 냉소를 감소시키는가?"이다. 이 경우 평가 전략에는 레지던트의 정오 컨퍼런스에 학생의 참여와 참여 수준을 문서화하는 조치와 접근방식의 효과를 평가하기 위한 졸업 전 비인격화 조치가 포함될 수 있다.

Alternatively, an investigator might select a different conceptual framework, such as the theory of situated learning and legitimate peripheral participation by Lave and Wenger,20 to determine how to design and study an educational intervention to promote the adoption of wellness behaviors. This conceptual framework posits that learning can be an incidental process that occurs as a learner, who at first is peripheral to the group, becomes a member, and is welcomed into a community of practice.20 

Applied to our example, an experience that allows a learner to be exposed to, and engage in, activities that promote wellness for the community, such as exposing medical students on their clerkship to resident noon conferences on mindfulness, might lead to an alternative research question. One potential question is “Does engaging with near peers in activities designed to promote wellness behaviors decrease depersonalization and cynicism in graduating medical students?” The assessment strategy in this case would include measures to document the level of engagement and participation of students in the resident noon conferences and measures of depersonalization prior to graduation to evaluate the effectiveness of the approach.

분야를 발전시키기 

ADVANCING THE FIELD

발표나 간행물에서 개념 프레임워크를 어떻게 활용했는지에 대한 명시적인 언급은 지식 진보를 위한 몇 가지 중요한 의미를 갖는다. 확립된 증거 기반 프레임워크의 사용은 평론가와 독자들이 작품이 문헌의 공백을 어떻게 메우는지를 더 잘 이해할 수 있게 하고, 개입의 개입과 연구에 사용된 방법론의 엄격성을 평가하고, 결과와 결과의 영향을 그들이 어떻게 분야를 발전시키는지에 대한 맥락에서 해석할 수 있게 한다.

In a presentation or publication, explicit mention of how one utilized a conceptual framework has several important implications for advancing knowledge. The use of an established, evidence-based framework allows reviewers and readers to better understand how the work fills a gap in the literature, to evaluate the rigor of the methodology used in the intervention and study of the intervention, and to interpret the impact of the outcomes and results in the context of how they advance the field.

추가 고려사항

ADDITIONAL CONSIDERATIONS

의료 교육 프로젝트의 성공적인 이행을 위해 몇 가지 추가적인 주요 고려사항이 있다. 초기에는 개입을 구현하고 평가하는 데 [필요한 자원에 대한 면밀한 검토]가 필요하여 [실용적이고 실현 가능한 접근방식]이 취해질 수 있도록 한다. 

문헌을 검토한 후 연구자가 [의도적 연습]의 개념적 프레임워크를 사용하여 연구 질문을 조작한다고 가정하자. 이 프레임워크에 기반한 개입은 교육 강사가 작업장에 기반한 관찰을 수행하고 피드백을 제공하며 시간 경과에 따른 학습자 성과를 재평가해야 한다.

To allow for the successful implementation of a medical education project, there are several additional key considerations. At the beginning, a careful examination of the resources needed to implement and evaluate the intervention is necessary to ensure that a practical and feasible approach is taken. 

Suppose that after a review of the literature an investigator crafts a study question using the conceptual framework of deliberate practice, An intervention based on this framework would require training instructors to do workplace-based observations, provide feedback, and reassess learner performance over time;

프로젝트가 시작될 때 적절한 준비가 흥미롭고, 참신하고, 관련성이 있는 연구 문제를 개발하는 데 중요하지만, 연구 연구의 결론에 대한 사려 깊은 성찰은 간과할 수 없다.

Although adequate preparation at the onset of a project is important to developing a study question that is interesting, novel, and relevant,37 thoughtful reflection at the conclusion of a research study cannot be overlooked.

• 개입과 방법론이 프레임워크와 일치하였는가?

• 개입이 계획대로 실행되지 않았는가?

• 적절한 결과 척도를 선택하였는가?

• 평가 접근방식이 의도된 결과를 측정하지 못하였는가?

• 인식되지 않는 교란 요인이 있었는가?

• 그 결과는 추가 탐구가 필요한 개념적 프레임워크에 대한 새로운 측면을 나타냈는가?

Were the intervention and methodology aligned with the framework?

Were the interventions not implemented as planned?

Were appropriate outcome measures selected?

Did the assessment approach fail to measure the intended outcomes?

Were there unrecognized confounding factors?

Did the results indicate a new aspect about the conceptual framework that requires further exploration?

Copyright © 2018 Academic Pediatric Association. Published by Elsevier Inc. All rights reserved.

교육연구의 7대 죄악(J Grad Med Educ, 2016)

7 Deadly Sins in Educational Research

Katherine Picho, PhD

Anthony R. Artino Jr, PhD

과학 연구의 타당성에 대한 우려는 최근 몇 년간 증가해 왔으며, 생물 의학에서 발표된 대부분의 연구 결과가 거짓임을 보여주는 상당한 증거가 있다.4 의학뿐만 아니라 교육에서 연구 연구를 감염시키는 주요 결함은 종종 작은 표본, 작은 효과, 그리고 느슨하게 정의되고 구현된 연구 설계와 관련이 있다.4 많은 재조사자들이 과학 문헌이 시간이 지나면서 저절로 고쳐지길 기대하지만, 항상 그렇지는 않다.실제로 '서랍장 효과'(부정적인 결과가 있는 미발표 연구)와 [복제가 제대로 인정받지 못하고 상대적으로 흔하지 않은 작업]으로 남아 있다는 사실을 고려하면, 잘못된 결과의 자체 수정은 (규칙이라기보다는) 예외적인 일일 수 있다. 이러한 난제에 대응하여, 이 사설은 특히 양적 연구의 경우, 재검사가 오도, 과장 또는 완전히 잘못된 발견을 보고하도록 이끄는 가장 일반적인 교육 연구 관행을 강조한다.

Concerns over the validity of scientific research have grown in recent years, with considerable evidence indicating that most published research findings in the biomedical sciences are false.4 The major flaws that infect research studies—in education as well as biomedical science—often relate to small samples, small effects, and loosely defined and implemented research designs.4 While many re-searchers expect that the scientific literature self-corrects over time, this is not always the case.Indeed, considering the ‘‘file drawer effect’’ (unpublished studies with negative outcomes) and the fact that replication remains an underappreciated and relatively uncommon enterprise,5 self-correction of faulty results may be the exception, not the rule. In response to these challenges, this editorial highlights the most common educational research practices,particularly for quantitative studies, that lead re-searchers to report misleading, exaggerated, or entirely false findings.

연구 전에 저질러진 죄

Sins Committed Before Research

신 #1 : 허술한 문헌고찰의 저주

Sin #1: The Curse of the Handicapped Literature Review

경험적 연구는 이론 시험과 발전의 일차적인 수단이다. 그것은 또한 진정한 교육 환경에서 실질적인 개입을 테스트하기 위해 필수적이다. 문헌검토는 특정 분야의 기존 강점, 약점, 지식 격차 등을 파악해 이 과정의 핵심이다. 문헌 검토는 연구 과정의 주요 측면(즉, 연구 질문, 설계 및 방법)을 알려주고, 연구 결과에 대한 추론이 논의될 수 있는 범위 내에서 경계를 기술한다.

Empirical research is the primary means of theory testing and development. It is also essential for testing practical interventions in authentic educational environments. The literature review is central to this process as it identifies existing strengths, weaknesses, and knowledge gaps in a particular field. The literature review informs key aspects of the research process (ie, research questions, design, and methods) and delineates boundaries within which inferences about findings can be discussed.

불행히도, 연구자들은 종종 그들의 가설에 찬성하여 왜곡된, 부분적인 검토를 할 것이다. 더욱 흔한(더 나쁜) 것은 연구가 완료되고 결과가 알려진 후에 문헌 검토를 실시하는 관행이다. 이러한 관행은 연구자들이 기사를 선택적으로 사용하고 결과를 뒷받침하는 가설을 수정할 수 있게 한다. 이것은 과학 연구의 기대되는 부분인 무작위로 인한 변동은 상당한 수의 거짓 발견을 낳기 때문에 문제가 된다.7 결과가 알려진 후 가설을 수정하는 것은 과학적인 방법에 대한 후진적backward 접근일 뿐만 아니라, 가짜 발견에 근거한 잘못된 결론으로 연구 분야를 오염시킬 가능성을 높인다. 그러한 관행은 왜 일부 연구 결과가 반복되지 않는지를 설명할 수 있다.8

Unfortunately, researchers will often conduct partial reviews that are skewed in favor of their hypotheses. Even more common (and worse) is the practice of conducting the literature review after the study has been completed and the results are known. Such practices allow researchers to selectively use articles and revise hypotheses in support of their results. This is a problem because variation due to randomness, which is an expected part of scientific research, yields a fair number of spurious findings.7 Reformulating hypotheses after results are known is not only a backward approach to the scientific method, but it also increases the likelihood of polluting the field of study with false conclusions based on spurious findings. Such practices could explain why some study findings fail to replicate.8

신 #2: 불충분한 검정력

Sin #2: Inadequate Power

정량적 연구에서 통계적 테스트는 독립 변수나 예측 변수 및 결과 사이의 관계의 성격과 규모에 대해 추론하는 데 도움이 된다. 이러한 추론에 대한 결론이 타당하다고 간주되는 정도를 [통계적 결론 타당성]이라고 부르기도 한다.9

In quantitative studies, statistical tests help researchers make inferences about the nature and magnitude of the relationships between independent or predictor variables and outcomes. The extent to which conclusions about these inferences are deemed reasonable is sometimes referred to as statistical conclusion validity.9

모집단에는 존재하지 않는 그룹 간 차이를 허위로 발견할 수 있는 위험성이 항상 존재한다. 이를 유형 1 오류 또는 거짓 양성이라고 한다.9 유형 1 오차는 그러한 차이가 실제로 존재할 때 그룹 간에 통계적으로 유의한 차이를 발견할 확률인 검정의 통계적 검정력을 증가시킴으로써 최소화할 수 있다.10 검정력 값은 0(검정력 없음)부터 1(극히 높은 검정력)까지 다양하다. 매우 높은 값(예: 1의 검정력)으로 검정력을 증가시키는 것이 잘못된 양의 획득 가능성을 현저히 감소시키는 간단한 해결책처럼 보일 수 있지만, 이 접근방식은 잘못된 음성결과 획득 확률 또는 [유형 2 오류]의 발생 가능성을 증가시키는 의도하지 않은 결과를 초래한다.9 따라서 통계적 검정력은 유형 2의 오차를 발생시킬 위험을 크게 증가시키지 않고 진정한 그룹 차이를 탐지할 수 있을 만큼 충분히 높은 스펙트럼의 두 끝 사이에 미세한 선을 걸어야 한다. 교육 연구에서, 최적 검정력에 대한 협약은 일반적으로 0.8이다.

there is always the risk that one could falsely find group differences where they do not exist in the population. This is called a type 1 error, or a false positive.9 Type 1 errors can be minimized by increasing the statistical power of a test, which is the probability of finding a statistically significant difference among groups when such a difference actually exists.10 Statistical power values range from 0 (no power) to 1 (extremely high power). Although increasing power to extremely high values (eg, to a power of 1) might seem like a simple solution to drastically reduce the likelihood of obtaining a false positive, this approach has the unintended consequence of increasing the probability of obtaining a false negative, or a type 2 error.9 Therefore, statistical power must walk a fine line between the 2 ends of the spectrum: high enough to detect true group differences without drastically increasing the risk of making a type 2 error. In educational research, the convention for optimum power is typically 0.8.11

검정력은 표본 크기와 시험 중인 가설의 수에 의해 영향을 받는다. 한 연구는 심리학과 교육을 포함한 사회과학 분야의 대부분의 연구에서 검정력이 낮았음을 발견했다. 심리학에서 연구의 평균 검정력은 0.35였다. 의학교육에서 표본 크기가 20, 15, 심지어 10명 정도로 적은 양적 연구가 이루어지는 것은 드문 일이 아니다. 따라서, 많은 의학 교육 연구 연구가 그룹 간의 진정한 차이를 발견하기에 불충분할 가능성이 있다.

Power is affected by sample size and the number of hypotheses being tested, among other factors. One study found that most studies in the social sciences, including psychology and education,12 were underpowered. In psychology, the average power of studies was 0.35.12 In medical education, it is not uncommon for quantitative studies to be conducted with sample sizes as low as 20, 15, or even 10 participants. Therefore, it is likely that many medical education research studies are insufficiently powered to detect true differences among groups.

힘은 또한 두 그룹 간의 차이의 크기와 같이 예상되는 효과의 크기에 영향을 받는다. 따라서 주어진 연구에서 낮은 검정력은 [작은 표본]과 [작은 효과] 또는 [두 가지 모두]의 조합에서 기인할 수 있다.13 그룹 간의 실제 차이를 놓치는 것 외에도, 낮은 검정력은 통계적으로 유의한 결과가 가짜 발견이 아닌 실제 효과를 나타낼 가능성을 감소시킨다.13 이 두 가지 문제 모두 그 분야 연구의 신뢰도를 약화시킨다. 전자는 이해를 진전시킬 수 있는 가설을 섣불리 폐기하고 후자는 복제할 수 없는 허황된 발견으로 이어질 수 있다.

Power is also affected by the magnitude of the expected effect, such as the size of the differences between 2 groups. Hence, in a given study, low power may stem from small samples and small effects or a combination of both.13 In addition to missing a true difference between groups, low power also reduces the likelihood that a statistically significant result represents a true effect rather than a spurious finding.13 Both of these issues weaken the reliability of findings in a given field. The former may lead to prematurely discarding hypotheses that might advance understanding, and the latter, to spurious findings that cannot be replicated.

표본 크기를 증가시키는 것 외에도, 동일한 셀 표본 크기, 참가자 일치, 사전 공변량 측정, 후속 분석에서 공변량의 보정 등과 같은 실험 설계 효율성을 개선하여 검정력을 증가시킬 수 있다.

Besides increasing sample size, power can be increased by improving experimental design efficiency, such as through 

• the use of equal cell sample sizes; 

• matching participants; 

• measuring covariates a priori; and 

• correcting for covariates in subsequent analyses.

신 #3: 측정의 중요성 무시

Sin #3: Ignoring the Importance of Measurement

검증되지 않은 척도를 사용하거나, 심리측정적 특성이 좋지 않은 조치를 채택하는 것은 결과에 더 많은 "소음"을 더하는 역할을 할 뿐이며, 모순되거나 신뢰할 수 없는 발견으로 필드를 잠재적으로 방해할 수 있다.14

Using measures that have not been tested, or employing those that have poor psychometric properties, only serves to add more ‘‘noise’’ to the results and potentially taints the field with contradictory or implausible findings.14

측정 문제는 연구 대상이 되는 [구인]을 과소 대표하거나 과대 대표하는 측정 도구(예: 설문지)에서 발생할 수 있다. 측정 도구가 너무 좁으면(예: 단일 항목 측정의 경우), 구성의 중요한 측면을 배제하여 관심 현상의 본질을 포착하지 못할 가능성이 높다.14

Measurement problems can stem from measurement tools (eg, questionnaires) that underrepresent or overrepresent the construct under study. When a measurement tool is too narrow (eg, in the case of single-item measures), then it likely excludes important aspects of the construct and thus fails to capture the true nature of the phenomenon of interest.14

측정 문제는 또한 결과 변수(예: 시험 점수, 점원 등급)가 너무 쉬우거나 어려울 때 발생한다. 극히 쉬우거나 어려운 작업은 각각 천장과 바닥 효과로 이어져 상관성과 편향 결과를 약화시킨다.

Measurement problems also occur when the outcome variables (eg, test scores, clerkship grades) are too easy or too difficult. Tasks that are extremely easy or difficult lead to ceiling and floor effects, respectively, which weaken correlations and bias results.

연구 중에 저질러진 죄

Sins Committed During Research

Sin #4: 잘못된 통계 도구 사용

Sin #4: Using the Wrong Statistical Tool

가장 일반적인 것은 데이터가 사용 중인 통계기법의 가정을 충족하는지 여부를 점검(또는 보고)하지 않는 것이다. 아마도 가장 자주 위반되는 가정은 관찰이 독립적이라는 가정일 것이다. 이러한 특정 위반과 관련된 것은 비독립적 데이터를 독립된 것처럼 취급하는 실수(예: 3회 측정된 20명의 참가자의 데이터를 60명의 참가자의 데이터인 것처럼 취급하는 것)이다.15

The most common involve not checking (or reporting) whether the data meet assumptions of the statistical technique being used. Perhaps the most frequently violated assumption is the assumption that observations are independent. Related to this specific violation is the mistake of treating nondependent data as if they were independent (eg, treating data from 20 participants that are measured 3 times as if data are from 60 participants).15

그러한 통계적 가정을 위반하면 유형 1 오류(허위 긍정)를 인위적으로 부풀리는 효과가 있어, 이는 보증된 결과보다 통계적으로 더 유의미한 결과를 초래한다. 이 결과는 통계적으로 유의한 결과에서 도출될 수 있고 복제 실패를 초래할 수 있는 추론의 타당성을 위협한다. 이러한 함정을 피하기 위해 연구자들은 자신의 데이터가 사용하고자 하는 데이터 분석 기법의 가정을 충족하는지 검증해야 한다. 통계적 가정이 위반되면 문제를 해결하기 위한 조치를 취하거나(예: 비정규 데이터 변환) 이러한 위반에 강력한 대체 통계 기법(예: 정규 분포를 따르지 않는 연속 데이터에 대한 비모수 통계)을 사용해야 한다. 게다가, 연구 과정의 초기에 통계학자와 상담하는 것은 도움이 될 수 있다. 그러한 관행은 그 일에 적합한 통계 도구를 찾는 데 매우 중요하다.

The violation of such statistical assumptions has the effect of artificially inflating type 1 errors (false positives), which leads to more statistically significant results than warranted. This outcome threatens the validity of inferences that can be made from statistically significant results and can also result in replication failure. To avoid this pitfall, researchers should verify that their data meet the assumptions of the data analytic technique they intend to use. When statistical assumptions are violated, one should take steps to remedy the problem (eg, transforming nonnormal data) or use alternate statistical techniques that are robust to these violations (eg, nonparametric statistics for continuous data that do not follow a normal distribution). Moreover, it can be helpful to consult a statistician early in the research process; such a practice is critical to finding the right statistical tool for the job.

죄 #5: 데이터에 대한 무자비한 고문과 기타 의문스러운 분석 관행

Sin #5: Merciless Torture of Data and Other Questionable Analysis Practices

그러한 관행의 예로는 

• 자신의 가설에 부합하는 결과만 보고(''체리피킹'), 

• 결과에 맞게 통계적으로 유의한 임계값을 완화한

• 단측 t 검정을 사용했지만 연구 보고서에 이를 언급하지 않음

• 가설과 적합하도록 P 값을 위아래로 잘못 반올림(예: 실제 P 값이 .049인 경우 P ¼ 0.04 보고)한다.

Examples of such practices include 

• reporting only results that align with one’s hypotheses (‘‘cherry picking’’), 

• relaxing statistical significant thresholds to fit results, 

• using 1-sided t tests but failing to mention this in the research report, and 

• wrongly rounding P values upward or downward to fit with a hypothesis (eg, reporting P ¼ .04, when the actual P value is .049).16

또 다른 인기 있지만 의문스러운 관행은 [낚시fishing]인데, 이것은 사전 지정된 가설에서 유래하지 않은 통계적으로 유의한 발견에 대한 채굴 데이터를 말한다.9 낚시는 제1종 오류율을 증가시키고 인위적으로 통계적 유의성을 증가시킨다. 실제로, 특히 이러한 발견들은 실제적인 인구 차이의 결과보다 우연의 산물이 될 가능성이 더 높기 때문에, 어로 탐험의 발견을 중심으로 전체 연구를 재구성하는 것은 죄악이 될 것이다.

Another popular yet questionable practice is fishing, which refers to mining data for statistically significant findings that do not stem from prespecified hypotheses.9 Fishing increases type 1 error rates and artificially inflates statistical significance. Indeed, it would be a sin to restructure an entire study around findings from a fishing expedition, especially since these findings are more likely to be a product of chance than the result of actual differences in the population.

연구 후 저지른 죄

Sins Committed After Research

신 #6: P 가치에 대한 노예제도

Sin #6: Slavery to the P Value

사회과학에서 통계적 추론에 가장 일반적으로 적용되고 수용된 접근방식은 [귀무 가설 유의성 검정],17 여기서 주어진 구성물에 대한 그룹 차이에 대한 연구자의 가설을 귀무 가설과 비교하여 시험한다: 차이가 없다.18 일반적으로 통계 분석은 변수에 대한 평균 그룹 차이를 반영하는 점수를 생성하며 검정 통계량(t 비율, 카이-제곱 분석 등)과 확률 값(P 값)을 동반한다. P 값은 [데이터가 샘플링된 모집단에 차이가 존재하지 않는 경우 관측된 그룹 차이 또는 더 극단적인 결과를 얻을 확률]을 나타낸다.19

The most commonly applied and accepted approach to statistical inference in the social sciences is null hypothesis significance testing,17 where a researcher’s hypothesis about group differences on a given construct is tested against the null hypothesis: there are no differences.18 Generally, statistical analyses generate a score that reflects mean group differences for a variable, accompanied by test statistics (t ratios, chi-square analyses, etc) and a probability value (P value). P values represent the probability of obtaining the observed group difference or a more extreme result if said difference did not exist in the population from which the data were sampled.19

유용한 도구임에도 불구하고 P 값은 그다지 유용하지 않다. 

• 첫째, 통계적으로 유의한 결과(즉, 귀무 가설을 기각함)가 어떤 식으로든 연구자의 가설을 확인해주는 것은 아닌데, 대부분의 경우 거짓으로 인식되고 그렇게 해석된다.20,21 

• 두 번째, 매우 큰 표본 크기(예: 수천 개)는 소그룹 차이를 확대시킬 것이다. 그 결과는 통계적으로 유의미할 수 있다.작은 차이 때문에 실질적으로 중요하지 않다. 교육 연구에서는 큰 표본 크기가 드물지만 큰 데이터베이스를 사용할 수 있을 때(예: 전문의 보드 점수) 종종 볼 수 있다. 연구자들은 효과 크기 및 효과 크기 주변의 신뢰 구간과 같은 보다 유익하고 실용적 인 지표로 P 값 통계를 보완하는 데 초점을 맞춰야 한다.

Although a useful tool, P values are not very informative. 

• First, a statistically significant result (ie, rejecting the null hypothesis) does not in any way confirm the researcher’s hypotheses, although most times it is falsely perceived and interpreted as such.20,21 

• Second, extremely large sample sizes (eg, in the thousands) will magnify small group differences; the result may be statistically significant yet practically unimportant due to tiny differences. In educational research, large sample sizes are rare but occasionally are seen when large databases are available (eg, specialty board scores). Researchers should focus on supplementing P value statistics with more informative and practical metrics like effect sizes and confidence intervals around effect sizes.

Sin #7: 결과 보고 및 원시 데이터 유지에 대한 투명성 결여

Sin #7: Lack of Transparency in Reporting Results and Maintaining Raw Data

비록 저자가 단어 수 제한이나 통계적 정교함의 결여에 대한 우려는 불충분한 보고를 야기할 수 있지만, 그러한 관행은 또한 의심스러운 연구 관행을 은폐하는 역할을 한다. 예를 들어, 저자는 기술 통계량(예: 평균)에 대한 기본 정보를 포함하지만 표준 편차를 포함하지 못하는 경우가 있다.

Although author concerns about word count limits or lack of statistical sophistication may cause inadequate reporting, such practices also serve to cover up questionable research practices. For example, authors sometimes include basic information about descriptive statistics (eg, means) but fail to include standard deviations.

기사의 통계적 결과가 메타분석에서 활용되기 때문에 통계분석의 정확한 보고와 투명성이 중요하다. 따라서 일차적 수준의 연구에서 보고의 오류는 메타 분석적 소견에서도 오류와 편향으로 이어질 수 있다. 연구자들은 중요한지 여부에 관계없이 기초적인 서술적 통계량(표본 크기, 평균, 표준 편차)과 정확한 P 값에 대한 완전한 정보를 제공하기 위해 노력해야 한다. 마지막으로 중요한 것은 연구자들이 모든 통계 분석을 완전히 공개해야 한다는 것이다.

Correct reporting and transparency of statistical analyses are important because statistical results from articles are used in meta-analyses. Thus, errors of reporting in primary level studies can lead to errors and bias in meta-analytic findings as well. Researchers should strive to provide full information on basic descriptive statistics (sample sizes, means, and standard deviations) and exact P values, regardless of whether or not they are significant. Last but not least, researchers should fully disclose all of their statistical analyses.

Summary

15. Leppink J. Data analysis in medical education research: a multilevel perspective. Perspect Med Educ. 2015;4(1):14–24. XXX

지식 통합의 방법: 개괄 (Heart Lung, 2014)

Methods for knowledge synthesis: An overview

Robin Whittemore, PhD, APRN, FAAN, Ariana Chao, MSN, RN, FNP-BC, Myoungock Jang, MSN, RN*, Karl E. Minges, MPH, Chorong Park, MSN, RN

도입 Introduction

[특정 질문이나 주제에 관한 모든 관련 연구의 요약]인 지식 합성KS이 실천, 연구, 정책을 진전시키는데 중요한 반면, 문학의 이질적 본체로부터 얻은 지식을 명확하고 정확한 방법으로 종합하는 것은 어려울 수 있다. 모든 관련 연구를 위해 문헌을 검색하고, 연구의 품질을 평가하고, 이질적인 데이터를 종합하는 것은 연구자들이 문헌을 체계적으로 검토할 때 경험하는 방법론적 난제의 일부다.

While knowledge synthesis - a summary of all pertinent studies on a specific question or topic1 - is critical to advancing practice, research, and policy, synthesizing knowledge froma heterogenous body of literature in a clear and accurate manner can be challenging. Searching the literature for all relevant studies, assessing quality of studies, and synthesizing heterogenous data are some of the methodological challenges researchers experience when undertaking a systematic review of the literature.

확립된 지식 종합 방법으로는 체계적인 검토, 메타 분석, 정성 종합, 통합 검토 등이 있다. 좀 더 최근에는 혼성학 검토, 범위 검토, 효과성과 일반성을 검토하는 검토(즉, RE-AIM 검토), 체계적 검토(즉, 우산 검토)에 대한 검토 방법이 제안되고 있다. 개별 연구뿐만 아니라 검토 결과 보고에 대한 이러한 방법과 지침은 지식 종합 방법의 엄격성과 실천과 정책에 대한 소견의 적용성 및 투명성을 높이기 위해 지속적으로 수정되고 있다.

Established knowledge synthesis methods include the systematic review, meta-analysis, qualitative synthesis, and integrative review. More recently, methods on mixed-studies reviews, scoping reviews, reviews that examine efficacy and generalizability (i.e., RE-AIM review), and reviews of systematic reviews (i.e., umbrella reviews) have been proposed. These methods and guidelines for reporting results from reviews, as well as individual studies, continue to be revised to enhance the rigor of knowledge synthesis methods and the applicability and transparency of findings to practice and policy.

이러한 지식은 개별 연구의 적절하고 정확한 보고를 강화하고, 문헌 검토를 수행할 때 적절한 검토 방법을 결정하며, 연구의 질과 편견을 고려하고, 리뷰를 해석하는 데 도움이 된다.2

This knowledge helps to enhance appropriate and accurate reporting of individual studies, to determine an appropriate review method when undertaking a review of the literature, to consider quality and bias of studies, and to interpret reviews.2

지식 합성 방법론 개요

Overview of knowledge synthesis methodology

모든 지식 합성 방법에는 개별 연구가 신뢰할 수 있는 연구 결과를 가지고 있고 합성된 연구 결과가 개별 연구의 통합 또는 합성을 정확하게 나타내기 위해 체계적이고 감사 가능한 접근법이 포함되어야 한다.3 모든 지식 합성 방법에는 다음과 같은 공통점이 있다. 

• a) 명시적 목적 

• b) 방법론적 프로토콜의 개발; 

• c) 관련 연구 기사를 찾기 위한 종합적인 검색 전략; 

• d) 개별 연구에서 편향의 품질 및 잠재적 위험을 평가하는 방법 또는 전통 

• e) 명시적 데이터 수집 및 종합 절차3e5 

All knowledge synthesis methods must include a systematic and auditable approach to assure that individual studies have trustworthy findings and that the synthesized findings accurately represent the aggregation or synthesis of individual studies.3 Common to all knowledge synthesis methods are: 

• a) an explicit aim; 

• b) development of a methodological protocol; 

• c) comprehensive search strategies to find relevant research articles; 

• d) a method or tradition of evaluating quality and potential risk of bias in individual studies; and 

• e) explicit data collection and synthesis procedures.3e5 

결과의 제시는 특정 방법에 따라, 방법의 기초적인 가정에 따라 다르다.

Presentation of the results varies depending on the specific method and the underlying assumptions of the method.

Gough와 동료2는 집적 논리나 구성 논리의 사용으로 나누어 검토방법에 있어서 차별화를 명확히 했으며, 이는 결과적으로 결과의 제시에 영향을 미친다. 

• 평균 효과 크기나 수치 계산을 결정하기 위해 균질한 경험적 데이터를 포함하는 검토는 집적 논리(예: 일부 체계적 검토, 메타분석)에 기초하며, 결과는 일반적으로 수치 데이터와 숫자로 제시된다. 

• 이와는 대조적으로 현상의 보다 탐구적이고 다양성과 복잡성을 추구하는 검토는 결과가 개념적 모델이나 서술적 텍스트로 제시되며 구성 논리(예: 질적 종합, 혼합 연구 검토)에 기초한다.

Gough and colleagues2 have articulated a differentiation in review methods that either use aggregative logic or configuring logic, which subsequently affects the presentation of results. 

• Reviews that include homogenous empirical data in order to determine average effect sizes or numerical counting are based in aggregative logic (e.g., some systematic reviews, meta-analyses), and results are typically presented as numerical data and figures. 

• In contrast, reviews that are more exploratory and seek variation and complexity of phenomenon are based on configuring logic (e.g., qualitative synthesis, mixed-studies review) with results presented as a conceptual model or narrative text.

지식 종합 방법 가이드라인

Guidelines for knowledge synthesis methods

가이드라인은 그러한 유형의 검토, 검색 전략 및 데이터 수집 방법, 품질 평가 도구, 데이터 추출 및 분석 절차, 보고 권고사항에 필요한 연구 설계 유형을 명시한다. 

• 체계적 검토 및 메타분석 가이드라인이 잘 개발되어 있으며, 상세한 정보와 체크리스트를 제공하여 엄격한 검토를 실시하고, 검토 방법의 공표에 포함시키는 데 필요한 정보를 제공한다. 

• 이와는 대조적으로 질적합성, 혼성연구 검토, 우산 검토 등에 대한 가이드라인이 등장하고 있으며, 검토와 본문합성의 방향성을 제시하고 있지만, 현재 방법론적 접근방법에 대해서는 합의가 이루어지지 않고 있다.

Guidelines specify the type of study design required for that type of review, search strategies and data collection methods, quality appraisal tools, data extraction and analysis procedures, and reporting recommendations. 

• Guidelines for systematic reviews and meta-analyses are well developed and provide detailed information and checklists to conduct a rigorous reviewand the necessary information to include in the publication of a review method. 

• In contrast, guidelines for qualitative syntheses, mixed studies reviews, and umbrella reviews are emerging and provide direction to conduct the review and synthesize text, however there is no consensus on the methodological approach at this time.

모든 검토 방법에 대한 주요 과제 중 하나는 [검토에 포함된 연구의 품질에 대한 평가]다. 개별 연구의 품질에 대한 평가는 어렵고, 잠재적으로 편향될 수 있으며, 메타분석을 제외하고는 개별 연구의 품질을 검토 분석에 어떻게 고려할지 불분명하다. 그럼에도 불구하고, 모든 검토 방법에 대한 품질 기준이 제안되었다.

One of the major challenges for all review methods is the appraisal of the quality of studies included in the review. Assessment of the quality of individual studies is difficult and potentially biased, and with the exception of the meta-analysis, it is unclear how to factor in the quality of an individual study into the review analysis. Nonetheless, quality standards for all review methods have been proposed.

체계적 검토

Systematic review

체계적 검토는 [관련 연구를 식별하고, 연구 품질을 평가하고, 결과를 요약함으로써 복수의 연구의 증거를 결합하기 위해 사용되는 방법]이다.17,18 편향을 최소화하고, 신뢰할 수 있는 발견과 증거를 제공하기 위해 명시적이고 체계적이며 투명한 방법을 이용한다.5 체계적 검토는 통계적 분석(연구 설계와 결과가 동일한 경우) 또는 서술적 분석을 사용하여 수행할 수 있다. 분석적 접근방식과 무관하게, 복수의 구성요소를 가진 개입이나 다른 조치를 포함하는 개별 연구의 결과를 종합하는 것은 추가적인 어려움을 야기한다. 체계적 검토의 품질이 떨어지고 일관성 없는 보고가 과학적 추론과 결론을 내리는데 유용성을 감소시킬 수 있다.19,20

A systematic review is a method used to combine evidence of multiple studies by identifying relevant research, appraising study quality, and summarizing findings.17,18 It utilizes explicit, systematic, and transparent methods to minimize bias and provide reliable findings and evidence.5 Systematic reviews can be conducted using a statistical analysis (if study designs and outcomes are homogenous) or a narrative analysis. Regardless of analytic approach, synthesizing the results of individual studies that includes interventions with multiple components or different measures poses additional challenges. Poor quality and inconsistent reporting of the systematic review may diminish their usefulness to make scientific inferences and conclusions.19,20

체계적 검토에서 보고의 표준화를 강화하기 위해 체계적 검토 및 메타분석(PRISMA)에 대한 보고의 투명성을 개선하고 체계적 검토 전반에 걸친 일관성을 높이기 위해 PRISMA(Prize Reporting Items for Systemic Reviews and Meta-Analyses)를 권고하였다.21 PRISMA는 QUOROM statement에서 진화되었다. 그리고 그것은 연구자들이 검토를 수행하고 결과를 요약하는 데 사용할 수 있는 명시적이고 체계적인 접근법을 제공한다.19 PRISMA 문항은 27개 항목 체크리스트와 4개 단계 흐름도로 구성된다.21 보고서는 개별 연구의 편향 위험과 개별 연구의 편향 위험을 평가할 필요성을 강조한다. 누적 증거에 영향을 미치다19

To enhance the standardization of reporting in systematic reviews, the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) has been recommended to improve the transparency of reporting systematic reviews and enhance consistency across systematic reviews.21 The PRISMA statement evolved from the Quality of Reporting Meta-analyses (QUOROM) statement,22 and it provides an explicit and systematic approach that researchers may use to conduct a review and summarize findings.19 The PRISMA Statement comprises a 27-item checklist and a four-phase flow diagram.21 The report emphasizes the need to assess risk of bias in individual studies and risk of bias across studies that may affect the cumulative evidence.19

심부전에 대한 체계적인 검토의 예는 표 3에 수록되어 있다. 이 검토의 목적은 [심부전이 있는 성인의 우울증에 대한 다양한 치료법을 평가]하는 것이었다.6

An example of a systematic review in heart failure is included in Table 3. The purpose of this review was to evaluate different types of treatment for depression in adults with heart failure.6

메타-분석

Meta-analysis

메타분석(meta analysis)은 [효과크기의 전체적인 효과와 크기를 결정하기 위해 통계적 방법을 사용하여 증거를 결합]하는 체계적 검토의 한 유형이다.23 이 기법은 연구 결과의 수렴, 다양성 및 강건성, 증가된 힘을 가진 효과의 통계적 유의성, 모어의 발달에 관한 질문에 대답하는 데 사용할 수 있다.e 효과의 정확한 추정 및 효과의 조정자 검사(즉, 부분군 및 조건에 걸쳐 일관성이 있는지 여부).24,25 이러한 연구의 목적은 기존 연구의 균형적이고 공정한 개요를 제시하는 것이며, 수많은 전략이 발견의 품질을 높이기 위해 고안되었다.

Meta-analysis is a type of systematic review that combines evidence using statistical methods to determine overall effects and magnitude of effect size.23 This technique can be used to answer questions about the convergence, divergence, and robustness of study results, statistical significance of an effect with increased power, development of a more precise estimate of effects, and examination of moderators of effects (i.e., whether they are consistent across subgroups and conditions).24,25 The objective of these studies is to present a balanced and impartial summary of existing research, and numerous strategies have been designed to increase the quality of findings.

Findings의 품질을 보장하기 위해 메타분석을 실시할 때 고려해야 할 다양한 고유한 특징과 고려사항이 있다. 

There are a variety of unique features and considerations to think about when conducting a meta-analysis to help ensure the quality of findings. 

• 첫째, 연구자들이 분석에 포함된 각 개별 연구에 품질 점수를 부여할 것을 제안한다. 수많은 도구가 개발되었지만, 가장 잘 확립된 품질 평가 도구는 코크란 협업에 의해, 각 개별 연구의 편향 위험을 평가할 것을 권고한다.24 

• 둘째, 저품질 연구와 표본 크기의 영향을 평가하기 위해서는 민감도 분석을 포함하는 것이 좋다. 또한 오즈비, 위험비 등 효과 크기를 계산하고 깔때기 그림 및 에거의 회귀 테스트를 사용하여 간행물 편향을 평가하는 기법도 개발되었다. 

• First, it is suggested that researchers assign quality scores to each individual study included in the analysis. Though numerous tools have been developed,26,27 the most well-established quality appraisal tool is by the Cochrane Collaboration, which recommends assessing the risk of bias of each individual study.24 

• Second, to assess the impact of low quality studies and sample size, it is recommended to include a sensitivity analysis.28,29 Techniques have also been developed for calculating effect sizes including odds ratios and risk ratios, and assessing publication bias using funnel plots29,30 and Egger’s regression tests.25,31 

연구자들은 [forest plot]을 사용하여 결과에 대한 그림적 표시를 제공할 수 있으며 코크란의 Q를 사용하여 연구의 이질성을 테스트하고 분석 결정을 안내할 수 있다(예: 가중 평균 또는 고정 또는 무작위 효과 모델 사용). 

Researchers can use forest plots to provide a pictorial presentation of the results and can use Cochrane’s Q to test the heterogeneity of the studies and to guide analysis decisions (e.g., using weighted averages or a fixed or random effects model).32,33 

메타리그레션은 이러한 이질적 요인을 더욱 탐구하기 위해 활용할 수 있다. 메타분석을 실시할 때 연구자가 갖는 수많은 선택에도 불구하고, 연구자와 임상의가 고품질 메타분석을 수행하고 검토의 포괄성과 완전성을 평가할 수 있도록 가이드라인이 필수적이다.

Metaregression can be utilized to further explore these heterogenous factors.34 Despite the numerous choices researchers have when conducting meta-analyses, guidelines are essential to help researchers and clinicians conduct a high quality meta-analysis and assess the comprehensiveness and completeness of the review.

무작위 제어 시험과 관찰 연구의 메타 분석 모두를 위한 지침이 제정되었다. 연구자, 검토자, 편집자는 종종 이 지침을 출판의 표준으로 사용한다. 

• 무작위 통제 시험의 메타분석 보고 개선 지침은 앞에서 논의한 바와 같이 체계적 검토인 PRISMA에 사용된 지침과 동일하다. 

• 관측 연구의 메타분석을 실시하는 사람들을 위해 역학 관측 연구의 메타분석 체크리스트가 작성되었다.35

Guidelines have been established for meta-analyses of both randomized controlled trials and observational studies. Researchers, reviewers, and editors often use these guidelines as standards for publication. 

• The guideline to improve the reporting of meta-analyses of randomized controlled trials is the same guideline used for systematic reviews, PRISMA, as previously discussed. 

• The Meta-Analysis of Observational Studies in Epidemiology (MOOSE) checklist has been created for those conducting a metaanalysis of observational studies.35

심부전 문헌의 메타분석의 예는 표 3에 제시되어 있다. 이 검토의 목적은 심부전이 진행된 환자와 증상성 질환이 적은 환자에 대한 심장 재동기화 요법(CRT)의 이점과 위해성을 평가하는 것이었다.8

An example of a meta-analysis in the heart failure literature is provided in Table 3. The purpose of this review was to evaluate the benefits and harms of cardiac resynchronization therapy (CRT) in patients with advanced heart failure and those with less symptomatic disease.8

질적 합성 Qualitative synthesis

일차 질적 연구의 합성을 수행하는 목적은 다음을 포함한다. 

• 조사 중인 현상에 대한 깊은 이해를 발전시키고 이전에 숨겨져 있던 패턴을 밝혀낸다. 

• 이론을 생성한다. 

• 참가자의 관점에서 장벽, 촉진자, 인식 및 태도를 탐구한다. 

• 연습과 연구의 새로운 영역을 식별한다. 

• 복잡한 중재와 임상 실험의 변동 이유를 밝힌다.  

The purposes of conducting a synthesis of primary qualitative studies include to: 

• develop a deeper understanding of the phenomenon under investigation and uncover previously hidden patterns, 

• generate theory, 

• explore the barriers, facilitators, perceptions, and attitudes from the participants’ perspective, 

• identify emerging areas of practice and research, and 

• reveal reasons for variation in complex interventions and clinical trials.36e38

질적 연구의 발표된 합성물의 수는 계속 증가하고 있으며, 해석적 패러다임과 통합적 패러다임을 모두 아우르는 4개에서 9개까지의 합성 방법까지 질적 합성을 수행하기 위해 취할 수 있는 접근법의 수에 대해서는 다양성과 이견이 있다. 

The number of published syntheses of qualitative studies continues to increase,39,40 and there is diversity and disagreement as to the number of approaches one may take to conduct a qualitative synthesis, ranging from four to nine synthesis methods that span both interpretative and integrative paradigms.41e43 

궁극적으로, 어떤 방법을 채택할 것인가는 합성 질문 및 목적, 발표된 연구의 수, 그리고 합성을 수행하는 팀의 지식과 전문지식을 포함한 몇 가지 요인에 따라 달라진다. 또한 연구자의 인식론적 입장, 일차적 질적 연구의 방법론, 그리고 결과를 설명하려는 것인지 종합하려고 하는지의 여부에 따라서도 달라진다.

Ultimately, the choice of which method to employ varies on several factors, including the question and purpose of the synthesis, number of published studies, and knowledge and expertise of the team conducting the synthesis,42 as well as the researcher’s epistemological stance, methodology of primary qualitative studies, and whether one seeks to describe or synthesize results.41

• 메타-민족지학은 가장 널리 인용된 질적 합성 방법이며, 질적 데이터 분석에 대한 귀납적 및 해석적 접근방식으로 구성된다.12,44 각 1차 연구의 소견을 전체 합성으로 이론적 샘플링과 상호 변환하는 것을 포함한다.12,44 이후 이를 통해 텍스트로 그리고 그래픽으로 제공할 수 있다. 요약표, 모델 또는 도표.45 메타윤리학은 종종 새로운 연구 질문과 이론의 생성을 포함하여 현상에 대한 새로운 통찰력을 가져오거나 포화상태에 도달한 지점을 나타낸다.

The meta-ethnography has been the most widely cited qualitative synthesis method and comprises an inductive and interpretive approach to qualitative data analysis.12,44 It involves theoretical sampling and reciprocal translations of findings from each primary study into the overall synthesis, which can then be presented textually and graphically via summary tables, models, or diagrams.45 The meta-ethnography often results in new insights to a phenomenon, including the generation of new research questions and theories, or indicates a point where saturation has been reached.

• 메타신테시스(metasynthesis)는 질적 연구를 합성하기 위해 자주 사용되는 또 다른 방법이다. 기술 방법 46과 다소 모호하고 상호 교환이 가능한 용도에 대한 합의가 부족하지만, 우리가 여기서 언급하고 있는 포괄적 용어는 샌들노프스키와 바로소가 제공한 질적 전이성 방법이다.48 질적 메타신테시스(Quality metasynthesis)은 여러 가지 서로 다르지만 상호관련된 질적 연구의 결과를 통합하여 연구 결과를 종합하고 관심현상에 대한 보다 높은 개념적, 맥락적 이해에 기여하는 체계적인 접근법이다.46,48

The metasynthesis is another frequently used method to synthesize qualitative studies. While there is a lack of consensus about the technique’s methods,46 and its somewhat ambiguous and interchangeable use,38,47 the umbrella term we are referring to here is the qualitative metasynthesis method as provided by Sandelowski and Barroso.48 Qualitative metasynthesis is a systematic approach that integrates results from a number of different, but inter-related qualitative studies to synthesize research findings and contribute to a new higher conceptual and contextual understanding of the phenomenon of interest.46,48

• "근거 형식 이론"이라고도 알려진 메타-근거 이론 방법론은 일차적 근거 이론 연구를 분석하기 위해 일정한 비교 및 이론적 샘플링을 사용하는 귀납적 접근을 포함한다. 그것은 종종 현상의 과정과 새로운 이론의 발전에 대한 더 높은 수준의 통찰력을 알려준다.

Meta-grounded theory methodology, also known as “grounded formal theory,” involves an inductive approach that uses constant comparative and theoretical sampling to analyze primary grounded theory studies. It often informs higher-level insight into the processes of a phenomenon and the development of new theories.47,49,50

일차적 질적 연구를 검색하는 것이 어려운 과제가 될 수 있지만, 질적 연구를 찾아내고 검색하는 몇 가지 검색 전략이 존재한다. 이러한 접근법은 데이터베이스 필터를 사용하고, 민감도와 특수성 알고리즘을 극대화하여 주요 데이터베이스에 대한 최적의 검색 전략을 개발한다.51e54년

Although searching for primary qualitative studies can be a difficult task, several search strategies exist to locate and retrieve qualitative studies. These approaches use database filters, and maximizing sensitivity and specificity algorithms to develop optimal search strategies for key databases.51e54

포함 및 제외 기준의 식별은 선택된 질적 합성 방법에 따라 결정된다. 품질에 근거한 선택도 일부 정성적 기법과의 고려사항이다. 실제로, 1차 질적 연구에 품질 평가 지침을 적용하기로 한 결정은 논쟁의 하나이다. 40,55e57 품질 평가를 위한 많은 지침과 기준이 존재하지만, 10,44,58e60 어느 것도 선호되는 접근법으로서 합의에 도달하지 못했다.

Identification of inclusion and exclusion criteria is contingent upon the qualitative synthesis method that is selected. Exclusion on the basis of quality is also a consideration with some qualitative techniques. Indeed, the decision to apply quality appraisal guidelines to primary qualitative studies is one of contention.40,55e57 While many guidelines and criteria exist for assessing quality,10,44,58e60 none have reached consensus as the preferred approach.

1차 질적 연구에 적용되는 품질평가 가이드라인을 포함시키기 위한 논의가 계속되고 있지만, 질적 종합의 품질을 높이기 위한 일부 전략이 제시될 수도 있다. 일차 질적 연구를 수행하는 연구자가 신뢰도(신뢰성, 이전성, 신뢰성, 확인성)를 통해 방법론적 엄격성을 달성하는 것과 거의 동일한 방식으로, 질적 합성을 수행하는 연구자는 일차 연구의 합성에 사용되는 방법의 투명성을 보고해야 한다. 

While the debate to include quality appraisal guidelines applied to primary qualitative studies continues, some strategies may be suggested to enhance the quality of qualitative syntheses. Much in the same way that researchers conducting primary qualitative studies achieve methodological rigor through trustworthiness (credibility, transferability, dependability, and confirmability),61 researchers conducting a qualitative synthesis should report transparency in the methods used to synthesize primary studies. 

투명성을 통합한 보고 도구의 한 예는 "질적 연구의 종합성 보고의 투명성 향상(ENTREQ)"이다.62 이 지침은 도입, 방법, 문헌 검색 등 합성의 주요 측면에 대한 평가를 수반하는 21항목 체크리스트를 사용한다. 정성적 종합 검토 보고에 대한 몇 가지 다른 지침이 존재하지만, 대부분의 품질 평가 가이드라인에 포함된 62e65의 주요 고려사항에는 감사 추적, 회원 확인 및 방법론의 투명성이 포함된다. 기타 질적 연구를 관리, 평가, 분석 및 종합하기 위한 포괄적인 지침이 제공된다.41,63,66

One example of a reporting tool that incorporates transparency is entitled “Enhancing Transparency in Reporting the Synthesis of Qualitative Research (ENTREQ).”62 This guideline uses a 21-item checklist that entails the appraisal of key aspects of the synthesis, including introduction, methods, and literature search. While several other guidelines exist for the reporting of qualitative syntheses reviews,62e65 key considerations encompassed in most quality appraisal guides include an audit trail, member checking, and transparency of methodology. Other comprehensive guides to manage, appraise, analyze, and synthesize qualitative research are available.41,63,66

심부전 문헌의 전이성 예시는 표 3에 제시되어 있다. 본 연구의 목적은 노인들이 만성적인 심장마비로 어떻게 살아가는지에 대한 정성적 연구의 결과를 종합하는 것이었다.9

An example of a metasynthesis in the heart failure literature is provided in Table 3. The purpose of this study was to synthesize results of qualitative studies on how older people live with chronic heart failure.9

혼합 연구 검토

Mixed studies review

혼합 연구 검토는 질적, 정량적 및/또는 혼합적 방법을 동시에 검토하는 문헌 검토이다.67 혼합 연구 검토라는 용어는 통합적 검토, 혼합 방법 검토, 혼합 방법 검토, 혼합 방법(연구) 종합 또는 정량 및 정성적 연구의 결과의 종합과 함께 종종 상호 교환적으로 사용된다.67 Pluye와 동료 67은 '혼합 연구 검토'라는 용어를 정량적, 정성적 및 혼합 방법 연구 설계를 포함하는 검토에 사용할 것을 제안했다.

Mixed studies review is a literature review that concurrently examines qualitative, quantitative and/or mixed methods primary studies.67 The term mixed studies review is often used interchangeably with integrative review, mixed methods review, mixed methods (research) synthesis, or synthesis of results of quantitative and qualitative studies.67 Pluye and colleagues67 have suggested the term ‘mixed studies review’ be used for reviews that include quantitative, qualitative, and/or mixed methods study designs.

혼합 연구 검토는 질적 연구와 양적 연구의 장점을 결합하여 동일한 중복 또는 보완적 검토 문제를 해결하는 것을 목표로 한다3. 따라서, 혼합 연구 검토는 복잡한 현상 67에 대한 견실한 통찰력을 제공할 수 있을 뿐만 아니라, "이런 종류의 개입이 누구를 위해, 어떤 상황에서, 어떤 면에서, 그리고 왜"에 대하여 대답함으로써 개입의 발전도 제공할 수 있다."68

A mixed studies review aims to address the same overlapping or complementary review questions3 by combining the strengths of both qualitative and quantitative studies. Thus, a mixed studies review can provide robust insight to a complex phenomenon67 as well as development of an intervention by answering “what is it about this kind of intervention that works, for whom, in what circumstances, in what respects, and why.”68

그러나 혼합 연구 리뷰를 기획, 설계, 평가하기 위한 가이드라인에 대한 공감대가 부족하다. 검토 질문에 따라 다양한 유형의 1차 연구(질적, 정량적 관찰, 정량적 실험 및 혼합 방법 연구)의 다양한 조합과 이러한 연구 결과를 통합하는 다양한 방법으로 혼합 연구 검토를 수행할 수 있다. 혼합 연구 검토의 특성상, 혼합 연구 검토의 방법론적 품질을 평가하기 위한 지침이나 기준을 잘 정립하는 것이 어렵다. 증거 기반 실천에 초점을 맞춘 비영리 단체인 조안나 브릭스 연구소(JBI)는 혼합 방법 검토를 수행하는 방법에 대한 지침을 포함하는 매뉴얼을 개발했다.69 이 매뉴얼에는 혼합 연구 검토의 결과를 보고할 때 포함해야 할 필수 구성요소의 지침도 포함되어 있다.

However, there is a lack of consensus for guidelines to plan, design, and assess mixed studies reviews. Depending on the review question(s), a mixed studies review can be conducted with a diverse combination of different types of primary studies (qualitative, quantitative-observational, quantitative-experimental, and mixed method studies) and with varied ways of integrating those findings. Due to the nature of mixed studies review, it is challenging to develop a well-specified guideline or criteria for appraising the methodological quality of a mixed studies review. The Joanna Briggs Institute (JBI), a non-profit organization focused on evidence based practice, has developed a manual that contains guidelines about methods to conduct mixed methods reviews.69 The manual also contains guidelines of essential components to include when reporting results from a mixed studies review.

심부전 문헌의 혼합 연구 리뷰의 예는 표 3에 제시되어 있다. 이 연구의 목적은 심부전이 있는 성인의 자기 관리에 기여하는 간병인의 활동을 설명하는 것이었다.11

An example of a mixed studies review in the heart failure literature is provided in Table 3. The purpose of this study was to describe caregivers’ activities contributing to self-care in adults with heart failure.11

통합 검토

Integrative review

통합 검토는 검토의 목적에 따라 경험적 또는 이론적 문헌을 포함할 수 있는 광범위한 접근법과 표본 추출 프레임을 포함하는 지식 종합 방법의 범주다.15 통합 검토는 다음과 같은 것들에 초점으 ㄹ둘 수 있다.

• 방법론(예: 개념의 개념 및 운영 정의 평가), 

• 이론(예: 다른 행동 변화 이론 평가) 및/또는 

• 연구하다

Integrative reviews are a category of knowledge synthesis methods that include a broad approach and sampling frame that can include empirical or theoretical literature, or both, depending on the purpose of the review.15 Integrative reviews can focus on 

• methodology (e.g., evaluating the conceptual and operational definitions of a concept), 

• theory (e.g., evaluating different behavior change theories), and/or 

• research.70 

지식 합성 방법의 방법론적 발전으로, 통합 검토 방법은 [일차 연구]를 [방법론적 및 이론적 문헌]과 결합하여 지식을 종합하는 데 가장 적합하다. 검토의 모든 논문이 1차 연구일 경우 체계적인 검토, 메타 분석 또는 혼합 연구 검토 방법을 사용해야 한다.

Due to the methodological development of knowledge synthesis methods, the integrative review method is best suited for synthesizing knowledge on primary research combined with methodological and/or theoretical manuscripts. If all of the articles in a review are primary research, then a systematic review, meta-analysis, or mixed studies review method should be used. 

통합적 검토를 위한 방법론적 지침이 제안되었다. 그러나 품질 평가는 특히 이론적 및 경험적 출처를 포함하는 것이 어렵다. 일차 소스의 품질을 평가할 필요가 있으며, 한 가지 가능한 방법은 진위성, 방법론적 품질, 정보 가치 및 일차 소스의 대표성을 조사하면서 역사적 연구의 접근법을 사용하는 것이다.71 

Methodological guidelines for the integrative review have been proposed15; however quality appraisal is challenging, particularly with the inclusion of theoretical and empirical sources. Evaluating the quality of primary sources needs to be considered and one possible method would be to use the approach of historical research, examining authenticity, methodological quality, informational value, and representativeness of primary sources.71

심부전 문헌의 통합적 검토의 예는 표 3에 제시되어 있다. 이 연구의 목적은 심부전이 있는 성인에 대한 간호사가 주도하는 과도기적 치료 개입이 다양한 결과에 미치는 영향을 조사하는 것이었다.14

An example of an integrative review in the heart failure literature is provided in Table 3. The purpose of this study was to examine the effects of nurse-led transitional care interventions for adults with heart failure on various outcomes.14

이와 같이, 검토에 포함된 모든 원고가 개입의 효과를 평가하는 정량적 연구라면 이러한 통합적 검토도 체계적인 검토로 분류할 수 있을 것이다. 서로 다른 유형의 검토의 방법론을 개발하는 데 더 많은 관심을 기울임에 따라, 각 방법의 구별되는 특징과 용어 사용은 더욱 일관성이 있어야 한다. 

As can be seen, this integrative review could also be classified as a systematic review as all manuscripts included in the review were quantitative research evaluating the efficacy of an intervention. As greater attention is paid to the developing methodology of different types of reviews,the distinguishing features of each method and the use of terminology should become more consistent. 

범위 지정 검토

Scoping review

범위 검토는 [최근 현상에 대해 알려진 것을 광범위하게 이해하기 위해 다양한 증거를 요약하는 지식 종합 방법]으로 제안되었다. 범위 지정 검토는 "연구 영역을 뒷받침하는 핵심 개념과 이용 가능한 주요 출처 및 유형의 증거를 신속하게 식별해야 하며, 특히 영역이 복잡하거나 이전에 종합적으로 검토되지 않은 경우 그 자체로 독립형 프로젝트로 수행할 수 있다"고 한다.

Scoping reviews have recently been proposed as a knowledge synthesis method to summarize a range of evidence in order to understand broadly what is known about a phenomenon.72 Scoping reviews “aim to rapidly identify the key concepts under-pinning a research area and the main sources and types of evidence available, and can be undertaken as stand alone projects in their own right, especially where an area is complex or has not been reviewed comprehensively before.”73 

범위 지정 검토는 [주제에 대한 폭넓은 접근법, 목적성 있는 표본 추출 프레임, 문헌의 gap 확인 등]과 같은 지점에서 체계적인 검토와 차별화된다. 방법론적 지침이 제안되어 왔으며, 범위 검토에 사용할 수 있는 다양한 주요 출처 때문에 일반적으로 품질을 평가하지 않는다. 심장 마비에 대한 범위 지정 리뷰를 찾을 수 없었다.

Scoping reviews are differentiated from systematic reviews in their broad approach to a topic, purposive sampling frame, and identification of gaps in the literature.74 Methodological guidelines have been proposed72 and quality is generally not appraised due to the variety of primary sources that can be used in the scoping review. A scoping review about heart failure was unable to be located. 

RE-AIM 검토

RE-AIM review

[연구의 개입 및 실천으로의 전환이 공중 보건에 미치는 영향을 평가해야 하는 필요성]에 대한 관심이 늘어나며, 글래스고와 동료들은 개입의 도달 범위, 효능 또는 효과, 채택, 이행 및 유지관리(RE-AIM Framework)를 촉진하고 평가하는 가이드라인을 확립하기 위한 광범위한 작업에 착수했다.

In response to concerns regarding the need to assess the public health impact of interventions and translation of research to practice, Glasgow and colleagues have undertaken extensive work to establish guidelines that promote and evaluate the reach, efficacy or effectiveness, adoption, implementation, and maintenance (RE-AIM Framework) of interventions. 

이 프레임워크는 최근 23개 항목의 데이터 추출 도구를 사용하여 지식 합성 방법으로 확장되었다. 이 도구는 5개의 RE-AIM 치수에 걸쳐 개별 연구의 데이터를 코드화하고 합성하는 데 사용할 수 있다. 이러한 유형의 검토 결과는 개입의 효과뿐만 아니라 개입의 일반성에 대한 증거를 제공한다.

This framework has recently been extended to knowledge synthesis methods through the use of a 23-item data extraction tool.81 This tool can be used to code and synthesize data from individual studies across the five RE-AIM dimensions.81 The result of this type of review provides evidence not only on the efficacy of an intervention, but also the generalizability of the intervention

엄브렐라 리뷰

Umbrella review

체계적 검토가 급속도로 증가하고, 실천과 정책을 위한 증거의 적시에 번역이 필요함에 따라, 최근 우산 검토의 필요성과 효용이 명백해졌다. 우산 리뷰는 '메타리뷰' 또는 '리뷰의 오버뷰'로 알려져 있으며, 기존의 체계적 리뷰에 대한 리뷰다. 우산 검토는 이용 가능한 증거를 요약하기 위한 목적으로 폭에 초점을 맞춘다. 

Driven by the rapid increase in the number of systematic reviews and need for timely translation of evidence to practice and policy, the need for and utility of umbrella reviews has recently become apparent. Umbrella reviews are also known as metareviews and overviews of reviews, and are reviews of existing systemic reviews. Umbrella reviews focus on breadth with the aim of summarizing available evidence. 

그것들은 어떤 주제에 대해 알려진 것과 전형적으로 여러 종류의 합성을 포함하는 것을 요약하기 위해 출판된 리뷰의 유사성과 차이점을 평가하는 데 사용될 수 있다. 우산 검토 수행 및 결과 보고 지침은 JBI69와 Cochrane에서 이용할 수 있다(검토 개요라고 한다). 이러한 유형의 검토 내에서, 연구자들은 종종 체계적 검토의 방법론적 품질을 평가하기 위해 검증된 11항목 측정 도구인 다중 체계적 검토(AMSTAR)의 평가를 사용하지만, 명확하게 확립된 지침은 없다.

They can be used to assess similarities and differences in published reviews to summarize what is known about a topic69,82,83 and typically involve a number of the different types of syntheses. Guidelines for conducting umbrella reviews and reporting the results are available from JBI69 and Cochrane (referred to as overviews of reviews).84 Within these types of reviews, researchers often use the assessment of multiple systematic reviews (AMSTAR), a validated 11-item measurement tool, to assess the methodological quality of the systematic reviews85; however, there are no clearly established guidelines.

개별 연구 보고 지침

Guidelines for reporting of individual studies

무작위 통제 재판(RCT)의 결과 보고 지침은 통합 보고 재판 표준(Consort)과 함께 개발된 첫 번째 지침 중 하나이다. CONSORT 가이드라인은 25개 항목 체크리스트에 무작위 시험 보고에 대한 최소 기준을 명시하고 있으며, 여기에는 시험을 통한 참가자 흐름을 도식화하는 권고사항이 포함된다.87 CONSORT 표준은 편집 그룹의 광범위한 지지를 얻었으며 대부분의 저널에서 RCT에 대한 연구 보고서 발행을 위해 요구된다.

A guideline for reporting results of a randomized control trial (RCT) was one of the first to be developed with the Consolidated Standards of Reporting Trials (CONSORT). The CONSORT guidelines specify the minimum criteria for reporting randomized trials in a 25-item checklist, which includes recommendations to diagram participant flow through the trial.87 The CONSORT standards have gained extensive support by editorial groups and are required by most journals for publication of a research report on an RCT.

CONSORT 지침의 사용에 따른 보고 추적의 표준화 개선은, 특정 유형의 시험trial에 대한 보고 개선을 위한 추가적인 이니셔티브를 촉발하였다. 예를 들어, 클러스터 무작위 시험의 보고와 eHealth 개입에 대한 지침이 있다.88,89 또한 다양한 유형의 연구에 대해 가이드라인이 개발되었다. 예를 들어 관찰연구 보고(STROBE), 비임의 행동개입(TREND), 91, 보고질적 연구(COREQ)에 대한 보고지침이 개발되었다.

The improvement in standardization of reporting trails that resulted from the use of the CONSORT guidelines has resulted in additional initiatives to improve the reporting of specific types of trials. For example, there are guidelines for the reporting of cluster randomized trials and eHealth interventions.88,89 Guidelines have also been developed for different types of research. For example, guidelines for reporting of observational studies (STROBE),90 reporting for non-randomized behavioral interventions (TREND),91 and reporting qualitative research have been developed (COREQ).65

1993년 CONSORT 가이드라인이 개발된 이후, 연구/연구 설계 유형에 따른 200개 이상의 보고 가이드라인이 제안되었다. 전세계 과학자들에게 중요한 이러한 급증하는 정보의 결과로, 건강 연구를 위한 보고 지침 카탈로그 - EQUATOR 네트워크 -가 제정되었다. 이 저장소는 보건 연구 보고에 있어 가이드라인의 활용을 개선하기 위해 특별히 설립되었다. 네트워크는 작성자, 저널 편집자, 동료 검토자 및 보고 가이드라인 개발자에게 보건 연구 보고와 관련된 쉽게 접근할 수 있는 자원을 제공한다.

Since the development of the CONSORT guidelines in 1993, over 200 different reporting guidelines according to the type of study/research design have been proposed. As a result of this burgeoning information that is critical to scientists worldwide, the Catalogue of Reporting Guidelines for Health Research - EQUATOR Network - was established. This repository was specifically established to improve the use of guidelines in the reporting of health research. The network provides easily accessible resources related to health research reporting for authors, journal editors, peer reviewers, and reporting guideline developers.

고찰 Discussion

이와 관련하여 본 논문은 지식 종합 기법의 향후 방법론적 발전을 위한 몇 가지 영역을 식별하였다. 연구자들은 먼저 각 유형의 검토에 대한 기본적인 가정을 고려해야 하지만, 정성적 종합, 혼합 연구 검토, 통합 검토 및 범위 지정 검토를 위한 품질 평가뿐만 아니라 방법론적 접근법과 보고 지침을 다룰 기회가 존재한다. 이러한 방법들 중 몇 가지가 새로운 것이기 때문에(예: 혼합 연구 검토, 범위 지정 검토, 우산 검토), 각 유형의 검토의 진전된 개발은 궁극적으로 미래 건강관리 연구를 종합하는 방법의 품질, 범위 및 적용 가능성을 개선할 것이다.

In this regard, this paper has identified several areas for future methodological development of knowledge synthesis techniques. While researchers should first consider the underlying assumptions of each type of review, opportunities exist to address methodological approaches and reporting guidelines, as well as quality appraisal for qualitative synthesis, mixed studies review, integrative review, and scoping reviews. As several of these methods are new(e.g., mixed studies review, scoping review, umbrella reviews), the advanced development of each type of review will ultimately improve the quality, scope, and applicability of the method to synthesis future health care research.

참고로, 이러한 표준과 지침의 상당수는 주로 내부 타당성에 초점을 맞추고 있으며, 체계적 검토를 위한 RE-AIM 지침의 개발과 함께 지식 종합에 관한 외부 타당성에 대한 논의가 최근에 와서야 이루어졌다.81 갭을 실천하기 위한 연구를 감안할 때, [개입의 외적 타당성을 평가하고 합성]하기 위한 명시적 관심이 필요하다. 그러한 연구가 없으면, 연구자, 임상의, 정책 입안자가 개입 연구의 결과를 transfer하고 일반화할 수 있는 능력이 감소한다.

Of note, many of these standards and guidelines are primarily focused on internal validity and only recently has there been discussion of external validity in regards to knowledge synthesis with the development of the RE-AIM guidelines for systematic reviews.81 Given the research to practice gap,93 explicit attention is needed to assess and synthesize the external validity of interventions. Without such work, the ability for researchers, clinicians, and policymakers to transfer and generalize results from intervention studies is diminished.

여러 유형의 검토의 투명성과 품질을 높이는 것은 물론 중복되는 노력을 피하기 위해, 최근 체계적인 검토의 등록을 촉진하기 위한 국제적인 이니셔티브가 추진되고 있다.

To increase the transparency and quality of different types of reviews, as well as avoid the duplication of effort, an international initiative has been recently undertaken to promote the registration of systematic reviews.

Copyright © 2014 Elsevier Inc. All rights reserved.

의료인문학 연구에 대해 다시 생각하기: Scoping review와 Narrative synthesis (Med Educ, 2016)

Rethinking research in the medical humanities: a scoping review and narrative synthesis of quantitative outcome studies

Silke Dennhardt,1,2 Tavis Apramian,2 Lorelei Lingard,2,3 Nazi Torabi4 & Shannon Arntfield5

배경 

INTRODUCTION

의료인문학은 세계 여러 곳에서 의학 교육에서 점점 더 인기 있는 교수 양식으로 부상했다. 이 프로필이 상승하면서 이 방법을 사용하는 것의 효과와 효용을 증명해야 한다는 압력이 생겼다. 의학 인문학 교육에 대한 세 가지 주요 리뷰는 인문학이 의학 교육에 통합되는 긍정적인 장기적 영향에 대한 증거가 부족하다고 보고했다. 이들 리뷰는 '의학 교육 내의 다른 커리큘럼 활동과 마찬가지로, 의학 인문학과의 교습은 원칙적으로 그 효과의 증거로 그 존재를 정당화할 수 있어야 한다'고 요구한다.

The medical humanities have emerged in many parts of the world as an increasingly popular teaching modality in medical education.1–3 With this rising profile has come pressure to prove the efficacy and utility of using this method.4–8 Three major reviews of medical humanities teaching reported a lack of evidence on the positive long-term impact of integrating humanities into medical education.5,6,8 Such reviews demand that teaching of and with the medical humanities, ‘like any other curricular activity within medical education, should in principle be able to justify its existence with evidence of its effectiveness’.5

이러한 리뷰의 결론은 의료인문학계의 비난을 불러일으켰다. 그 리뷰 문헌은 방법론에서 의료인문학에 대한 많은 수의 질적 연구를 배제한 것에 대해 비난을 받았다.

These findings sparked criticism from the medical humanities community. The review methodology was censured for its dismissal of the large body of qualitative work on medical humanities,2,9,10

이 작품은 또한 환원주의, 모호한 그룹화, 지나치게 넓은 정의, 잘못된 비교를 통해 '애초에 존재하지 않는 의료인문학에 대한 동질성'을 강요했다는 비판을 받았다. 이러한 문제들은 학습의 과정보다는 결과물에만 좁은 초점을 두었고, 근거 없는 결론을 지지하는 것으로 간주되었다.12,13

The work was also criticised for imposing ‘a homogeneity on the medical humanities that does not exist’11 through its reductivism, ambiguous groupings, overly broad definitions and fallacious comparisons. Such problems were viewed both as allowing a narrow focus on learning products rather than process, and as supporting unwarranted conclusions.12,13

따라서, 의학 인문학 교육의 효과와 효용성에 대한 탐구는 난관에 봉착한 것으로 보인다: 최근의 리뷰는 '증거가 희박하다'고 보고했고, 이러한 결론을 비판하는 사람들은 '증거가 있지만 당신은 그것을 놓쳤다'고 반박한다.

Thus, exploration of the efficacy and utility of medical humanities teaching appears to have reached an impasse: the recent reviews5,6,8 report that ‘the evidence is sparse’ and their detractors retort that ‘it is there, but you missed it’.

앞으로 두 가지 방법이 가능하다. 첫 번째는 예를 들어, 지배적인 증거 아이디어를 재구성하거나 의료인문학이 무엇을 하고 어떻게 하는지에 대한 보다 [질적인 조사를 수용함으로써, 9,10 평가적, 근거-기반 지향에서 완전히 벗어나자는 제안]이다.14

Two ways forward are possible. The first is a proposed departure from the evaluative, evidence-based orientation altogether,9,10 for example, by reframing dominant ideas of evidence, or embracing more qualitative inquiry into what the medical humanities do and how they do it.14

우리는 이 방향에 공감한다.15,16 그러나, 우리는 또한 교육과정 개혁의 시기에 근거 기반의 의사결정과 비용/편익 평가,17–19 효과 문제를 회피하는 것은 헛되고 어쩌면 위험할 수 있다는 것을 인식한다.

We are sympathetic to this direction.15,16 However, we also recognise that, in times of curriculum reform, evidence-based decision making and cost/ benefit assessments,17–19 it may be futile and possibly dangerous to sidestep the efficacy question.

두 번째 방법은 이 분야에서 효능과 효용 판단의 기초를 형성한 [평가 연구들에 대한 보다 미묘한 분석]에 착수하는 것이다. 20,21 이 논문은 두 번째 길을 택한다.

The second way forward is to embark on a more nuanced analysis of the body of evaluation studies that have formed the basis of efficacy and utility judgements in this field.20,21 This paper takes the second path,

방법 

METHODS

우리는 이 질문들을 탐구하기 위해 scoping review에 착수했다. scoping review는 주어진 주제에 대한 문헌을 체계적으로 검토하고 매핑하는 과정이다. 그 목적은 체계적인 검토에서처럼 연구의 '품질'이 아닌 광범위한 연구 질문과의 관련성에 근거하여 차별화를 만들면서 문헌에 대한 종합적인 그림을 제공하는 것이다. scoping review의 과정은 반복적이다; 연구 질문과 방법을 유연한 상태로 유지하고, 문헌에 대한 새로운 이해와 상호작용을 통해 지속적으로 개선된다.

We undertook a scoping review in an effort to explore these questions. A scoping review is a process of systematically reviewing and mapping the literature on a given topic.22–24 Its purpose is to provide a comprehensive picture of the literature while making discriminations based not on the ‘quality’ of the studies, as in systematic reviews, but on their relevance to a broadly based research question.22 The scoping review process is iterative; research questions and methods remain flexible and are refined through interaction with an emerging understanding of the literature.

우리의 scoping review는 광범위하게 정의되는 [의료인문학을 사용한 성과에 대한 정량적 연구]를 검토한다.25 우리의 범위 지정 검토는 광범위하게 정의된 의료 인문학 사용의 결과에 대한 정량적 연구를 검토한다. 이러한 범위 검토의 목적과 단순한 정의에서 그 분야의 복잡성을 포착하는 것에 대한 많은 다른 논쟁에도 불구하고, 우리는 의료인문학을 '[의학적 교육 목표를 추구하기 위하여, 문학, 예술, 창조적 글쓰기, 드라마, 영화, 음악, 철학, 윤리적 의사 결정, 인류학, 역사학 등 다양한 분야의 창조적, 지적 강점을 끌어내는 학제적 분야]'로 폭넓게 정의하기로 선택했다. 한다.26

Our scoping review examines quantitative studies on the outcomes of the use of medical humanities, broadly defined.25 For the purpose of this scoping review and notwithstanding the many different debates about capturing the complexity of the field in a simple definition, we chose to define the medical humanities broadly, as an interdisciplinary field ‘that draws on the creative and intellectual strengths of diverse disciplines, including literature, art, creative writing, drama, film, music, philosophy, ethical decision making, anthropology, and history, in pursuit of medical educational goals’.26

자료 수집

Data collection

자료 분석

Data analysis

첫 번째 분석 단계는 서술적 분석으로 구성되었다. 내용 및 주제 분석27의 방법을 다음과 같은 광범위한 질문에 따라 사용하였다. 

• 무엇을 하였는가?

• 어떤 목표를 가지고? 

• 누구에게? 

• 얼마나 오래? 

• 어떻게 측정되었는가?

The first stage of analysis consisted of a descriptive analysis. We used methods from content and thematic analysis27 guided by broad questions such as: what was done? With what goal? To whom? For how long? How was it measured?

이 두 번째 분석은 예술과 인문학 기반의 교육 및 학습에 대한 다양한 개념 및 인식론적 이해를 식별하고 지도화하고자 하였다.

This second analysis sought to identify and map studies’ varying conceptual and epistemic understandings of arts and humanities-based teaching and learning.

가이딩 질문 포함: 

• 교육 개입의 원인이 되는 가정은 무엇인가? 

• 예술과 인문학에 기반을 둔 가르침은 무엇으로 가정되고 있는가? 

• 어떤 종류의 지식을 추구하며, 이러한 유형의 교육을 통해 어떻게 생성된다고 가정하는가?

Guiding questions included: 

what assumptions framed the teaching intervention? 

What is arts and humanities-based teaching assumed to be and do? 

What type of knowledge is sought and how is it assumed to be generated through this type of teaching?

우리는 의학과 관련하여 예술과 인문학이 어떻게 분산적으로 위치하는지를 파악하고 지도화하는 것을 목표로 제3차 분석을 실시하기로 했다.

We decided to carry out a third analysis, aiming to identify and map how the arts and humanities were discursively positioned in relation to medicine.

분석적 질문의 지침: 

• 샘플에서 예술과 의학 사이의 관계는 무엇인가? 

• 의학과 관련된 예술은 무엇인가? 

• 의학에 대한 예술의 가치가 형성되는 맥락은 무엇인가?

Guiding analytical questions were: what relationship between the arts and medicine is constructed in the sample? What is the arts in relation to medicine? What are the contexts in which the value of art for medicine is constructed?

결과 

RESULTS

의학 교육에서 예술과 인문학에 기반한 교육에 대한 양적 연구는 '어떻게 생겼는가'?

What does the body of quantitative research on arts and humanities-based teaching in medical education ‘look like’?

우리는 예술과 인문학을 가르치는 형태와 수업의 영향을 측정하는 방법에서 현저한 다양성을 발견했다. 이 다양성은 단지 기술 범주(방법, 학습 목표, 결과 등)를 사용하여 [의미 있게 묘사하고 합성할 수 없었다]. 

We found striking variety in the forms that teaching the arts and humanities took and in the ways in which the impact of the teaching was measured. This variety could not be depicted and synthesised meaningfully using merely descriptive categories (such as method, learning objective, outcome, etc.).

많은 연구들이 다양한 형태의 인문학적 가르침, 때로는 독특한 조합으로 채택되었기 때문에 이러한 서술적 방법으로 깔끔하게 분류되는 것을 거부하였다. 그들은 유사한 방법을 매우 다르게 채택했고, 넓은 범위의 결과와 차원에 걸쳐 측정을 수행했다.

Many studies resisted being neatly classified in these descriptive ways because they employed various forms of humanities teaching, sometimes in unique combinations; they employed similar methods very differently, and they took measurements across a broad spectrum and dimensions of outcomes.

예를 들어, '쓰기'를 사용한 연구에서 학생들은 다음과 같은 다양한 장르의 쓰기를 했다. 

• 저널링,33 

• 성찰문,34-36 

• 포트폴리오 작성,37 

• 중대 사건 보고서 작성,38 

• 대화형 반사 웹 블로그 쓰기,39 

• 시와 수필, 33,40,41 

• 리머릭 글,42 

• 학술 편지 쓰기,43 

• 관점 쓰기 대 임상적 추론 쓰기,41 

• 연극 훈련 내 서술적 글쓰기, 44 그리고 

• 그림에 대한 반응으로 1인칭 원근법 쓰기45

For example, in studies that used ‘writing’, students engaged in a variety of different genres of writing, such as 

• journaling,33 

• reflective writing,34–36 

• portfolio writing,37 

• critical incident report writing,38 

• interactive reflective web blog writing,39 

• poem and essay writing,33,40,41 

• limerick writing,42 

• academic letter writing,43 

• point-of-view writing versus clinical reasoning writing,41 

• narrative writing within theatre training,44 and 

• first-person perspective writing in response to a painting.45

학생들은 또한 그들의 글쓰기를 매우 다른 문제에 집중하고, 다음과 같은 다른 질문들에 응답하도록 요구 받았다. 

• 환자의 이야기를 하는 것,44 

• 기능 해부학 과정 내용 캡처,42 

• 감정 표현,45 

• 개인적인 문제, 진로 계획 및 강의실 토론에 대한 반응 기록, 33 또는 

• 임상에서 발생한 사건 및 경험에 대한 성찰,

• 지역 사회 교육

Students were also asked to focus their writing on very different issues and to respond to different prompts, such as by 

• telling a patient’s story,44 

• capturing functional anatomy course content,42 

• expressing feelings and emotions,45 

• recording personal issues, career planning and reactions to classroom discussions,33 or 

• reflecting on incidents and experiences during clinical38,39 and 

• community-located learning.

의학 인문학 교육의 이러한 다양성이 전통적인 체계적 검토 방법론에는 문제를 제시하지만, 그것은 그 현상의 독특하고 필수적인 특징이다. 따라서 우리의 첫 번째 핵심 발견은 의학 인문학을 단순한 서술적 범주에 기초하여 쉽게 체계화할 수 없다는 것이다.

Although this variety in medical humanities teaching presents a problem for traditional systematic review methodologies, it is a unique and vital feature of the phenomenon. Therefore, our first key finding is that the medical humanities as a whole cannot be easily systematised based on simple descriptive categories.

의학교육에서 예술과 인문학에 기반을 둔 가르침의 기초가 되는 가정은 무엇인가?

What underlying assumptions frame arts and humanities-based teaching in medical education?

우리의 두 번째 분석은 예술과 인문학으로 가르치고 배우는 방법에 대한 서로 다른 개념적 가정을 탐구했는데, 이것을 인식론적 기능이라고 불렀다.

Our second analysis explored the different conceptual assumptions about how teaching and learning with and through the arts and humanities occurs, which we called its epistemic functions.

(그림 2). 우리의 틀은 내용 중심에서 프로세스 중심적 용도에 이르는 연속체를 묘사하고 있으며, 의학교육에서 예술과 인문학의 세 가지 주요 초점을 지도화한다.

(Fig. 2). Our framework depicts a continuum that extends from content- to process-oriented uses and maps three main foci of the arts and humanities in medical education:

확인된 초점과 그 인식 기능은 고정 범주가 아닌 연속체에서의 방향을 표시한다. 즉, 어떤 연구는 두 가지 주요 지향 사이에 배치될 수 있다.

The identified foci and their epistemic functions mark orientations on a continuum, not fixed categories. That is, some studies could be placed between two main orientations,

전체 골격은 표 1에 나타나 있으며, 아래에 설명되어 있다.

The full framework is shown in Table 1 and described below.

표 2는 프레임워크를 사용하여 연구를 매핑할 수 있는 방법에 대한 예를 제공한다.

Table 2 provides an example of how studies can be mapped using the framework.

전문 기술로서의 예술: 기술 마스터

Art as expertise: mastering skills

이 첫 번째 그룹의 논문은, [시각적 기술을 배우기 위한 시각적 예술]이나 [신체 언어와 의사소통 기술에 대해 배우기 위한 연극]과 같이, 의대생들이 배워야 하는 특정한 기술이나 전문지식을 개발하는 데 도움이 되는 고유한 성격을 가진 것으로 언급되었다.

This first grouping of papers referred to a particular art form as having an inherent quality that is helpful in developing a certain skill or type of expertise that medical students need to learn, such as the visual arts to learn visual skills, or theatre to learn about body language and communication skills.

이 사용에서 예술은 [의사에게 중요한 특정 기술 집합과 지식을 쉽게 가르칠 수 있는 특정한 교수 도구 또는 기법]으로 이해된다. 예는 다음과 같다. 

• '예술에 기반한 관찰력 훈련'

• '사례 발표 스킬 향상을 위한 연극 훈련'

• '의대생들의 시각 진단 능력 향상을 위한 미술관찰 훈련'

• 해부학 과학에서 '지각적 기술'을 가르치기 위한 '도안 모델링 및 그리기 활동'

In this use, art is understood to be a specific teaching tool or technique that facilitates the teaching of a particular skill set and knowledge that is represented as important for physicians to possess. Examples included: 

• ‘arts-based observational skills training’,48 

• ‘theatre training to improve case presentation skills’,44 

• ‘formal art observation training [to improve] medical students’ visual diagnostic skills’46 and 

• ‘plasticine modelling and drawing activities’49 to teach ‘metacognitive skills’49 in anatomical sciences.

이 그룹에 대한 교육적 개입은 종종 '숙련된 마스터'(즉, 전문 배우, 작가, 비주얼 아티스트) 또는 특별한 전문지식의 장소(뮤지엄, 연극학과)와의 학제간 협업을 포함하는데, 이는 고품질의 교육적 개입을 암시하는 데 사용된다.

Teaching interventions in this grouping often involved interdisciplinary collaboration with ‘skilful masters’ (i.e. professional actors, writers, visual artists) or places of special expertise (museum, theatre department), which is used to imply a teaching intervention of high quality.

예를 들어, 연극 교수들은 의대생들에게 '신체적 표현력, 신체 언어, 성악적 존재감'을 가르쳤는데, 학생들이 '임상적 공감 기술'을 배울 수 있도록 하기 위해서 말이다.50

For instance, theatre professors taught medical students ‘skills in physical expressiveness, body language, and vocal presence’50 in order that the students might learn ‘clinical empathy techniques’.50

예술을 전문지식으로 도입하는 것은 학생들이 예술로부터 특정 내용과 전문지식을 습득함으로써 '최상'의 방식으로 관찰, 추론, 보고 또는 의사소통하는 방법을 배우게 된다고 가정한다. 습득한 기술은 일반적으로 눈에 잘 띄고 개인이 소유할 수 있으며 합의된 기준, 객관적 지표 및 규범에 기초한다(예: '최상의' 관찰은 존재하는 모든 것을 관찰하는 것이다).

Invocation of art as expertise assumes that students, through engaging with art, learn how to observe, reason, report or communicate ‘best’ by adopting a particular content and expertise. Acquired skills are typically visible, can be possessed by an individual and are based upon agreed standards, objective indicators and norms (e.g. observing ‘best’ is observing ‘all’ things present).

대화로서의 예술: 상호작용, 투시 및 관계 목적

Art as dialogue: interaction, perspective taking and relational aims

두 번째 논문은 교육에 활용할 수 있는 예술의 관계적, 의사소통적, 관점적 측면에 초점을 맞췄다. 이러한 그룹에 예술을 참여시키는 것은 '관점 바꿔보기'를 지원하고, 학생들이 자신과 환자의 경험에 대한 통찰력을 얻고, 관련을 맺고, 성찰할 수 있도록 하는 능력을 촉진하는 것으로 설명되어 있다.

The second group of papers focused on relational, communicative and perspective-based aspects of arts that can be harnessed for teaching. Engaging in art in this grouping is described as supporting ‘perspective taking’ and facilitating students’ ability to gain insight into, relate to and reflect upon their own and patients’ experiences in order to create attitudinal shifts.

특히 환자의 질병 경험과 일상 세계에 대한 이해와 통찰력을 얻는 데 중점을 둔다. 예를 들어, 작가들은

• 의대생들이 문학 고전 단편 소설의 프리즘을 통해 정신 분열증에 대한 이해를 돕기 위해 예술을 사용했다. 

• '정신과 레지던트들을 위한 미국 문화 강좌의 기초로서 필름을 사용하는 것'에 대해 보도되었다.

• '농촌 의사들이 쓴 많은 문헌 자료들'은 농촌 실천의 도전에 대한 토론과 성찰을 촉발한다.

Particular emphasis is placed on gaining understanding and insight into the patient’s illness experience and life world. For example, authors 

• used art to help ‘medical students understand... psychosis through the prism’51 of a literary classic short story, 

• reported on ‘the use of film as the basis of an American culture course for psychiatric residents’,52 or 

• ‘used literary sources, many written by rural physicians, to trigger discussion and reflection’40 about the challenges of rural practice.

이 그룹의 연구에서 배움의 주안점은 개인의 능력보다는 인간관계에 있었다. 여기서 예술은 대화적 질dialogical quality과 관련하여 사용된다. 예술은 환자나 자기자신과 같은 특정 관점에 대한 인식을 높이고, (종종 성찰을 통해서) engage하게 된다. 예술에 engage한다는 것은,

• 생물의학 지식을 완성시키고, 성찰과 전체적인holistic 이해를 증진시켜서, 학생들이 공감하고, 전문적이고, 문화적으로 민감하고, 자상한 의사가 되도록 촉진한다. 이러한 의사는 '전인적 진료를 하는 사람'이며, 따라서 결과적으로 환자를 '단순히 진단 및 치료적 도전으로 환원시키지 않고' 환자와의 관계를 더욱 개선시킬 것이다.

In this group, the main focus of learning was on relationships rather than individual skills. Art here is used with regard to its dialogical quality: it is used to increase awareness of and to relate to a particular perspective such as the patient or the self, and then to engage with it, often through reflection. Engaging with arts is seen as 

• completing biomedical knowledge, enriching reflection and holistic understanding, and, thus, facilitating students to become empathic, professional and culturally sensitive and caring physicians, who ‘engage in whole-person care’53 and, as a result, will have improved relationships with their patients ‘rather than simply reducing them to a diagnosis or treatment challenge’.54

이 그룹 내에서 두드러진 교육 목표는 의대생들이 함께 일하기 어렵거나 보상받지 못할 정도로 선입견을 가질 수 있는 환자 그룹에 대한 연민을 이끌어내는 것이었다.

Within this grouping, a prominent teaching objective was to elicit compassion for a patient group that medical students might preconceive as difficult or unrewarding to work with.

표현과 변혁으로서의 예술: 개인의 성장과 행동주의

Art as expression and transformation: personal growth and activism

세 번째 그룹에서, 예술을 교육에 사용하는 것은 [학생들이 자신의 감정에 접근, 표현, 탐구 및 대처할 수 있도록 돕고, '공개적으로 논의되는 일이 거의 없는' 이슈를 위한 공간을 만들어 의료 문화를 변화시키기 위한 것]이었다. 예술은 감정적 학습을 자극하는 경험을 제공하고, 학생들이 전문직으로 성장하는 과정에서 [자아 인식, 자아 발견, 개인적 성장]을 가르치는 데 도움이 된다고 가정되었다. 

In a third grouping, the use of art in teaching was intended to help students access, express, explore and deal with their emotions, and to transform medical culture by creating space for issues that ‘are seldom discussed openly’.59 Art was assumed to provide experiences that stimulate emotional learning and to be beneficial in teaching students self-awareness, self-discovery and personal growth on their way to becoming professionals. 

개인의 성장과 통찰이라는 본질적 가치 외에도, 이 연구 그룹에서 예술을 사용하는 것은 또한 [의사가 되는 과정에서의 어려움이나 억압되는 측면을 토론하고 처리하는 공간을 만드는 것]으로 설명된다. 예를 들면 죽음과 죽어감, 고통, 자신의 실수와 자신의 취약점, 그리고 의학의 한계 등에 대처하는 것 같은 것.

In addition to the intrinsic value of personal growth and insight, the use of art in this group of studies is also described as creating space in which to discuss and process difficult and often suppressed aspects of being a physician, such as dealing with death and dying, suffering, one’s mistakes and own vulnerabilities, and medicine’s limitations.59,60

그러므로, 이 그룹의 많은 논문들은 예술을 해방적 목표를 가지고 있으며, 의사 소진, 스트레스 및 공감 감소와 같은 체계적인 문제에 더 잘 대처하기 위해 필요한 정서적 회복력을 학생들에게 부여하는 수단으로 설명한다. 예술을 이용하는 것은 학생들이 '의학의 의미와 목적'을 찾고 보호하도록 돕는 방법으로서도 그려지고 있으며, 전통적 위계구조와 무너뜨리고, '공유된 인류애shared humanity를 강조하는 쌍방향 학생-수용자 협업 학습 노력'을 촉진함으로써 의학교육을 개혁하는 방법으로도 그려지고 있다.60

Thus, many papers in this grouping describe art as having emancipatory goals and as providing a means of equipping students with the emotional resilience they require to better face systematic problems, including physician burnout, stress and decreasing empathy. The use of art is also portrayed as a way to help students find and protect ‘meaning and purpose in medicine’59 and as a way to reform medical education by breaking with traditional hierarchies61 and facilitating a ‘bidirectional student–preceptor collaborative learning effort that emphasises a shared humanity’.60

논쟁적 맥락: 의학과 관련하여 예술과 인문학은 어떻게 구성되고 배치되는가?

Discursive contexts: how are the arts and humanities constructed and positioned with regard to medicine?

표3

Table 3.

내재적인 것으로 보는 관점

Positioning as intrinsic

일부 논문은 예술과 인문학을 [의학의 본질적이고 자연적인 부분](예: 48,61,62,62)으로 구성하고 배치했으며, 때로는 [의학이나 의학의 일부를 예술 그 자체로 구성]하기도 했다.33,63 이 담론은 [예술과 인문학은 항상 의학의 본질적인 부분이었기 때문에, 예술, 인문학을 기반으로 하는 가르침은 새로운 것도 아니고, 잠깐 하고 말 유행도 아니라는 것]을 암시한다. 오히려 의학교육에서 예술과 인문학을 이용하는 것은 객관적이고 역사적 사실, 그리고 그 학문 창시자들의 권위에 의해 뒷받침될 수 있는 진지한 토대와 뿌리를 가지고 있다. 이러한 논리에 따라, 의학교육에서 예술과 인문학을 사용하는 쪽으로의 전환(re)turn은 합리적이고 논리적인 단계로 그려진다. 예술과 인문학을 의학의 본질로 위치시키는 것은 의료인문학이라는 학문분야를 잃어버린 혹은 버림받은, 그러나 자연스럽고 본질적이며 내재적인 부분으로 본다.

Some papers constructed and positioned the arts and humanities as an intrinsic and natural part of medicine (e.g.48,61,62), at times framing medicine or parts of it as an art itself.33,63 This discourse implies that, as the arts and humanities have always been an essential part of medicine, arts and humanities-based teaching is neither something new nor a potentially short-lived, fashionable teaching trend. Rather, using the arts and humanities in medical education has serious foundations and roots that can be backed up by the authority of objective, historical facts and the discipline’s founders. Following this rationale, a (re)turn to the use of the arts and humanities in medical education is portrayed as a reasonable and logical step. Positioning the arts and humanities as intrinsic to medicine constructs the discipline as a lost or abandoned, but natural, essential and inherent part of medicine.

따라서 의학과 의료인문학의 관계는 의료인문학을 의학에 '입양'하기 위한 새로운 무언가가 아니라, 회복, 재발견 또는 활성화하기 위한 어떤 것으로 구성된다.

the relationship between the two is constructed not as something new to ‘bring into’ medicine, but rather as something to reclaim, rediscover or revitalise.

첨가적인 것으로 보는 관점

Positioning as additive

두 번째 담론은 예술과 인문학을 [의학 및 임상 실습의 현대적 맥락과 도전에 대응하기 위하여, 의학이 끌어낼 수 있는 가치 있는 것]으로 구성했다. 예술과 인문학은 현재의 의학을 새로운 시각과 중요한 부가적 지식으로 보완하고, 보다 광범위한 사회문화적, 정치적 변화에 대응할 수 있는 유용한 자원으로서 강조되고 있다.

A second discourse constructed the arts and humanities as something of value upon which medicine can draw in response to contemporary contexts and challenges of medicine and clinical practice. The arts and humanities are emphasised as supplementing current medicine with new perspectives and important additional knowledge, and as a useful resource to respond to broader socio-cultural and political changes.

이 담화에는 일반적으로 두 가지 주요 합리성이 채택되었다. 

• 첫째, 예술과 인문학을 사용하여 non-technical 또는 soft skill(의사소통 기술 등)과 관련된 임상 실습의 중요한 역량을 가르칠 수 있으며, 이런 것을 현재 인증 기관과 전문 기관(예: 53,64–66)이 강조하여 요청하고 있다. 

• 둘째로, 예술과 인문학은 의학의 생물학적 지식 기반을 확장시키는 지식을 가르치는 데 이용될 수 있다. 이러한 확장은 의학의 사회정치적 맥락의 변화로 인해 점점 더 필요한 것으로 묘사되고 있으며, 치료의 질을 향상시키는 것으로 가정된다.

Two main rationales were typically employed in this discourse. 

• Firstly, the arts and humanities can be used to teach important competencies for clinical practice that relate to non-technical or soft skills (such as communication skills), which are currently emphasised and requested by accreditation bodies and professional organisations (e.g.53,64–66). 

• Secondly, the arts and humanities can be used to teach knowledge that extends medicine’s biomedical knowledge base. This extension is portrayed as increasingly necessary as a result of changes in medicine’s socio-political contexts and is assumed to improve the quality of care.

예술과 인문학을 첨가물additive로 이해한다면, 의료인문학은 의학 자체로는 갖지 못한 가치 있는 것을 제공하는 역할로서 강조될 수 있다. 의학 교육에 있어서 다른 강력한 담론을 이용하는 것은 예술과 인문학을 의학의 내부(into)로 들여올(bring) 수 있는 문이 열린 것을 나타내는 것 같다.

Positioning the arts and humanities as additive makes it possible to emphasise the arts and humanities as offering something valuable that medicine does not have on its own. Drawing upon other powerful discourses in medical education seems to represent the opening of a door through which to ‘bring’ the arts and humanities ‘into’ medicine.

비록 이 이론이 예술과 인문학이 의학에 가치 있는 무언가를 제공하는 것으로 윤곽을 잡지만, 그것은 [은연중에 예술은 의학의 '외부'에 있어서, 의도적으로 '가지고 들여와야' 하거나, 의학이 호의적으로beneficially 끌고 들어오게 되는 어떤 것]으로 위치하도록 한다. 여기서 예술과 인문학은 자원으로 [구성]되나, 의학이라는 학문분야의 핵심으로 자리 잡거나, 그렇게 고려되지 않는다.

Although this rationale outlines the arts and humanities as offering something valuable to medicine , it implicitly positions the arts as something ‘outside’ medicine and as something that needs to be ‘brought (in)to’ or can be beneficially drawn upon by medicine. Here, the arts and humanities are constructed as a resource, but not positioned and considered as a core part of the discipline.

치료적인 것으로 포지셔닝

Positioning as curative

제3의 담론은 현재의 의학과 [의학 교육의 적자, 결핍, 병폐를 해결할 수 있는 의학의 구제책]으로 예술과 인문학을 구성한다. 이 담화에는 두 가지 주요한 합리성이 사용된다.

A third discourse constructs the arts and humanities as a remedy for medicine that can address the deficits, lacks and ills of current medicine and medical education. Two main rationales are used in this discourse.

첫째, 예술과 인문학은 의사들이 자신의 인간성과 더 많이 접촉할 수 있도록 돕고, 의학의 '인간적인 면'을 위한 공간을 만들어줌으로써 의학을 보다 '인간적'으로 만드는 힘을 가진 것으로 구성된다. 예술과 인문학이 죽음과 실패와 고통의 인간 경험을 다루기 때문에, 그들은 임상의료에서 침묵된 한계와 현실을 다룰 수 있는 학습을 허용한다고 생각된다.

Firstly, the arts and humanities are constructed as having power to make medicine more ‘human’ by helping doctors become more in touch with their own humanity and by creating space for the ‘human side’ of medicine. As the arts and humanities address the human experiences of death, failure and suffering, they are thought to allow learning that can deal with the silenced limitations and realities of clinical practice.

둘째, 예술과 인문학은 '힐링'으로 구성되는데, 의료인문학은 의학 교육에서 지배적이고 전통적인 권력 구조를 비판하고, 과학기술-과학 성공 서사 안에서 억압된 문제에 대해 [대안과 대조constrasting를 제공]하고, [목소리를 줌으로써] 의학과 의학 교육을 심화시킬 수 있기 때문이다. 

Secondly, the arts and humanities are constructed as ‘healing’ and as furthering medicine and medical education by critiquing dominant and traditional power structures in medical education, and by providing alternatives and contrasting and giving voice to issues suppressed within a technico-scientific success narrative. 

예를 들어 예술은 

• 의료 훈련을 'revitalise'할 수 있는 것이다.

• 의학적인 일에 의미와 인본주의적인 가치관을 보존하고, 되돌리도록 한다.

• 위계적인 의과대학의 전통과 결별하는 것이다.

• 과도하게 '팩트와 숫자'에 기반한 교육에 '숨쉬는 삶'을 가져오는 것이다.

Art is, for instance, 

• described as able to ‘revitalise’ medical training, 

• ‘preserving’ and ‘bringing back’ meaning and humanistic values into medical work,59,70 

• ‘breaking with’ hierarchical medical school conventions, and 

• ‘breathing life’ into learning that is overwhelmingly devoted to a ‘facts and figures’-based education.61

이 담론에서 지적하는 의학과 의학 교육의 '잘못'과 '질환'은 다음과 같다.

• 잠재 교육과정, 39,71,72 

• 의사가 되는 과정의 위험(예: 공감, 소모, 우울증 감소) 

• 비인간적이거나 비인간적인 노동 조건, 

• 현 의학교육의 비평과 단점

Authorities and reference points in this discourse are the ‘wrongs’ and ‘ills’ of medicine and medical education, such as 

• the hidden curriculum,39,71,72 

• the risks of being a physician (e.g. decreasing empathy, burnout, depression),59,70,73 

• the inhumane or dehumanising working conditions,59 and 

• the critiques and shortcomings of current medical education.61,74 

이 담론에서, 예술과 인문학은 의학과 의학문화를 '개선하는better' 데 사용될 가치를 부각시키고, 현저한 기술-과학적 교육을 '반대'하며, 전통적 권력구조를 비평하는 것도 이러한 '잘못된 것'을 분명히 하고, 가시화시키는 수단이 될 수 있다.

In this discourse, highlighting the value of using the arts and humanities to ‘better’ medicine and medical culture, ‘countering’ a prominent technical–scientific education, and critiquing traditional power structures may also be a means of articulating these ‘wrongs’ and of making them visible.

예술과 인문학이 치료적 지위를 갖는 것은 [(내부로부터의) 비평의 자세와 변화의 의제]에서 출발한다. 그것은 인문학을 종종 암묵적인 문제에 대한 치료와 해결책으로 바라보며, 그리고 변혁적인 정치적 잠재력을 가지고 있는 것으로 구성한다. 종종, 예술과 인문학은 기술 중심 과학 의학과 의학 교육의 우위에 대항할 수 있는 반대로 자리 잡는다. 이 담론은 현재의 의학에 대한 비평으로서, 그리고 예술과 인문학의 강점을 입증하기 위해 의학과 의학 교육에 대한 '부족 관점deficit perspective'을 취하기 때문에, 이러한 결손을 형성하는 다른  조건들에 대한 주의를 흐리게 할 수 있다.

Positioning the arts and humanities as curative starts from a position of critique (from within) and an agenda of change. It constructs the humanities as a remedy and solution to (fight) an often implied problem and as having transformative political potential. Often, the arts and humanities are positioned as an opposite that can counteract the dominance of techno-scientific medicine and medical education. Because this discourse takes a ‘deficit perspective’ on medicine and medical education to demonstrate the strength of the arts and humanities and as a critique of current medicine, it may obscure attention paid to other conditions that frame these deficits.

예술에 대한 지나친 강조는 의료와 의료 교육의 광범위한 맥락을 형성하거나 기여하는 다른 힘을 모호하게 할 수 있다.

overemphasis on the arts as a ‘solution’ may obscure other forces that form or contribute to the broader contexts of health care and medical education.

고찰

DISCUSSION

우리의 범위 지정 검토 결과 의대 인문학 수업의 형태와 측정의 양 측면에서 현저한 차이를 발견했다.

Our scoping review found striking variety in both the form and the measurement of medical humanities teaching.

우리는 의학 인문학 교육에 대한 검토가 카테고리화를 통한 일련의 전통적인 접근방식을 취했을 때, 마스킹이나 균질화가 생기는 것에 대해 신중해야 한다고 주장할 것이다.

We would argue that reviews of medical humanities teaching should be cautious about masking or homogenising the array of conventional approaches through descriptive categorisation.

우리의 개념적이고 변칙적인 분석적 결과의 추구는 [의료인문학 교육이 효과적인가] 하는 질문에서 벗어나, [의료인문학의 가르침은 무엇에 대하여, 왜 효과를 내고자 하는가]라는 무엇인가 하는 질문을 향해야 함을 보여준다.

The thrust of our conceptual and discursive analytical results indicates that we should turn away from the question of whether medical humanities teaching is effective5,6 to the question of what medical humanities teaching is trying to effect, and why.

우리는 의학교육에서 예술과 인문학의 인식론적 기능을 다음과 같이 정의하기를 제안한다: 

예술과 인문학으로부터, 예술과 인문학과 함께, 그리고 예술과 인문학을 통해(from, with, through) 배우는 방법에 대한 가정, 가치, 믿음이다. 다음과 관련이 있다.

• 어떤 교육은 예술과 인문학의 어떤 기능을 적용invoke 시키는지, 

• 어떤 종류의 지식이 생성되고 학습되어야 하는지, 

• 주요 교육 및 학습 주안점(내용 또는 프로세스 지향)이 어디에 있는지

We propose to define the epistemic functions of the arts and humanities in medical education as: 

the assumptions, values and beliefs about how learning from, with and through the arts and humanities occurs in terms of 

• which functions of the arts and humanities the teaching invokes, 

• which types of knowledge are to be generated and learned, and 

• where the main teaching and learning focus lies (content- or process- oriented).

이 연속체는 흥미롭게도 후기실증주의, 사회 구성론자, 비판론 연구 방법론의 연속적인 연구 방법론과 병행된다(그림 3.75).  두 연속체 사이의 대응은 왜 지배적인 연구 방법론이 의학 인문학 교육의 일부 기능을 가시화시키지만 다른 것들은 보이지 않게 만드는지를 설명할 수 있다.

This continuum, interestingly, runs parallel with the continuum of research methodologies from post-positivist, social constructivist and critical theory research methodologies (Fig. 3).75 The correspondence between the two continua may explain why dominant research methodologies make some functions of medical humanities teaching visible, but render others invisible.

예를 들어, 예술과 인문학의 [프로세스 지향적 사용](연속자의 오른쪽)은 학습자와 지식 사이에 대화적이고 상호작용적이며 변형적인 과정을 유발하는 것을 추구한다. 이러한 접근방식은 지식, 학습 과정 및 결과가 학습자와 분리되지 않는다고 가정한다. 학습 성과를 가능한 한 개인으로부터 객관적이고 독립적으로 측정하는 것을 목표로 하고, 학습자를 표준화하고 계량화할 수 있는 결과를 측정하고자 하는 지배적인 포스트 실증 연구 방법론은 프로세스 지향 의학 인문학 강의의 기본적인 인식론적 가정과 상충한다.

For example, process-oriented uses of the arts and humanities (the right side of the continuum) seek to invoke a dialogical, interactive and transformative process between the learner and the knowledge. These approaches assume that the knowledge, the learning process and the outcomes are not separate from the learner. Dominant post-positivist research methodologies, which aim to measure learning outcomes as objectively and independently from the individual as possible, and which seek to standardise learners and measure quantifiable outcomes, conflict with basic epistemological assumptions of process-oriented medical humanities teaching.

이와는 대조적으로, 예술과 인문학의 [내용 지향적 사용](연속체의 왼쪽)은 (동일한 인식론적 토대에 기반한) 전통적인 후기 실증주의적 체계적 검토 방법론의 측정 요건을 보다 쉽게 충족시킬 것이다. 우리의 샘플에서, '더 높은 수준의 증거'(예: RCTs)를 전달하는 것으로 일반적으로 간주되는 결과 연구는 일반적으로 특정 기술을 향상시키기 위해 예술이 사용되는 연속체의 왼쪽에 있었다.

By contrast, content-oriented uses of the arts and humanities (the left side of the continuum) will meet the measurement requirements of traditional post-positivist systematic review methodologies more readily because they are based on the same epistemological foundations. In our sample, outcome studies that are commonly considered to deliver a ‘higher level of evidence’ (such as RCTs), typically fell on the left side of the continuum in which art is used to improve a particular skill set.

검토된 문헌에서 우리의 세 가지 담론적 위치 - 본질적, 부가적 또는 치료적 위치 - 에 대한 연구 결과는 '효과성 질문'에 추가적인 빛을 비추어준다. 비에스타가 말했듯이 '무엇을 효과적인 것으로 간주할 것인가는 교육적으로 바람직한 것이 무엇인가에 대한 판단에 결정적으로 달려 있다.'76 이 scoping review는 [의학 교육에서 교육적으로 바람직한 것은 가치중립적이지 않으며, 의학이라는 학문에서 보다 광범위하게 중요하다고 여겨지는 것에 의해 추진되고 형성된다]는 것을 시사한다. 따라서 의학과 예술과 인문학의 관계가 어떻게 형성되는지가 중요하다.

Our findings of three discursive positions in the reviewed literature – medical humanities teaching as intrinsic, additive or curative – shine additional light on the ‘effectiveness question’. As Biesta states, ‘What counts as ‘effective’ crucially depends on judgements about what is educationally desirable.’76 This scoping review suggests that what is educationally desirable in medical education is not value-free and neutral, but is driven and shaped by what is considered important to the discipline of medicine more broadly. Therefore, it matters how the relationship between medicine and the arts and humanities is constructed.

우리가 파악한 세 가지 입장은 각각 의학을 위한 의학 인문학 가치에 대한 다른 생각을 구성하며, 다른 조치를 취해야 한다고 요구한다. 잃어버린 뿌리를 되찾아야 하는가, 현대 의학의 사회정치적 맥락에 대응할 수 있는 의학인문학의 잠재력을 부각시켜야 하는가, 아니면 의학인문학을 교과과정에 접목시켜 의료문화 내부의 근본적인 변화를 창출하는 것을 목표로 삼아야 하는가? 이처럼 서로 다른 가치적 위치value position를 명시한다면 '효과성 질문'이 가치 중립적이고, 맥락의존적이지 않다는 가식을 피할 것이다. 그리고 이것이야말로 이 영역에서 '효과적인' 탐구에 대한 생산적 논쟁을 촉진하기 위한 필수 전제 조건이다.

Each of the three possible positions we identified constructs different ideas about the value of medical humanities for medicine and calls for different actions to be taken. Should we reclaim lost roots, highlight the potential of the medical humanities to respond to contemporary medicine’s socio-political contexts, or aim to integrate the medical humanities into the curriculum to create fundamental change within medical culture? Making these different value positions explicit will avoid the pretence that effectiveness questions are value- and context-free – a necessary precursor to fostering productive debate about the ‘effectiveness’ quest in this domain.

의학 인문학사를 검토하며, Bleakley 는 최근 의료 인문학 가치에 대한 서로 다른 아이디어와 입장들의 존재(그리고 이들 사이의 경쟁)에 대한 우리의 발견에 반향을 일으키는 분야 발전 내의 다른 파장을 개념화했다.3 예를 들어, Bleakley 는 제2의 물결로서, 의학 인문학이 현재 부상하고 있다고 본다. Bleakley에 따르면 의료인문학은 '중요한 교육적 개입으로... 환원적인 생의학적 과학의 대척점으로서' 존재하며, 이는 이번 연구에서 추적한 의료인문학의 '치료적' 위치와 부합한다.

Reviewing the history of medical humanities, Bleakley recently conceptualised different waves within the field’s development which resonate with our findings of the existence of – and competition among – different ideas and positions about the value of medical humanities.3 For instance, Bleakley sees a second wave of medical humanities as currently emerging, which promotes ‘the medical humanities as a critical educational intervention... as a counterpoint to reductive biomedical science’,3 which resonates with the ‘curative’ position traced in our selected sample.

결론

CONCLUSIONS

의학 인문학 교육은 효과와 효용 면에서 그 자체를 설명해야 한다는 목소리가 높아지고 있다. 우리는 성과에 기반한 의학 교육의 시대에 이 소명의 힘을 인정한다. 그러나 우리는 의료인문학이 무엇이고 무엇을 하려고 하는지에 대한 이해가 없는 상태로 의학 인문학 교육이 효과적인지 질문하는 것에 대한 의문을 제기하였다. 

Medical humanities teaching is increasingly called to account for itself in terms of effectiveness and utility. We acknowledge the power of this call in an era of outcomes-based medical education. We do, however, call into question the relevance of asking whether medical humanities teaching is effective before first understanding what medical humanities teaching is and what it is trying to do.

9. Wilkinson TJ, Wade WB, Knock LD. A blueprint to assess professionalism: results of a systematic review. Acad Med. 2009; 84: 551–558. https://doi.org/10.1097/ACM.0b013e31819fbaa2 PMID: 19704185

19. Goldie J. Assessment of professionalism: a consolidation of current thinking. Med Teach. 2013; 35: e952–956. https://doi.org/10.3109/0142159X.2012.714888 PMID: 22938675

© 2016 John Wiley & Sons Ltd.

아무도 보지 않은 문제: 의학교육의 철학적 탐험(Teach Learn Med, 2020)

Problems No One Looked For: Philosophical Expeditions into Medical Education

Mario Veena,b and Anna T. Ciancioloa

의학교육에는 또한 진흙투성이의 실천 영역, 그 자체의 비정형적인 발표, 의도하지 않은 결과, 그리고 설명해야 할 구조적 이상이 있다. 복잡성과 불확실성의 이러한 영역은 우리 중 많은 이들에게 친숙하게 느껴질 것이다.

Medical education also has its muddy zones of practice, its own atypical presentations, unintended outcomes, and structural abnormalities for which to account. These areas of complexity and uncertainty likely feel familiar to many of us:

의사의 전문적 판단을 분석해보면, 수행능력과 환자 결과가 최적이 되려면, 의사들이 상황을 인지하고 당면한 문제를 재구성하고 그에 따라 조치를 취해야 하는 ["복잡한 실천 영역"의 인식 및 "속도 늦추기" 능력]에 달려 있음을 시사한다.1 외과의사들 사이에서는 수술실에서 배경음악을 끄고, 수다를 잠재우고, 재집결하기 위해 잠시 멈추는 등의 느린 조짐이 나타나고 있다.2 또한 속도를 늦추는 것은 시술 및 환자 특유의 복잡성과 불확실성에 대한 의사의 예상에 의해 촉발된 능동적인 계획일 수 있다.2

Analysis of physicians’ expert judgment suggests that optimal performance and patient outcomes depend on physicians’ ability to recognize “muddy zones of practice,”2(p.1019) and “slow down” to attend to the situation, reframe the problem at hand, and take action accordingly.1 Among surgeons, signs of slowing down include turning off background music in the operating room, silencing chatter, and pausing to regroup.2 Slowing down also may be proactively planned, prompted by the surgeon’s anticipation of procedure- and patient-specific complexities and uncertainty.2

하지만 의학 교육에서 "필요시 속도를 늦추는 것"은 어떤 모습일까?

But what does “slowing down when we should”1 look like in medical education?

철학은 우리가 [새로운 방식으로 사물을 보고(그리고) 할 수 있도록] [겉보기에는 명백해 보이는 실천에 대한 기본적인 질문을 하기 위해] [복잡하고 불확실한 시기에 잠시 멈추는 근본적인 접근법]이라고 볼 수 있다. 우리가 그것을 알고 있든 몰랐든 간에, 우리가 의학 교육에 사용하는 기본 개념은 철학으로 추적될 수 있다.

Philosophy can be seen as the fundamental approach to pausing at times of complexity and uncertainty to ask basic questions about seemingly obvious practices so that we can see (and do) things in new ways. Whether we are aware of it or not, basic concepts we use in medical education can be traced to philosophy.

예를 들어, 

• 의학이나 교육에서 우리가 하는 일은 '원인'과 '효과'가 확인되는 체계적인 경험적 연구에 기초해야 한다는 생각은 흄과 로크.5로 거슬러 올라갈 수 있다. 

• 지식, 기술, 태도 면에서 학습자에 대해 생각하는 것은 플라톤과 아리스토텔레스로 거슬러 올라갈 수 있다. 

• Kolb's,6과 같은 성찰 모델들은 그의 연구를 헤겔의 철학에 기초했던 7세의 John Dewey로 거슬러 올라갈 수 있다.

For example, 

• the idea that what we do – in medicine or in education – should be based on systematic empirical research whereby ‘causes’ and ‘effects’ are identified can be traced back to Hume and Locke.5 

• Thinking about learners in terms of knowledge, skills, and attitudes can be traced back to Plato and Aristotle. 

• Models of reflection, such as Kolb’s,6 can be traced back to John Dewey,7 who in turn based his work on Hegel’s philosophy.

이 글에서는 의학 교육의 속도를 늦추는 철학적 접근법을 설명하며, 철학적으로 상황을 보는 것이 어떻게 우리의 주의를 집중시키기 위해 잠시 멈추고, 당면한 문제를 재구성하고, 그에 따른 조치를 취하는 데 도움이 되는지 보여 준다.

In this article, we illustrate a philosophical approach to slowing down in medical education, demonstrating how viewing a situation philosophically helps us pause to focus our attention, reframe the problem at hand, and take action accordingly.

레지던트 문제에 대한 철학적인 접근은 반격한다.

A philosophical approach to the problem of resident teach back

내과 레지던트 프로그램 책임자가 문제에 직면했다고 상상해보라: 관찰에 근거한 평가를 해보니, 검사실을 떠나기 전에 전공의들은 계속해서 "teach back"에 실패한다. 즉, 자기가 맡은 환자가 [자신의 상태 또는 다음 치료단계]에 대한 이해 수준을 가늠하지 못한다.

Imagine an internal medicine residency program director faced with a problem: observation-based assessments reveal that before leaving the examination room, residents consistently fail to “teach back,” or gauge their patients’ understanding of their condition and what the next steps in their treatment plan will be.8

프로그램 감독이 개입하기로 결정한다.

the program director decides to intervene.

프로그램 감독이 선택하는 개입은 그들이 당면한 문제를 어떻게 공식화formulate했느냐에 달려 있다.

The intervention the program director chooses depends on how they have formulated problem at hand.

그 개입은 티치백 방법에 레지던트 컨퍼런스에 할애하는 것과 공식적으로 티치백 기술을 개발하기 위한 모의 환자 만남을 관리하는 것으로 구성된다고 하자. 이 경우 문제는 지식격차로 진단되었다: 'Trainee는 어떻게 하는지를 모르기 때문에 못 하는 것이다.' 그러나 그 개입이 성공적이지 못하고, 주민들은 여전히 반성을 하지 않으며, 프로그램 디렉터는 그 문제를 동기부여적 결함으로 재구성한다: 'Trainee들이 방법은 알고 있지만, 그들은 그것을 하도록 동기부여가 되지 않는다; 그들은 그것이 왜 중요한지 이해하지 못한다.'

Let us say that the intervention comprises dedicating a resident conference to the teach back method and administering a simulated patient encounter to formally develop teach back skills. In this case, the problem has been diagnosed as a knowledge gap: ‘Trainees do not know how.’ But imagine that the intervention is not successful, residents still do not teach back, and the program director re-formulates the problem as a motivational deficit: ‘Trainees know how, but they are not motivated to do it; they do not understand why it is important.’

지금까지 본 예에서 프로그램 디렉터는 전공의들이 의사-환자 커뮤니케이션을 제대로 하지 못하는 것은 지식, 기술, 태도의 부족 때문이라고 보았다. 이것은 명백해 보인다. 하지만 철학적인 것은 명백한 것에 의문을 제기하는 것이니까, 여기서 함께 그렇게 해서 무슨 일이 일어나는지 봅시다. 레지던트들은 어떻게 teach back이라는 업무를 경험하고 있는가? 그들은 문제를 인식하고 있는가? 만약 그렇다면, 어떻게 정의내리고 있는가? 

In our example so far, the program director has seen residents’ failure to enact satisfactory doctor-patient communication as a lack of requisite knowledge, skills, and attitudes. This seems obvious. But being philosophical is about questioning the obvious, so let us do that together here and see what happens: How does the resident experience the task of teaching back? Do they see a problem, and if so, how do they define it? 

레지던트는 학습자이자 실무자로서 잠재적으로 상충할 수 있는 여러 역할을 갖는 시험실에 들어가는 것으로 보일 수 있다. 환자에 대한 그들의 관계와 이것이 다시 가르치는 데 도움이 되는지 여부는 그들이 이러한 역할을 어떻게 탐색하느냐에 따라 달라질 수 있다. 예를 들어, teach back을 하려면, 전공의는 환자의 치료에 대한 주인의식을 느낄 필요가 있을 수 있다. 하지만 전공의들은 실제로는 궁극적으로 책임을 지는 주치의에게 무엇을 해야할지 확인받아야 한다는 것을 알고 있다. 게다가, 주치의는 더 경험이 많은 의사로서, 전공의의 계획에 동의하지 않을 수도 있다. 

The resident may be seen as entering the exam room embodying multiple, potentially conflicting roles: learner and practitioner. Their relationship to the patient and whether this is conducive to teach back may depend on how they navigate these roles. For instance, in order to teach back, the resident may need to feel ownership of the patient’s care,11 yet residents know they must verify what they do with the attending, who is ultimately responsible. Moreover, the attending is the more experienced practitioner, who may disagree with the resident’s plan. 

이런 맥락에서, 특히 나중에 계획이 수정될 필요가 있다면, teaching back은 역할의 경계를 위반하는 것으로 구성될 수 있다: 실제로는 연습생인데, 책임질 의사처럼 행동하는 것이다. 만약 teaching back 문제가 [역할 갈등]의 하나라면, 그것은 [역할 경계를 명확히 하고 탐색하는 것]을 목표로 하는 개입을 요구한다; 지식이나 동기를 목적으로 하는 개입은 효과가 없을 것이다.

In this context, teaching back, especially if the plan later needs correcting, may constitute a breach of role boundaries: acting like a practitioner when one is in fact a trainee. If the problem of teach back is one of role conflict, it calls for an intervention aimed at clarifying and navigating role boundaries; intervention aimed at knowledge or motivation would not work.

이 문제에 접근하는 방식은 고전적인 철학적 움직임인 프로그램 디렉터의 참조 프레임을 교란시킨다는 점에서 이전과는 다르다. 레지던트를 더 이상 지식, 기술, 태도의 집합체로서가 아니라, 사고하고 행동하는 존재로서 접근하며, 다음에 무엇을 해야 할지를 함의해준다. '우리는 개입이 필요하다'는 결론을 내리는 대신 프로그램 책임자는 한발 물러서서 '왜 전공의들은 teach back을 하지 않을까', 더 일반적으로는 '어떻게 하면 전공의가 양질의 환자 소통을 할 수 있도록 도울 수 있을까'라는 의문을 제기하며 문제를 재조명할 수도 있다.

This way of approaching the problem differs from the previous one in that it disrupts the program director’s frame of reference, a classic philosophical move. The resident is no longer approached as an assemblage of knowledge, skills, and attitudes, but as a thinking, acting being, which has implications for what to do next. Instead of concluding ‘We need an intervention,’ the program director may step back and reimagine the problem, wondering ‘Why don’t residents teach back?’ and, more generally, ‘How can we help residents achieve high quality patient communication?’

우리는 왜 전공의들에게 기대되는 행동이 일어나지 않는지에 대해 세 가지 가능한 설명을 가지고 있다. 이러한 각각의 설명은 의사소통 지식/기술의 결핍, 동기부여 문제, 역할 갈등 등 특정한 방식으로 문제를 정의한다. 우리는 이러한 정의들 중 어느 것도 반드시 다른 정의보다 더 진실하지 않다는 것을 알 수 있다; 문제를 봄에 있어서, 명백하고 명료해보이는 문제에 의문을 갖고, 철학자들은 '올바른' 렌즈나 틀을 찾으려는 생각을 재빨리 부인하거나, 렌즈나 틀 없이 '있는 그대로' 세상을 볼 수 있는 것처럼 행동한다.

We now have three possible explanations for why a behavior expected of residents does not take place. Each of these explanations defines the problem in a certain way: as a communication knowledge/skill deficit, a motivational issue, and a role conflict. We may note that none of these definitions is necessarily truer than the other; after questioning the obvious and disentangling a problem from how it is viewed, philosophers are quick to disown the idea of finding the ‘right’ lens or framework, or to pretend that we can see the world ‘as it is’ without a lens or framework.

아무도 찾지 못한 새로운 문제들

(Some) new problems no one looked for

teach back의 장벽을 식별하고 이를 해결하기 위한 대응을 형성함에도 불구하고 전공의에 대한 관찰적 평가는 그들의 행동이 여전히 기대에 미치지 못한다는 것을 보여준다고 (아마도 쉽게) 상상해 보자.

Let us imagine (perhaps readily) that despite identifying barriers to teach back and forming a response to address them, observational assessment of residents shows that their behavior still fails to meet expectations.

언어를 통해 지식은 힘을 제공한다.

Through language, knowledge serves power

푸카울디안 렌즈15,16은 당면한 문제를 볼 수 있는 권위에 대한 두 가지 새로운 관점을 도입할 것이다. 

• 첫 번째 관점은 누가 무엇을 말할 수 있는지, 누가 진단과 치료 계획과 같은 의사와 환자 관계의 핵심 요소를 정의할 수 있는지를 구속하는 것으로서 [언어적 용어로서의 권위]를 보는 것을 포함한다. 

• 두 번째 관점은 권위를 [(누군가가 가진 것이 아니라) 누군가가 하는 것]으로 보는 것이다. 그리고 이것은 그가 사용할 수 있는 지식과 정보의 종류에 달려있다. 

이러한 관점에서 우리는 전공의, 환자, 주치의를 권력지식 네트워크 내에 위치해 있다고 본다; 지식은 [말해질 수 있는 것과 말할 수 있는 사람]에 의해 제정되는 것이다.

A Foucauldian lens15,16 would introduce two new perspectives on authority from which to view the problem at hand. 

• The first perspective involves viewing authority in linguistic terms, as something that constrains who gets to say what and who can define key elements of the doctor-patient relationship, such as the diagnosis and the treatment plan. 

• The second perspective involves viewing authority not as something one has, but something one does, and this depends on the kind of knowledge and information one can use. 

From this perspective we see the resident, patient, and attending as situated within a power-knowledge network;15 knowledge is power enacted through what can be said and by whom.

공유 의사결정 프레임워크는 의료 서비스를 의사와 환자의 공유 프로젝트로 정의하지만, 예시한 전공의의 상황에서는 주치의도 참여한다. 이 그룹의 커뮤니케이션을 들여다보면 환자-전공의-주치의가 모두가 방에 있을 때 주치의가 상호작용을 주도하는 사람임을 알 수 있다. 주치의는 교류의 지속 기간(예: "안녕"을 처음으로 말하는 사람)과 교류의 대상이 되는 주제(예: 질문을 하는 사람)를 정의하는 사람이다. 이러한 상호작용을 푸콜디안적 관점에서 보면 프로그램 책임자가 현 문제의 프레임을 '전공의가 teach back을 하려면 우리가 어떻게 개입할 수 있을까' 또는 '전공의는 왜 teach back 하지 않는가?'에서 '전공의는 권력power이 없는데, 이런 상황에서 teach back주지 않는 것이 정말 문제일까?'로 전환시킬 수도 있다.

the Shared Decision-Making framework,17,18 defines health care as a shared project of doctor and patient, but in the resident’s situation the attending also participates. Examination of this group’s communication may reveal that the attending physician is the one who leads the interaction when all three parties are in the room, defining how long the exchange lasts (e.g., by being the first person to say “goodbye”) and what topics it covers (e.g., by being the one to ask questions). Viewing these interactions from the Foucauldian perspective may prompt the program director to shift the problem frame from ‘How can we intervene to make residents teach back?’ or ‘Why does the resident not teach back?’ to ‘Why is it even a problem that residents, who lack power in this situation, do not teach back?’

평가 또는 학습?

Assessment or learning?

철학적 입장을 취하면서 프로그램 책임자는 '우리는 전공의의 teach back을 평가할 것인가?'라는 질문도 할 수 있다. 왜냐하면 teach back은

(1) 그것은 질 높은 환자 진료를 보장하고, 

(2) 환자-소통 역량 개발을 촉진시키며

(3) 이용 가능한 도구로 쉽게 평가할 수 있는 주민 행동을 보여주기 때문이다.

Taking a philosophical stance, the program director also may ask: ‘Do we assess residents’ teach back because it 

(1) ensures quality patient care; 

(2) facilitates the development of patient-communication competency; or 

(3) describes a resident behavior that we can evaluate readily with available instruments?’ 

이 질문은 전공의가 단순히 공감적이라고(이 경우 효과적인 의사 소통자라고 보기에) 충분하지 않을 수 있음을 암시한다. 그러나 전공의는 그렇게 보여야 하며, 그렇게 '보이기' 위해서 전공의는 평가자가 관찰할 수 있는 방식으로 행동할 경우에만 그렇게 보일 수 있다. 심지어 그것조차도 충분하지 않다; 평가자는 관찰한 바를 평가 양식의 미리 정의된 구조로 번역해야 한다.20 이 점에서 우리는 의사와 환자의 의사소통 (전공의가 배우기를 원하는 것)과 그것에 대한 평가(전공의가 그것을 배웠다고 어떻게 알 수 있는지)의 두 담론 사이의 경쟁을 본다.

This question implies that it may not be enough for residents to be empathetic doctors,19 or, in this case, effective communicators. They have to be seen as such, and this can only occur if they act in a way that is observable to the assessor. And even that is not enough; the assessor must translate their observations into the predefined structure of an assessment form.20 In this, we see the competition between two discourses, that of doctor-patient communication (what we want the resident to learn) and that of assessment (how we know the resident learned it).

'도구적 사고' 21,22의 철학적인 개념은 여기서도 관련이 있다. 철학자들은 크게 두 가지 주요 사고방식을 구분했다: 도구적 합리성과 가치적 합리성. 

• 도구적 합리성은 가능한 한 효율적으로 달성되어야 할 목적의 관점에서 세상을 볼 것을 요구한다. 

• 가치적 합리성은 우리를 좀 더 총체적인 의미에서 세계와 관련지을 것을 요구한다. 이러한 사고방식은 우리가 어떻게 생각하는지뿐만 아니라 어떻게 느끼고 행동하는지 결정하면서 근본적으로 다른 세상과의 관계 접근방식을 나타낸다

The philosophical concept of ‘instrumental thinking’21,22 is relevant here. Philosophers have broadly distinguished two main ways of thinking: instrumental (or technical) rationality and value rationality. 

• Instrumental rationality calls us to see the world in terms of ends that should be achieved as efficiently as possible. 

• Value rationality, by contrast, calls us to relate to the world in a more holistic sense. These ways of thinking represent fundamentally different approaches of relating to the world, determining not just how we think but also how we feel and act. 

우리의 프로그램 디렉터의 질문은 어떻게 도구적 사고와 가치적 합리성이 충돌할 수 있는지를 보여준다; teach back은 [환자 치료에 대한 보다 전체적인 개념을 반영]할 수 있지만, teach back의 평가는 [연습생을 효율적으로 평가하기에 적합한 teach back의 구성요소]에 제약을 가할 수 있다.

Our program director’s question illustrates how instrumental thinking and value rationality may clash; teach back may reflect a more holistic notion of patient care, but its assessment may impose constraints on what constitutes teach back in order to evaluate trainees efficiently.

우리는 평가 렌즈가 평가 기구에 의해 포착된 관찰 가능하고 측정 가능한 행동이 아니기 때문에, [환자와의 의사소통]과 [기술 개발] 사이에서 균형을 잡게 되는 전공의의 행동practice이 걸러지는filter 것을 발견할 수 있다.23 가치적 합리성의 관점에서 teach back을 바라본다면, 프로그램 책임자에게 'teach back의 궁극적인 목적은 무엇인가, 그리고 훈련 중인 의사들이 이 목표를 달성하기 위해 사용할 수 있는 다른 연습이 있는가?' '우리 전공의들이 이미 teach back을 하고 있지만, 다만 평가도구를 사용하여 그것을 보지 못하는 것인가?' 라는 새로운 질문을 숙고하게 할 수 있다.

We may discover that an assessment lens filters out resident practices that balance patient communication and skill development because they are not observable, measurable behaviors captured by assessment instruments.23 Approaching teach back from a value rationality perspective may prompt the program director to ponder new questions: ‘What is the ultimate purpose of teach back, and are there other practices that doctors in training can use to accomplish this goal?’‘Are our residents already doing these practices, but we fail to see it using our assessment instruments?’

철학하기

Doing philosophy

의학 교육에는 모호성을 (훈련 시스템이 작동하지 않는다는 징후가 아니라) 의사가 되는 것의 일부로서 받아들이도록 격려하는 움직임이 있다.24,25 드 보부아르와 같은 현대 철학자들은 모호성을 [인간 존재의 잠재적으로 본질적인 긍정적인 자질]로서 받아들였다.26

There is a movement in medical education encouraging us to accept ambiguity as a part of becoming a doctor, rather than a sign that our training system is not working.24,25 Modern philosophers like De Beauvoir have embraced ambiguity as a positive quality, potentially fundamental to human existence.26

실제로 의학교육에서 애매모호함을 다루지 않는 순간은 드물고, 이를 용인하는 능력이 심리적인 안녕과 긍정적으로 관련이 있다고 의심할 만한 이유가 있다.27

Indeed, in medical education there is rarely a moment when we do not deal with ambiguity, and there is reason to suspect that one’s ability to tolerate it is positively related to psychological well-being.27

왜 의학교육이 그대로인가.

why medical education is the way it is

우리가 제안하는 첫 번째 철학적 실천은 어떤 일이 일어나고 있는지에 주의를 기울이고 설사 경험이 있다 하더라도 초심자의 마음을 상정하는 것이다. 이것은 잘 알려진 속담(흔히 소크라테스에게 잘못 인용된 말)에서 예시된다. "내가 아는 것은 아무것도 모른다는 것뿐입니다." 이 첫 번째 실천은 숙달하기 보다는, 전문지식의 특징인 복잡성이나 불확실성 앞에서 "속도를 낮추어야 함"을 촉구하기 위한 것이다.1 우리의 예에서 관찰평가로부터, 개입에도 불구하고 전공의들이 teach back을 제대로 하지 못하고 있다는 것을 계속 보여주었을 때, 프로그램 디렉터는 이것이 [사실 지식, 기술, 동기부여의 결손에 기인하는 것인지]에 대해 의문을 잠시 멈추고, [무엇이 이 '문제'를 애초에 문제가 되게 하였는지]에 대한 의문을 제기하게 되었다. 또 다른 예로, '이 새로운 프로그램을 어떻게 평가할 것인가?'라는 질문을 하기 전에, (초심자처럼 생각하자는) 이 철학적인 움직임은 우리에게 '이 프로그램을 평가하기를 원하는가, 그리고 만약 그렇다면 왜인가?'라고 물을 수 있는 공간을 제공한다.

The first philosophical practice we suggest is to pay attention to what is happening and assume a beginner’s mind, even if one is experienced. This is exemplified in the well-known saying (often misattributed to Socrates) “All I know is that I know nothing.” Rather than achieving mastery, this first practice is aimed at the urge to “slow down” in the face of complexity or uncertainty, a hallmark of expertise.1 In our example, when observational assessments continued to show, despite intervention, that residents were failing to teach back, the program director paused to question whether this was in fact attributable to knowledge, skill, or motivational deficits, and later, to question what made this ‘problem’ a problem in the first place. As another example, before asking the question ‘How will we assess this new program?’ this philosophical move—thinking like a beginner—gives us the space to ask ‘Do we want to assess this program, and, if so – why?’19

두 번째 철학적 관행은 [문제를 가장 근본적인 설명으로 돌려서] 가정assumption들이 스스로를 드러내도록 유도하는 것이다. 만약 우리의 프로그램 책임자가 지식, 기술, 태도 면에서 계속해서 학습자들을 봐왔다면, 그들은 전공의들이 주치의-전공의 관계에서 환자 관리의 소유권을 갖지 못하게 할 수도 있는 힘의 역학을 발견하지 못했을 것이다. 이 실천의 지침서는 델루제(Deleuze)와 과타리(Guattari)가 철학의 제1원칙이라고 부르는 것이다: "우주는 아무것도 설명하지 않는다. 스스로 설명되어야 한다."28(p.6) 만일 개입하는 이유가 그저 그것이 '좋기' 때문이라면, 그것이 '증거에 기반한다'거나 학생들이 '배운다'는 식으로 철학을 하는 것은 다음과 같은 질문을 수반한다. '좋은 것', '증거' 또는 '배움'이 무슨 뜻인가? 이렇게 해서 우리가 의학교육에서 가지고 있는 가장 분명하고 기본적인 개념은 그 자체로 분석의 대상이 될 수 있다. 이 [기본으로 돌아가자getting back to the basics]라는 철학적 관행은, '질문을 하는 사람으로서, [나를 포괄하는involve 어떤 질문]이 만들어질formulated 수 있을까?'라는 질문으로 제정될 수도 있다. 예를 들어, '어떻게 하면 연습생들을 배우게 할 수 있을까?'라는 질문을 철학적으로 바꾼다면 '나는 교육자로서 나를 어떻게 보고있는가? 그리고 배움에 대한 나의 관점이 갖는 함의는 무엇인가?'

A second philosophical practice is to lead a problem back to its most fundamental description, prompting assumptions to reveal themselves. If our program director kept seeing learners in terms of knowledge, skills, and attitudes, they would not have discovered the power dynamics in attending-resident relationships that might prevent residents from taking ownership of patient care. A guide in this practice is what Deleuze and Guattari call the first principle of philosophy: “Universals explain nothing, but must themselves be explained.”28 (p.6) If a reason for intervening is because it is ‘good,’ because it is ‘evidence-based,’ or because that is how students ‘learn,’ doing philosophy involves asking: What do you mean by ‘good,’ by ‘evidence,’ or by ‘learning?’ In this way, the most obvious and basic concepts we have in medical education can become objects of analysis in themselves. This philosophical practice—getting back to the basics—could also be enacted by asking: ‘What question can be formulated that involves me, the questioner?’ For instance, the question ‘How can I get my trainees to learn?’ if asked philosophically could become: ‘How do I see myself as an educator and what are the implications of my perspective for what learning is?’

앞의 두 사람이 섬기는 세 번째 관행은 frame of reference를 교란하는 것이다. (다른 사람의 눈을 통해 문제가 어떻게 생겼는지 상상하든, 전혀 다른 시력을 가진 사람과 대화하든 간에) 관점을 달리 해서 어떤 것을 보는 것은 자신의 가정이나 기본 렌즈를 드러낼 수 있다. 예를 들어 플라톤이 묘사한 소크라테스 대화 중 하나에서 소크라테스는 아버지를 기소하려고 하는 에우티프로와 이야기를 나눈다. 에우티프로가 자신의 사례를 당연한 것으로 제시하지만, 일련의 질문을 통해 소크라테스는 [무지의 태도]를 가정하고 "모든 문제에 대한 정확한 지식"을 주장하는 에우티프로로 하여금 소크라테스를 "가르치게끔" 유도한다.29(p.6) 이것은 에우티프로의 frame of reference을 교란시켜 정의와 같은 가치관을 설명하는 것에 문제가 없다는 식의 일상적인 태도에서 전환할 수밖에 없게 하였다. 우리의 teach back 사례에서 프로그램 디렉터가 관점을 바꿔보고, 전공의의 관점을 찾아내고, 마지막으로 커뮤니케이션을 직접 관찰하도록 유도할 수 있었던 것은 문제가 해결되지 않고 지속되었기 때문이다. 그 결과, PD의 참조 틀은 여러 번 붕괴되었다: 

• 전공의를 객체로 보는 것에서 주체로 보는 것으로, 

• 권위를 어떤 사람이 가진 것에서 어떤 사람이 하는 것으로

• teach back의 문제를 PD가 멀리 떨어져 관조하는 것에서, 관점에 따라 달라지는 것으로

The third practice, served by the preceding two, is to disrupt frames of reference. Viewing something from a different perspective—whether by imagining what a problem looks like through someone else’s eyes or by talking to someone with completely different sight—can reveal one’s own assumptions or default lens. For example, in one of the Socratic Dialogs described by Plato, Socrates speaks with Euthypro, who is about to prosecute his father. Euthypro presents his case as obvious, but through a series of questions Socrates assumes an attitude of ignorance and invites Eurthypro, who claims “accurate knowledge of all such matters,” to “teach” him.29(p.6) This disrupts Euthypro’s frame of reference, forcing him to switch from a routine attitude in which values such as justice are taken as unproblematic to having to explain them. In our teach back example, it is the persistence of a problem that prompts the program director to take on different perspectives, to seek out residents’ points of view, and finally to observe communication directly. Consequently, frames of reference were disrupted multiple times: 

• from the resident as an object to a subject; 

• from authority as something one has to something one does; and finally, 

• from teach back as a problem the program director observes from a distance, to one that is shaped by their own views.

철학적이기 

Being philosophical

"문제에 대한 철학자의 치료는 마치 병에 대한 치료와 같다."30(제255조)

“The philosopher’s treatment of a question is like the treatment of an illness.”30 (§255)

철학은 자신에게 중요한 것을 이해하려는 욕망과 현재의 사고방식에 대한 불만족이나 심지어 좌절감에서 시작된다. 이와 같이 철학은 과학과 기술 발전의 근원이기도 한 그러한 인간성human qualities의 연장선상에 있다. 그러나 철학은 물음에 가까운 상태로 남아, 격렬하고 어린아이 같은 호기심과 이해하고자 하는 열망으로 살아 있게 한다. 예를 들어, '좋은 교육이란 무엇인가?'라는 질문에 대해서 철학자는 교육적, 심리적, 신경학적 관점을 발동하여 교육적, 심리학적, 신경학적 관점을 연구할 수도 있지만, 나아가 'good'과 'educational'이라는 용어를 정치적, 역사적, 언어적, 논리적, 그리고 심지어 영적 관점으로 고찰할 수도 있다. 철학은 어떤 렌즈나 규율에도 얽매이지 않는 일종의 탐구라고 볼 수 있다. 그런 의미에서 철학은 우리가 의학 교육에 수입해 온 다른 관점들 사이에서 중개자 또는 협상자 역할을 할 수 있으며, 우리를 다시 기본적인 가정으로 이끌며, 반대되는 견해들 간의 논쟁을 부추기기 보다는 생각의 공통점을 제공한다.

Philosophy begins with the desire to understand something that is important to oneself, and with a dissatisfaction or even frustration with current ways of thinking. In this way, philosophy is an extension of those human qualities that are also at the root of scientific and technical advancement. However, philosophy remains close to questions, keeping them alive with intense, childlike curiosity and desire to understand. For example, in addressing a question such as ‘What is good education?’ a philosopher might invoke educational, psychological, neurological perspectives to consider instructional strategies, but then also go on to examine the terms ‘good’ and ‘educational’ from political, historical, linguistic, logical, and even spiritual perspectives. Philosophy can be seen as a form of inquiry that is not bound to any one lens or discipline. In this sense, it can act as a broker or negotiator between the different perspectives we have imported to medical education, leading us back to basic assumptions, providing common ground to think from rather than fueling debate between opposing views.

플라톤의 동굴의 알레고리는 우리의 가정들의 사슬chains of our assumptions로부터 해방되는 것이 어떻게 중요한 역할을 할 수 있는지를 보여준다.31 이 우화에서 죄수들은 동굴 벽에서 세상적인 형태가 춤추는 것을 보면서 평생 동안 동굴 안에서 사슬로 묶여 있었다. 죄수들은 자신이 투영하는 것을 보고 있다는 것, 뒤에 있는 불 앞에서 운반되는 물체의 그림자를 보고 있다는 것을 깨닫지 못한다. 그들에게 그림자는 물건이다. 죄수들은 그들이 쇠사슬에서 풀려나 불을 발견하기 위해 돌아설 때, 그리고 그들이 본 그림자의 세계를 볼 때만이 환상이라는 것을 배운다.31 철학적 의학 교육자가 되기 위해서 우리는 일어서고, 돌아서고, 우리가 교육으로 새로운 목표를 달성하려고 하는 것을 보게 해야 한다.

Plato’s Allegory of the Cave illustrates how being liberated from the chains of our assumptions can be instrumental.31 In this allegory, prisoners have been chained inside a cave for their entire lives, watching worldly forms dance on the cave wall. The prisoners do not realize that they are watching a projection, that they are seeing the shadows of objects being carried in front of a fire behind them. For them, the shadows are the objects. The prisoners learn that the world of shadows is an illusion only when they are released from their chains, turn around to discover the fire, and see the actual objects whose shadows they watched.31 Being philosophical medical educators should prompt us to stand up, turn around, and see what objective we are trying to accomplish with education anew.

철학적 존재가 되는 목적은 이론이나 윤리적 체계와 같은 '철학'을 생각해 내는 것이 아니다. 철학은 [문제를 창조하는 접근법]이며, 철학의 방법은 분석이어서, 우리가 세상을 보는 렌즈를 통해 [프레임을 바꾸거나] [(나 자신을) 분석의 대상으로 변화시키는] 끊임없는 과정이다. 철학적이 된다는 것은 [대답할 수 없는 질문]을 하고 [그것에 대답하기 위한 방법을 탐구하는 것]을 포함한다. 이 과정이 '해답'에 도달하는 순간 프로젝트는 또 다른 학문의 책임이 된다.

The aim of being philosophical is not to come up with ‘a philosophy,’ such as a theory or an ethical system to live by. If anything, philosophy is a problem creation approach, and its method is analysis, a constant process of shifting frames and turning into objects of analysis the lenses through which we see the world. Being philosophical involves asking unanswerable questions and exploring ways in which one might go about answering them. The moment this process arrives at ‘an answer,’ the project becomes the charge of another discipline.

많은 사상가들은 철학이 어떻게 생각의 "통로"인가를 상상하는데 일생을 바쳤다. 철학은 한 가지 이론적 또는 개념적 틀에서 생각이 "중단되지 않는" 것을 의미한다.

Many thinkers have devoted their life to imagining how philosophy is a “pathway”21(p.445) for thinking, thinking that “does not come to a halt”22(p.278) in a theoretical or conceptual framework.

그러나 끊임없는 질문도 함정이 될 수 있다. 우리는 끊임없이 철학적 태도를 취할 수 없고 동시에 실용적일 수 없다. 니체 자신이 썼듯이, "내가 숨을 쉴 때마다 숨쉬는 가장 깊은 이유를 공식화해야 한다면 나는 죽을 것이다."32(p.21)

However, constant questioning also is a pitfall. We cannot constantly assume a philosophical attitude and be practical at the same time. As Nietzsche himself wrote: “I would die if I had to formulate the deepest reason for breathing before each breath I take.”32(p.21)

앞으로 

Moving forward

현재 5개의 테마가 향후 논의를 위해 계획되어 있다.

Five themes are currently planned for future discussion.

결론

Conclusion

의학 교육은 오랫동안 철학과 관계가 있었다. 철학적 접근법은 복잡성과 불확실성 앞에서 속도를 늦추고, 오래된 문제를 새로운 방식으로 보고, 생산적인 행동을 취하도록 도와줌으로써 오늘날 의학 교육을 진전시킬 수 있다. 철학을 하는 것은 초심자처럼 생각하고, 기본을 되찾고, 참고의 틀을 깨는 것을 포함한다. 철학은 '철학'을 창조하는 것, 즉 세상을 정리할 수 있는 유용한 개념적 틀에 안주하는 것이 아니다. 오히려 '쉬지 않고' 생각하는 길이다. 

Medical education has long had a relationship with philosophy. A philosophical approach can advance medical education today by helping us slow down in the face of complexities and uncertainty, see old problems in new ways, and take productive action. Doing philosophy involves thinking like a beginner, getting back to the basics, and disrupting frames of reference. Philosophy is not about creating ‘a philosophy,’ i.e., settling on a useful conceptual frame with which to organize the world. Rather, it is a “pathway” for thinking that “does not come to rest.” 

그러나 의학 교육의 철학은 단순히 질문을 위해 끊임없이 질문하는 것이 아니다. 대신에, 철학과 함께 하는 것은 도움이 될 것이다; 그것은 진보를 하지 못하는 불만족스럽거나 심지어 좌절감을 주는 습관적인 사고 방식과 가정으로부터의 해방에 관한 것이다. 궁극적으로 철학적 존재가 되는 것은 경이로움과 강렬함, 아이 같은 호기심, 우리 모두가 공유하는 인간의 자질에 관한 것이다. 아무도 찾지 못한 문제를 파악하는데 있어서 철학은 우리에게 2천 5백 년 동안 우리 자신을 탐색할 수 있는 힘을 주었다.

Yet, philosophy in medical education is not meant to question constantly simply for the sake of questioning. Instead, engaging with philosophy is meant to be helpful; it is about liberation from habitual ways of thinking and assumptions that underlie dissatisfying or even frustrating inability to progress. Ultimately, being philosophical is about wonder and intense, childlike curiosity, human qualities we all share. In identifying problems no one looked for, philosophy has empowered us for two and a half millennia to search ourselves.

24. Tonelli MR, Upshur R. A philosophical approach to addressing uncertainty in medical education. Acad Med. 2019;94(4):507–511.

27. Hancock J, Mattick K. Tolerance of ambiguity and psychological well-being in medical training: A systematic review. Med Educ. 2020;54(2):125–137. Febdoi:10.1111/medu.14031.

보건교육연구의 우선순위 설정: 혼합 방법 연구(Med Teach, 2019)

Setting priorities for health education research: A mixed methods study

Claire Palermoa , Olivia Kinga , Tina Brocka,b , Ted Browna,c , Paul Cramptona,d , Helen Halla,e , Janet Macaulaya,f, Julia Morpheta,e , Matthew Mundya,g, Louise Oliaroa,h, Sophie Payntera,i, Brett Williamsa,j , Caroline Wrighta,k and Charlotte E. Reesa

도입

Introduction

노력의 영향을 극대화하기 위해 모든 연구의 우선순위를 설정하는 것이 필수적이다(Dechartres and Ravaud 2015). 연구 우선순위 설정은 제한된 자원을 맥락과 관련 있는 투자에 집중하며, 이로 인해 더 큰 영향을 미치고(Viergever et al. 2010) 낭비를 최소화해야 한다(Dechartres and Ravaud 2015).

Setting priorities for any research is essential to maximize the impact of efforts (Dechartres and Ravaud 2015). Establishing research priorities focuses limited resources on investments that are relevant to the context, which should lead to greater impacts (Viergever et al. 2010) and minimize waste (Dechartres and Ravaud 2015).

보건 전문직과 과학 교육 분야에서, 우선순위에 대한 연구 노력을 파악하고 집중하는 것은 보건 전문가와 과학자를 어떻게 가장 잘 준비시킬 수 있는지에 대한 우리의 이해를 향상시켜야 하며, 이는 의료 전달을 개선할 수 있는 잠재력을 가지고 있다(Dechartres and Ravaud 2015).

in the field of health professions and sciences education, identifying, and focusing research effort on priorities should improve our understanding of how best to prepare health professionals and scientists for work, which has the potential to improve health care delivery (Dechartres and Ravaud 2015).

보건교육연구우선순위

Health education research priorities

교육 연구 우선 순위 설정 연구는 최근 몇 년 동안 전 세계적으로 많이 수행되었다(Wilkinson et al. 2010; Hodges et al. 2011; Tootunchi et al. 2012; Dennis et al. 2014; Ajjawi et al. 2017).

A number of health professions education research priority setting studies have been conducted across the world over recent years (Wilkinson et al. 2010; Hodges et al. 2011; Tootoonchi et al. 2012; Dennis et al. 2014; Ajjawi et al. 2017).

이러한 연구에서 확인된 공통 우선순위는 전문성(Wilkinson et al. 2010; Ajjawi et al. 2017), 평가(Wilkinson et al. 2010; Ajjawi et al. 2017), 피드백(Wilkinson et al. 2010; Dennis et al. 2014), 실무 준비(Hodges et al. 2011; Dennis et al. 2014; Dennison et et al. 2014; Aj) 등이다. 2014; Aj). 문제(Wilkinson 외 2010; Dennis 외 2014; Ajjawi 외 2017).

Common priorities identified across these studies include 

• professionalism (Wilkinson et al. 2010; Ajjawi et al. 2017), 

• assessment (Wilkinson et al. 2010; Dennis et al. 2014; Ajjawi et al. 2017), 

• feedback (Wilkinson et al. 2010; Dennis et al. 2014), 

• preparedness for practice (Hodges et al. 2011; Dennis et al. 2014; Ajjawi et al. 2017), and 

• workforce issues (Wilkinson et al. 2010; Dennis et al. 2014; Ajjawi et al. 2017).

그러나 적절한 표본을 채택하지 않고, 국지적 맥락에 너무 집중하며, 방법론적으로 최적적이지 못하다는 비판을 받았다(Wolley and Schuwirth 2014).

however, been criticized for not engaging appropriate samples, being too focused on local contexts and being methodologically suboptimal (Worley and Schuwirth 2014).

저자들의 지식으로는 호주에서 보건교육 연구 우선순위 설정 연구가 수행되지 않았으며 이전에 완료된 연구 중 여러 보건 전문직과 과학에 걸쳐 우선순위에 초점을 맞춘 연구도 없다.

To the authors’ knowledge, no health education research priority setting studies have been conducted in Australia and none of the previously completed studies have focused on priorities across multiple health professions and sciences.

헬스케어 전문가는 헬스케어 전달에 중요한 역할을 하며, 따라서 (의학과 더불어) 이러한 그룹에 대한 교육 연구 우선순위를 이해하는 것이 모든 건강 졸업생들이 최적의 업무 준비를 할 수 있도록 하는 데 필수적이다. 간호직이나 제휴 보건직allied health professions에서 교육연구 우선 순위 설정 연구의 예는 없지만, 여러 일반(및 직업별) 연구 우선 순위 설정 연구는 교육 연구 주제를 우선순위로 식별했다.

Healthcare professionals play an important role in the delivery of healthcare, and thus understanding education research priorities for these groups (in addition to medicine) is fundamental to ensuring all health graduates are optimally prepared for work. Although there are no examples of education research priority setting studies in nursing or the allied health professions, several general (and profession-specific) research priority setting studies have identified education research topics as priorities.

• 예를 들어 랭킨 외 연구진(2012년)은 영국의 물리치료에 대한 국가 연구 전략을 정의하기 위해 수정된 델파이 기법을 사용하여 연구를 수행했다.

For example, Rankin et al. (2012) conducted a study using a modified Delphi technique to define the national research strategy for physiotherapy in the United Kingdom.

• 몬테로소 외 연구진(2015년)은 오스트레일리아의 두 개의 대형 민간 3차 병원에서 간호 연구 전략을 개발하기 위해 수정된 2라운드 델파이 기법을 채용했다.

Monterosso et al. (2015) employed a modified two round Delphi technique to develop a nursing research strategy in two large private tertiary hospitals in Australia.

• Concentine 외 연구진(2018)은 응급간호 분야의 연구 우선순위를 정하기 위해 Delphi 기법을 고용했으며, 임상전문가의 교육 준비 연구(Selectionals et al. 2018)가 높은 중요성을 발견했다.

Considine et al. (2018)employed the Delphi Technique to establish research priorities in emergency nursing and found that research in the educational preparation of clinicians to be of high importance (Considine et al. 2018).

보건 교육 연구의 우선순위와 관점의 차이 이면의 근거

Rationale behind health education research priorities and differences in perspectives

우선 순위를 파악하는 것이 중요한 첫 단계지만, 특정 보건 교육 연구 주제에 우선순위를 매기는 이유를 이해하는 것이 공동 연구 의제 개발에 도움이 된다. 이전의 보건교육 연구 우선 순위 설정 연구는 환자 안전, 건강관리 품질, 미래 인력에 대한 투자, 정책 의제 및 증거 기반 교육 우선 순위를 다양한 주요 근거의 일반적인 이유로 식별했다(Dennis et al. 2014).Ajjawi et al. 2017). 

While identifying priorities is a key first step, understanding the reasons behind prioritizing certain health education research topics assists with the development of shared research agendas. Previous health education research priority setting studies have identified patient safety, quality of healthcare, investing for the future workforce, policy agendas, and evidence-based education priorities as common reasons underpinning the various (Dennis et al. 2014;Ajjawi et al. 2017). 

이전 작품에서는 연령, 성별, 민족성, 의료의 역할 등이 다른 참여자들(Dennis et al. 2014; Ajjawi et al. 2017)에서 확인된 의료 및 치과 교육 우선순위의 차이가 발견되었다. 이는 보건교육에서 다양한 역할을 하는 사람들과는 여러 가지 다른 관점을 수반할 필요가 있음을 강조한다.

In previous work, differences in identified medical and dental education priorities have been found in participants of different age, sex, ethnicity, and role in health care (Dennis et al. 2014; Ajjawi et al. 2017). This emphasizes the need to involve multiple different perspectives from those with varying roles in health education.

이 연구의 필요성

The need for this study

(i) 복수의 이해관계자에 따라 향후 3~5년간 보건교육 연구 우선순위는 무엇인가? 

(ii) 복수의 이해관계자가 특정 보건교육 연구 주제의 우선순위를 정하는 근거는 무엇인가? 그리고 

(iii) 이해당사자 범위에 걸친 보건교육 연구 우선순위의 유사점과 차이점은 무엇인가?

(i) What are the health education research priorities over the next 3–5years according to multiple stakeholders? 

(ii) What is the rationale provided by multiple stakeholders for prioritizing specific health education research topics? and 

(iii) What are the similarities and differences in health education research priorities across the range of stakeholders?

방법

Methods

설계

Design

이전 우선순위 설정 방법론에 근거한 순차 혼합 방법 연구(Dennis et al. 2014; Ajjawi et al. 2017)가 실시되었다(그림 1). 여기에는 다음과 같은 단계가 포함되었다. 

• (1단계) 보건교육 연구 우선순위 및 이러한 우선순위 배후의 이유를 파악하기 위한 익명 정성적 온라인 조사 

• (2단계) 최우선 순위 및 이유를 결정하기 위한 익명 정량적 온라인 조사 

• (3단계) 이전 단계의 결과를 더 자세히 설명하기 위한 개별 및 그룹 인터뷰.

A sequential mixed methods study based on previous priority setting methodology (Dennis et al. 2014; Ajjawi et al. 2017) was conducted (Figure 1). This involved the following stages: 

• (stage 1) anonymous qualitative online survey to identify health education research priorities and the reasons behind these priorities; 

• (stage 2) anonymous quantitative online survey to determine top priorities and the reasons why; and 

• (stage 3) individual and group interviews to further explicate the results from previous stages.

세팅 Setting

표본 Sampling

대학, 주요 교수 병원, 지역사회(도시 및 시골)의 모든 의료 전문직과 보건 과학 전반에 걸친 학생, 교육자, 연구원, 임상의, 고객/환자 등의 편의 표본을 연구의 각 단계에 참여하도록 초대했다.

A convenience sample of students, educators, researchers, clinicians, and clients/patients across all healthcare professions and health sciences from the university, major teaching hospitals, and the community (urban and rural) were invited to participate in each stage of the study.

모집 Recruitment

1단계에서는 연구팀에 의해 핵심 개인이 대학 내 보건교육 및/또는 보건교육 연구에 강하거나 전략적인 관심을 가지고 있는 것으로 확인되어 정성 조사를 완료하도록 초청되었다. 이어서 1단계 참가자를 초청하여 2단계 자원자로서 참여하였으며, 이 샘플은 정량조사에 대한 투입을 극대화하기 위해 보다 광범위한 그룹으로 실질적으로 확대되었다. 마지막으로, 3단계 면접 참가자는 연구 결과에 대해 보다 상세히 논의할 의사가 있음을 나타내는 2단계 응답자 중에서 편리하게 선정되었다.

For stage 1, key individuals were identified by the research team as having a strong or strategic interest in health education and/or health education research within the university and were invited to complete the qualitative survey. Participants from stage 1 were then invited to volunteer for stage 2, with this sample being substantially expanded to a broader group in order to maximize input into the quantitative survey. Finally, stage 3 interview participants were selected conveniently from stage 2 respondents who indicated willingness to discuss the study findings in more detail.

자료 수집

Data collection

1단계 데이터는 Qualtrics 조사 소프트웨어(#2018)를 통해 익명으로 전달된 정성 조사를 통해 수집되었다. 설문조사는 참여자들에게 보건교육 연구의 첫 번째, 두 번째, 세 번째 우선순위 및 선택한 우선순위의 기초가 되는 이유에 대한 질문을 답변하도록 했다. 몇몇 참가자들에게 인구통계학적 및 이해관계자 관련 질문을 했다. 이후 정성 조사 분석에서 파악된 우선순위를 사용하여 2단계 데이터 수집 방법인 정량적 조사에 inform하였다.

Stage 1 data were collected via an online anonymous delivered qualitative survey through Qualtrics survey software (#2018).1 The survey asked participants to respond questions about the to open-ended their first, second and the third priority for health education research and the reasons underlying their selected priorities. Participants were also asked several demographic and stakeholder-related questions. The priorities identified from the qualitative survey analysis were then used to inform the stage 2 data collection method: a quantitative survey.

2단계 데이터는 온라인 익명 정량 조사를 통해 수집되었으며, 다시 Qualtrics(#2018)를 사용하여 수집되었다.1 참가자들은 리커트 등급 척도로 30개 연구 우선순위의 중요성을 1(중요하지 않음)부터 5(매우 중요함)까지 평가하도록 요청받았다. 이러한 30가지 우선순위는 1단계에서 파악되었는데, 여기서 이전 우선순위 설정 연습(Dennis et al. 2014; Ajjawi et al. 2017)에서 24가지 우선순위가 사용되었고, 6가지 새로운 우선순위가 확인되었다. 30개의 식별된 우선순위 목록에서 참가자들에게 상위 3개의 우선순위를 선택하고, 선정의 기초가 되는 이유를 설명하고, 추가 우선순위(아직 제공되지 않음)를 코멘트 박스를 통해 나열하도록 했다. 참가자들은 그 후 몇 가지 인구통계학적 및 이해관계자 관련 질문에 답하도록 요청받았다.

Stage 2 data were collected via an online anonymous quantitative survey, again using Qualtrics (#2018).1 Participants were asked to rate the importance of the 30 research priorities on a Likert-rating scale from 1 (not important) to 5 (very important). These 30 priorities were identified in stage 1, where 24 priorities were used from previous priority setting exercises (Dennis et al. 2014; Ajjawi et al. 2017) and six new priorities were identified. From the list of 30 identified priorities, participants were asked to select their top three priorities, describe the reasons underlying their selections, and list any additional priorities (not already provided) via a comment box. Participants were then asked to answer several demographic and stakeholder related questions.

3단계에서는 학생, 교사, 임상의 및 환자에게 개인 및 그룹 인터뷰를 통해 정량적 조사 데이터의 분석을 제시하는 것이 포함되었다. 참가자들은 2단계부터 파악된 보건교육 연구 우선순위에 대한 견해를 물었다. 그런 다음, 그들은 자신의 이해에 따라 우선순위가 무엇이어야 하는지와 우선순위의 중요성에 기초하는 이유를 설명하도록 요청받았다. 마지막으로, 참가자를 초청하여 대학의 보건교육 연구전략의 전개에 도움이 되는 피드백과 더불어 2단계 데이터(아래 설명)의 탐색적 요인분석을 바탕으로 한 연구네트워크의 제안된 개발에 도움을 주었다.

Stage 3 involved presenting the analysis of the quantitative survey data to students, teachers, clinicians and patients through one individual and five group interviews. Participants were asked about their perspectives on the health education research priorities identified from stage 2. They were then asked to describe what the priorities should be according to their own understandings and the reasons underlying the importance of the priorities for them. Finally, the participants were invited to give feedback to help with the development of the university’s health education research strategy, plus the proposed development of research networks based on the exploratory factor analysis of stage 2 data (described below).

자료 분석 Data analysis

결과 Results

연구의 모든 단계는 12개 보건 전문직과 연구 기관에서 제공하는 과정을 대표하는 5개 보건 과학에 걸친 이해관계자 그룹에 의해 완료되었다(표 1).

All stages of the study were completed by stakeholder groups across 12 health professions and five health sciences representing the courses offered at the study institution (Table 1).

복수 이해당사자들에 따르면, 두 나라 전역의 두 개의 큰 학력과 캠퍼스를 가진 한 호주 대학교에서 향후 3~5년 동안 보건 교육 연구의 우선순위

The health education research priorities for the next 3–5years at one Australian University with two large faculties and campuses across two countries according to multiple stakeholders

참여 이메일 초대장을 개설한 246명의 응답자(응답률 41%)로부터 총 104건의 질적 설문조사가 돌아왔다. 8개의 주요 보건교육 연구 우선순위 주제는 다음의 주제에 대하여 우선순위를 식별하였다.

(1) 학생, 

(2) 교육자, 

(3) 근무지 환경에서 타인과 함께 일하는 것, 

(4) 직장 학습 환경의 문화, 

(5) 커리큘럼 통합, 

(6) 커리큘럼 내용, 

(7) 커리큘럼 전달, 

(8) 평가 및 피드백

A total of 104 qualitative surveys were returned from 246 respondents who opened the email invitation to participate (41% response rate). Eight major health education research priority themes were identified with priorities relating to 

(1) students; 

(2) educators; 

(3) working with others in the workplace environment; 

(4) culture of workplace learning environments; 

(5) curriculum integration; 

(6) curricula content; 

(7) curriculum delivery; and 

(8) assessment and feedback.

이런 주제 아래 27개 교육연구 우선순위가 파악됐다. 또한 이전 연구에서 확인된 코딩 프레임워크의 3가지 우선 순위(Dennis et al. 2014; Ajjawi et al. 2017)를 2단계(보조 표 1)의 시험에 추가했다.

Under these themes, 27 educational research priorities were identified. In addition, three priorities from coding frameworks identified in previous studies (Dennis et al. 2014; Ajjawi et al. 2017) were added for testing in stage 2 (Supplementary Table 1).

3대 우선순위 

top three priorities

(1) 학생들이 업무에 필요한 기술을 개발할 수 있도록 최선의 방법을 이해해야 한다. 

(2) 학생의 회복력과 웰빙을 촉진하는 방법을 이해해야 한다. 

(3) 커리큘럼이 목적에 맞는지 확인한다(표 2).

(1) understanding how best to ensure students develop the required skills for work; 

(2) understanding how to promote resiliency and well-being in students; and 

(3) ensuring the curriculum is fit for purpose (Table 2).

요인 분석 결과 6개 요인 내 우선순위 군집화가 나타났다(표 3). 이 6가지 요인은 다음과 같이 확인되었다. 

• (i) 직장에서 함께 배우는 문화 

• (ii) 직업work 준비 

• (iii) 미래의 호주 의료 요구 충족 

• (iv) 교육학적 효과 

• (v) 인력 문제 

• (vi) 커리큘럼 통합.

Factor analysis revealed a clustering of priorities within six factors (Table 3). These six factors were identified as 

(i) Culture of learning together in the workplace; 

(ii) Preparation for work; 

(iii) Meeting future Australian healthcare needs; 

(iv) Pedagogical effectiveness; 

(v) Workforce issues; and 

(vi) Curriculum integration.

특정 보건 교육 연구 주제의 우선순위를 정하기 위해 여러 이해관계자가 제공한 근거

The rationale provided by multiple stakeholders for prioritizing specific health education research topics

1단계에서 참가자의 우선순위 선정을 뒷받침하는 가장 일반적으로 보고된 이유는 다음과 같다(우선순위 높은 순). 

• 학생 학습 향상

• 현재 교육 문제로 식별되는 우선순위 주제

• 증거 기반 교육 개발의 중요성

• 돌봄care 퀄리티 개선

• 환자 안전 개선

In stage 1, the most commonly reported reasons underpinning participants’ priority selection were (in decreasing order of frequency): 

improved student learning (n¼164); 

the priority topic being identified as a current educational problem (n¼102); 

the importance of developing evidence-based education (n¼102); and 

for improvements in the quality of care (n¼59) and patient safety (n¼51).

1단계와 일관되게, 2단계 참가자도 연구 우선순위의 기초가 되는 이유로 개선된 학생 학습을 가장 자주 보고하였다. 데이터 수집의 이 단계에서 새로운 이유 코드가 확인되었다: 졸업생 고용 가능성 또는 직업에 대한 준비. 이것은 2단계에서 두 번째로 자주 언급된 이유였다. 

Consistent with stage 1, stage 2 participants most frequently reported improved student learning as the reason underlying their research priorities (n¼505). A new reason code was identified in this stage of data collection: graduate employability or preparedness for career. This was the second most frequently stated reason at stage 2 (n¼380). 

2단계에서 자주 언급되는 다른 이유는 다음과 같다. 

• 현재 교육 문제로 식별되는 우선순위 주제

• 교수진의 안전과 복지를 위해

• 학생 안전과 웰빙을 위해. 

• 환자 안전

• 근거 기반 교육의 개발

• 미래에 대한 투자

• 돌봄care 퀄리티

...들도 2단계(부차 표 2)에서 일반적으로 언급되는 이유.

Other frequently stated reasons at stage 2 included: 

the priority topic being identified as a current educational problem (n¼198); 

for faculty safety and wellbeing (n¼183) and 

for student safety and wellbeing (n¼180). 

Patient safety (n¼153), 

the development of evidence-based education (n¼106), 

investing in the future (n¼102) and 

quality of care (n¼81) 

...were also commonly stated reasons at stage 2 (Supplementary Table 2). 

3단계에서 참가자들은 종종 학생들의 정신 건강 문제 증가 문제에 플래그를 달았는데, 이것은 학생들의 회복력과 웰빙을 증진시키는 방법에 대한 높은 우선순위를 설명할 수 있다.

In stage 3, participants often flagged the increasing problem of students’ mental health issues, which may explain the high priority around how to promote resiliency and well-being in students.

다양한 이해당사자에 걸친 보건 교육 연구 우선순위의 유사점과 차이점

Similarities and differences in health education research priorities across a range of stakeholders

요인 점수와 참가자의 성별, 나이 또는 문화적 배경 사이에 통계적으로 유의한 차이가 발견되지 않았다. 또한 "향후 호주 의료 수요 충족"이라는 요인 3을 제외하고 보건 과학과 보건 전문가 참여자 간 인자 점수에는 큰 차이가 없었다.

There were no statistically significant differences found between factor scores and participants’ gender, age, or cultural background. There were also no significant differences in factor scores between health sciences and health professional participants, apart from factor 3: “meeting future Australian healthcare needs”.

고찰

Discussion

핵심 결과 요약

Summary of key findings

다양한 이해 관계자가 참여하는 순차 혼합 방법 설계를 통해, 본 연구는 학생들이 업무에 필요한 기술을 개발할 수 있도록 하는 방법, 학생의 회복력과 웰빙을 증진시키는 방법, 커리큘럼이 학생들의 업무를 준비하도록 하는 방법의 이해와 같은 3가지 우선 순위를 파악했다.

Through a sequential mixed method design engaging various stakeholders, our study identified the top three priorities as: understanding how to ensure students develop the required skills for work, how to promote resiliency and wellbeing in students, and ensuring the curriculum prepares students for work.

연구의 우선순위는 다음....의 6가지 요소로 분류되었다. 

• (i) 직장에서 함께 배우는 문화, 

• (ii) 업무 준비, 

• (iii) 향후 호주의 의료 욕구 충족, 

• (iv) 교육학적 효과, 

• (v) 인력 문제, 

• (vi) 커리큘럼 통합

The priorities were grouped under six factors: 

(i) Culture of learning together in the workplace; 

(ii) Preparation for work; 

(iii) Meeting future Australian healthcare needs; 

(iv) Pedagogical effectiveness; 

(v) Workforce issues; and 

(vi) Curriculum integration. 

우선순위는 전형적으로 다른 유형의 참가자들 간에 유사했다; 우리는 단지 다른 이해관계자 그룹의 관점에 있어서 세 가지 중요한 차이점을 발견했다.

Priorities were typically similar across different types of participants; we found only three significant differences in the perspectives of different stakeholder groups.

이전 연구와 비교한 우선순위

Priorities compared with previous studies

12개 보건 전문직과 5개 보건과학에 걸친 이 연구는 이전 연구와 유사한 보건 교육 연구 우선순위를 확인했다(Wilkinson et al. 2010; Hodges et al. 2011; Dennis et al. 2014; Ajjawi et al. 2017). 학생들이 의료행위에 필요한 기술을 개발할 수 있도록 하는 최선의 방법을 이 연구와 다른 연구(Dennis et al. 2014; Ajjawi et al. 2017)를 통해 지속적으로 우선순위로 파악되었지만, 복원력과 웰빙을 촉진하는 것은 우리의 연구와 다른 연구(Dennis et al. 2014)에서만 확인되었다. 모든 연구에서 학생들이 일을 준비할 수 있도록 하는 커리큘럼을 보장하는 것이 우선순위로 확인되었다(Dennis et al. 2014; Ajjawi et al. 2017). 또한 직장 학습(Wilkinson et al. 2010; Dennis et al. 2014), 인력 채용 및 유지 문제(Wilkinson et al. 2010; Dennis et al. 2014; Ajjawi et al. 2017) 및 커리큘럼 통합(Dennis et al. 2014; Ajawi et al. 2017)과 관련된 요인을 식별하는 기타 우선순위 연구 전반에 걸쳐 일관된 테마가 있었다.

This study across 12 health professions and five health sciences identified similar health education research priorities to previous studies (Wilkinson et al. 2010; Hodges et al. 2011; Dennis et al. 2014; Ajjawi et al. 2017). While understanding how best to ensure students develop the required skills for practice was consistently identified as a priority across this study and others (Dennis et al. 2014; Ajjawi et al. 2017), promoting resiliency and wellbeing was only identified by our study and one other (Dennis et al. 2014). All studies identified ensuring curriculum prepares students for work as a priority (Dennis et al. 2014; Ajjawi et al. 2017). There was also a consistent theme across other priority setting studies that identified factors related to workplace learning (Wilkinson et al. 2010; Dennis et al. 2014), workforce recruitment and retention issues (Wilkinson et al. 2010; Dennis et al. 2014; Ajjawi et al. 2017) and curriculum integration (Dennis et al. 2014; Ajjawi et al. 2017).

이전 연구와 비교한 우선순위 이유

Reasons for priorities compared with previous studies

교육 연구 연구에서 이러한 주제를 우선시하는 이유는 이전과 유사했다(Dennis et al. 2014; Ajjawi et al. 2017). 그러나, 이 현재의 연구는 더 광범위한 이해당사자를 포함한 이 연구로 인해 이전에 확인된 것보다 더 광범위한 이유의 범위를 확인하였다. 예를 들어, 현재 연구에서는 졸업 후 채용 가능성이 우선순위를 높게 매기는 핵심 요소였다. 이러한 발견은 또한 allied health perspectives를 포함했기 때문으로 설명될 수 있다. 여기서 고용가능성employability은 일부 분야의 실무자로 인해 많은 그러한 직업에서 주요 관심 영역이다(2017년 정부 호주 부족). 이러한 고용가능성에 대한 초점은 의료 종사자들이 실무에서 해야 할 일에 대해 적절하게 준비되지 않고 있다는 참가자들의 관점 때문일 수도 있다(Frenk et al. 2010; Ricketts and Fraher 2013; Gorman 2015).

The reasons for prioritizing these topics in education studies research were similar to previous (Dennis et al. 2014; Ajjawi et al. 2017). However, this current study also identified a broader range of reasons than those identified previously, perhaps due to this study including a broader range of stakeholders. For example, in the current study, graduate employability was a key factor for ranking priorities highly. This finding might also be explained by the large number of allied health perspectives obtained, where employability is a key area of concern for many such professions due to practitioner some areas (Australian shortages in Government 2017). This focus on employability may also be due to the perspectives of participants that health practitioners are not being prepared adequately for the work they need to do in practice (Frenk et al. 2010; Ricketts and Fraher 2013; Gorman 2015).

교직원과 학생 건강과 웰빙도 우선순위 선정의 이유로 지목됐다. 고등교육생들에게 상대적으로 정신건강문제 유병률이 높은 것은 새로운 현상이 아니다.

Faculty and student health and wellbeing were also identified as the reason behind the selection of priorities. The comparatively high prevalence of poor mental health in higher education students is not a new phenomenon.

그것은 점점 더 언급하는 것이 받아들여지고 있으며, 정신 건강 악화와 관련된 잠재적인 부정적인 결과들을 고려할 때, 그러한 우려를 다루기 위해 사회적 압력이 증가하고 있다(VanderLinds 2017; Bruffaerts et al. 2018). 의대생 모집단에서는 일반 모집단에 비해 정신건강문제의 유병률이 높다는 사실은 잘 알려져 있다(Heiman et al. 2018). 게다가, 의료 종사자들이 타 직업의 구성원들보다 일반적으로 소진, 우울증, 심지어 자살의 비율이 더 높다(Slavin et al. 2014).

It has become increasingly acceptable to talk about and, given the potential adverse outcomes associated with poor mental health, societal pressure is mounting to address such concerns (VanderLind 2017; Bruffaerts et al. 2018). In the medical school student population a higher prevalence of poor mental health when compared with the general population is well-established (Heiman et al. 2018). Furthermore, the rates of burnout, depression, and even suicide are generally greater in medical practitioners than members of other professions (Slavin et al. 2014).

케르난 외 (2008) 의대생들이 스스로 보고한 나쁜 정신 건강, 스트레스 또는 이러한 인식 가능한 어려움과 학업 성과에 가해지는 위협 조건 사이의 연관성을 확립했다(Kernan et al. 2008).

Kernan et al. (2008) established a link between medical students’ self-reported experiences of poor mental health, stress or relationship these perceivably difficulties and the threat conditions pose to academic performance (Kernan et al. 2008).

좀 더 최근에, 브루페어츠 외 연구진(2018)은 정신 건강 문제를 겪고 있는 학생들이 정신적으로 건강한 동료들에 비해 학업 성취도와 기능 면에서 더 낮은 수준을 객관적으로 보여준다는 것을 발견했다(Bruffaerts et al. 2018).

More recently, Bruffaerts et al. (2018) found that students living with mental health problems objectively demonstrated lower levels of academic achievement and functioning compared with their mentally-well peers (Bruffaerts et al. 2018).

이전 연구와 비교한 이해관계자 그룹 간의 유사점과 차이점

Similarities and differences across stakeholder groups compared with previous studies

다른 연구와 달리, 서로 다른 특성을 가진 참가자 간 인자 점수에 큰 차이가 없었다. 이는 한 국가의 여러 기관에서 더 큰 이해당사자 그룹 간의 차이를 탐구한 이전 연구와 비교했을 때, 우리 기관에서는 다양한 보건전문직업 및 보건전문과학 전공의 학생, 교육자 및 임상의사들 간의 일반적인 의견 일치를 시사할 수 있다.

Unlike other studies (Dennis et al. 2014; Ajjawi et al. 2017), there were almost no significant differences in factor scores between participants across different characteristics. This might suggest a general consensus of opinion amongst students, educators and clinicians across multiple health profession and science backgrounds at our one institution, compared to the previous studies, which explored differences in larger groups of stakeholders across multiple institutions in one country.

두 가지 요소(즉, [직장에서 함께 배우는 것]과 [교육학적으로 효과적인 것])에 대해서 [학생 관점]이 [비학생 관점]과 차이가 나타나는 것은 학생들이 학습을 지원하는 데 있어 중요한 역할을 충분히 이해할 수 있을 만큼 직장 학습을 아직 충분히 경험하지 못했음을 시사할 수 있다. 그들은 또한 그들이 경험한 교육의 효과를 이미 중시할지도 모른다. 실제로, 학습을 둘러싼 학생과 교사의 견해 차이는 다른 곳에서 보고되었다(Limniou와 Smith 2010).

Differences in student perspectives compared with non-student perspectives in relation to two factors (i.e. learning together in the workplace and pedagogical effectiveness) might suggest that students have not yet experienced workplace learning sufficiently to fully understand its important role in supporting learning. They might also already value the effectiveness of the teaching they have experienced. Indeed, differences in student and teacher perspectives around learning have been reported elsewhere (Limniou and Smith 2010).

연구의 방법론적 강점과 과제

Methodological strengths and challenges of the study

연구 참가자들의 여성 우위성을 포함한 유사한 특성은 호주 전역의 다른 의학, 간호, 연합 보건 및 보건 과학 시설(Brewer and Jones 2013; Brewer et al. 2017)과 유사한 것으로, 우리의 연구 결과가 특히 모나시 대학교에서 현지 연구 활동을 알리기 위해 다른 분야로 이전될 수 있다는 것을 의미할 수 있다.

The similar characteristics, including female dominance, of study participants to other medicine, nursing, allied health and health sciences facilities across Australia (Brewer and Jones 2013; Brewer et al. 2017) may mean that our findings are transferable to other areas, particularly in Monash University, to inform local research activity.

연구 시사점 및 결론

Study implications and conclusions

긍정적인 연구 문화의 중요성은 이전에 확인되었다(Ajjawi et al. 2018). 연구가 중시되고 뒷받침되는 환경, 리더십과 명확한 연구전략의 명확성, 이용가능한 자원(예: 자금, 시간, 전문성), 연구자가 협업관계를 발전시킬 수 있는 기회 등이 효과적인 연구문화 구축의 핵심요소로 보고되어 왔다. 긍정적인 동료 관계를 육성하고 연구와 리더십에 가치를 두는 그러한 환경은 연구에 대한 긍정적인 태도와 헌신을 길러야 한다(Holligan et al. 2011).

The importance of a positive research culture has been identified previously (Ajjawi et al. 2018). The relevance of an environment in which research is valued and supported, where leadership and a clear research strategy are evident, resources (e.g. funding, time, and expertise) are available and researchers are able to develop collaborative relationships, has been reported as key ingredients to establishing an effective research culture (Ajjawi et al. 2018). Such environments where positive collegial relationships are fostered and where value is placed on research and leadership is evident, should cultivate positive attitudes and commitment to research (Holligan et al. 2011).