교육 근거를 진지하게 수용하면 어떤 일이 발생할 것인가? (Perspect Med Educ, 2014)

What would happen to education if we take education evidence seriously?

C. P. M. van der Vleuten • E. W. Driessen

"여전히 강의는 대부분의 의대에서 가장 지배적이며, 가장 많이 사용되는 수업방식이다. 우리는 흔히 '정보 전달(information delivery)'이 - 특히 전문가로부터의 정보전달이 - 좋은 학습결과(good learning)를 낳을 것이라고 가정하기 때문이다. 하지만 교육에 관한 근거를 모아보면, 이러한 생각이 얼마나 순진한지 알 수 있다."

학습(learning)은 '정보 전달'의 문제가 아니라 '정보 처리'의 문제이기 때문이다. 좋은 교육은 바로 이 '정보 처리'를 촉진할 수 있어야 한다. 물론 정보 전달은 학습의 일부이다. 그러나 말 그대로 '일부'이다."

"여태껏 의과대학에서는 '정보 처리' 과정의 대부분을 그저 학습자에게 맡겨두었고, 거기에 대한 서포트는 거의 하지 않았다." "우리는 '정보 전달'에 들어가는 시간과 자원을 더 줄이는 대신, 학습 과정(process of learning)을 서포트하기 위한 교육 전략에 더 많은 시간을 투자해야 한다."

"만약 우리가 교육에 근거를 사용하지 않는다면, 근거는 다락방에 둔 미술품에 지나지 않을 것이다"

도입

Introduction

21세기의 교육은 18세기의 교육과 크게 다르지 않다. 대부분의 교육은 선생님들이 학습자에게 정보를 전달하는 것에 크게 의존한다. 대조적으로, 20세기 의학의 실행은 18세기 의학과 상당히 다르다.

Education in the twenty-first century is not that different from education in the eighteenth century. Most education relies heavily on teachers transmitting information to learners. In sharp contrast, the practice of medicine in the twenty first century is quite different from medicine in the eighteenth century.

우리는 대부분의 의대나 다른 보건 과학 프로그램들이 여전히 가장 지배적인 형태의 수업방식으로서 강의에 크게 의존하고 있다고 주장할 것이다. 학습에 대한 우리의 공통된 개념에서 우리는 [정보 전달, 특히 전문가로부터 기인할 때 좋은 학습으로 이어진다고 가정]한다. 교육에 관한 모든 증거들이 우리가 가지고 있는 것처럼, 교육에 대한 이러한 견해는 다소 순진하다. 우리의 중심 주장은 학습은 정보 전달의 문제가 아니라 정보 처리의 문제라는 것이다. 좋은 교육은 이러한 정보 처리를 용이하게 하기 위한 전략을 제공한다. 당연히, 정보 전달은 학습의 일부일 뿐이지만, 매우 제한적인 부분이다. 우리는 (학습의) 많은 과정을 그저 학습자에게 맡긴다. 그리고 학습자에게 맡겨진 학습 과정의 그 부분에 대한 서포트는 정말 없다.

we would argue that most schools of medicine or other health sciences programmes in university still rely heavily on the lecture as the most dominant form of instruction. In our common conception of learning we assume that information delivery, particularly when stemming from an expert, leads to good learning. With all the evidence on education as we have it, this viewon education is rather naive. Our central argument is that learning is not so much a matter of information delivery, but of information processing. Good education provides strategies to facilitate this processing of information. Naturally, information delivery is part of learning, yet only a very limited part. A lot of the processing we simply leave to the learner. We do not really support that part of the learning process.

사람들은 또한 두 가지 건강관리 시스템의 효과에 대해 물어볼 수 있다; "건강관리 시스템은 또한 의미 있게 비교되기에는 너무 복잡하다"라고 말한다. 이렇게 큰 비교에 관한 자료를 모으는 것이 불가능하다고 말하는 것은 아니다. 당연히 PBL을 중심으로 데이터를 모았지만(그래서 합리적으로 PBL의 효과를 보여줌) [1], 이러한 비교에는 주요한 방법론적 문제가 있으며, 왜 PBL이 효과가 있는지에 대한 해답은 없다[3].

One might also ask about the effectiveness of two health care systems; health care systems are also too complex to be compared meaningfully. This is not to say that it is not possible to assemble data on such large comparisons. Naturally such data have been assembled around problem-based learning (reasonably showing its effectiveness) [1], but there are major methodological problems in these comparisons and it does not answer why problem-based learning works [3].

우리는 큰 단위의 교육 시스템의 (작은) 구성 요소들에 대한 증거가 필요하며, 어떤 것이 왜, 어떤 조건에서 작용하는지를 설명해야 한다[4]. 그러므로 교육에서의 증거는 교육 연구와 다른 관련 영역에서 기인하는 경험적 증거에서 나온 통찰력 그 이상이다. 경험적 증거에 근거한 이론도 포함하고 있다. 이론은 왜 어떤 것이 교육에 효과가 있는지 설명해준다.

We need evidence on the building blocks of the larger educational system, preferably also explaining why things work under which conditions [4]. Evidence in education is therefore more than insights from empirical evidence stemming from educational research and other related domains. It also includes theories that are based on empirical evidence. Theories provide explanations why things may work in education.

근거의 영역

Areas of evidence

설명하기

Elaboration

인지과학은 교육과 학습에 대한 엄청난 함의와 함께 심리학[6]에 혁명이 되어 왔다. 그것은 우리의 기억이 어떻게 작동하는지, 그리고 우리가 정보를 어떻게 장기 기억 속에 저장하고 회수하는지를 연구한다.

Cognitive science has been a revolution to psychology [6] with massive implications for education and learning. It studies how our memory works and how we store and retrieve information in long-term memory.

인지심리학은 학습자가 정보를 처리할 때 학습이 촉진된다는 것을 알려준다. 학습은 정보를 소비하는 것이 아니라 학습자가 정보를 적극적으로 처리하는 것이다. 정교화라는 용어는 이러한 현상을 설명하기 위해 사용된다 [7, 8].

Cognitive psychology tells us that learning is facilitated when the learner processes the information. Learning is not so much a matter of consuming information but of active processing of the information by the learner. The term elaboration is used to describe this phenomenon [7, 8].

정교한 작업은 여러 가지 방법으로 할 수 있다. 학습자가 정보를 사용할 수 있는 모든 활동은 유용하다. 정교화를 촉진하기 위한 무한한 전략이 있다. 예를 들어, 다른 사람과 토론하거나, 도식화하거나, 요약하거나, 자신의 말로 말하거나, 다른 상황이나 문제에 정보를 적용함으로써 정교화가 촉진된다. 학습자가 수동적으로 정보를 소비할 때 정교화가 방해된다. 순수하게 전통적인 강의 기반 시스템에서는, 대부분의 학습 컨텐츠에 대한 정교화 작업이 강의 수업강의실이 아닌 다른 곳에서 이루어질 것이다.

Elaboration can be done in many various ways. Any activity that allows learners to use the information is useful. There are infinite strategies to promote elaboration. For example, elaboration is facilitated by discussing with others, by schematizing, by summarizing, by verbalizing it in one’s own words, or by applying the information to another situation or problem. Elaboration is hindered when the learner passively consumes the information. In purely traditional lecture- based systems, most elaboration on learning content will not take place in the lecture theatre but elsewhere.

아마도, 가장 많은 정교화는 학습자가 과정을 마칠 때 시험을 준비해야 할 때 일어날 것이다. 학습자가 직접 상세히 설명할 것이다.

In all probability, most elaboration will occur when the learner needs to prepare for the exam at the end of the course. The learner will elaborate by him or herself.

결론적으로, 정보를 가지고 일하는 것working with은 정보를 이해하고 배우기 위해 매우 중요하다.

In conclusion, working with information is very important for understanding and learning the information.

협동학습

Cooperative learning

타인과 협력하여 배우는 것이 혼자 배우는 것보다 훨씬 더 효과적이라는 것을 보여주는 풍부한 증거가 있다[9]. 우리는 또한 다른 사람들과 함께 배우는 것이 가장 생산적인 조건도 알고 있다. 이러한 조건에는 

• 참여의 평등, 

• 개인의 책임을 지는 구성원, 

• 상호 긍정적 상호의존성이 요구되는 과제, 그리고 

• 협력적 학습을 촉진하는 동시에 이루어지는 상호작용이 포함된다[9].

There is a wealth of evidence showing that learning in cooperation with others is much more effective than learning alone [9]. We also know the conditions under which learning with others is most productive. These conditions include 

• equality in participation, 

• members carrying individual responsibility, 

• tasks that require mutual positive interdependence, and 

• finally simultaneous interactions promoting cooperative learning [9].

대부분의 전통적인 교육 제도에서, 우리는 개인 학습자에게 매우 의존한다. 어떤 형태로든 협력적 학습을 사용하지 않음으로써, 우리는 교육을 실제처럼 효과적으로 만들지 못하고 있다. 게다가, 전문직업적 삶에서는 사실상 모든 일이 팀 기반이다. 그러므로 다른 사람들과 협력하는 것은 더 효과적인 교육으로 이어질 뿐만 아니라, 바람직한 학습 성과, 즉 다른 사람들과 함께 일하는 능력을 나타낼 수도 있다.

In most traditional educational systems, we highly rely on the individual learner. By not using cooperative learning in some form, we are not making education as effective as it could actually be. Moreover, in later professional life virtually all work is team-based. Working in cooperation with others will therefore not only lead to more effective education, it may also represent a desirable learning outcome: the ability to work with others.

피드백

Feedback

거의 상투적인 것처럼 보이지만, 피드백은 효과가 있다[10]. 학습에 피드백보다 더 강력한 것은 거의 없다.

It almost seems like a platitude, but feedback works [10]. There is hardly anything that is more powerful to learning than feedback.

피드백 출처의 신뢰성, 관심의 초점(사람 지향적이기 보다는 관심의 초점), 그리고 환경에서의 피드백 문화. 또 다른 매우 효과적인 전략은 [피드백에 대한 후속 조치가 f/u되고, 도움과 지원이 제공되는 대화]를 중심으로 피드백 대화를 만드는 것이다 [13].

the credibility of the source, the focus of attention (task oriented rather than person oriented), and the feedback culture in the environment. Another very effective strategy is to create a dialogue around feedback, a dialogue in which follow-up on the feedback is promoted and where help and support is being provided [13].

학습에 대한 피드백의 효과성은 상투적으로 보일 수 있지만, 우리는 그것을 교육실무에서 극적으로 저용하고 있다. 많은 교육 관행은 피드백을 다소 환원주의적 방식으로 취급한다. 대부분의 전통적인 시스템에서 학생들이 받는 피드백은 종종 평가의 결과, 종종 성적의 형태로 제한된다. 성적은 어떻게 보면 피드백의 가장 빈약한 형태다[10]. 학습에 대한 서술적 피드백의 중요성에 대한 설득력 있는 증거가 있지만, 동일한 연구는 그것이 의학 교육에서 덜 사용되고 있다는 것을 보여준다[14]. 더욱이, 직장에서의 학습 피드백은 종종 암묵적으로 남거나 아예 주어지지 않는다[15].

The effectiveness of feedback for learning may seem a platitude, but we underuse it dramatically in educational practice. A lot of educational practices treat feedback in a rather reductionist way. In most traditional systems the feedback that students receive is often restricted to the outcomes of assessments, often in the formof grades. Grades are in a way the poorest formof feedback one can get [10]. Although there is convincing evidence for the importance of narrative feedback for learning, the same research tells us that it is underused in medical education [14]. Furthermore, in workplace learning feedback is often left implicit or not given at all [15].

멘토링

Mentoring

우리는 이미 앞 단락에서 학습 정보를 다른 사람과 공유하는 가치에 대해 암시했다. 멘토링을 둘러싼 연구는 정말 긍정적이다. 피드백 사용 증가, 전문성 개발 개선, 경력 준비 및 성공(더 높은 (임상) 생산, 더 높은 직위 포함), 그리고 예를 들어 번아웃을 통한 생산 손실 방지[17]와 관련이 있다. 스포츠나 음악과 같은 다른 많은 영역[18]에서는 학습자와 지속적인 개인적 관계가 존재하며, 이는 종종 의학교육 훈련 프로그램에 결여되어 있다.

We already hinted in the previous paragraph at the value of sharing learning information with someone else. The research around mentoring is really very positive. It is associated with increased use of feedback, improved professional development, career preparation and success (including higher (clinical) production, higher positions) and prevention of production loss such as for example through burnout [17]. In many other domains, such as sports or music [18], enduring personal relationships exist with learners, which are often lacking in our educational training programmes.

멘토들은 학습자의 자율성을 지원해야 한다. 예를 들어, 학생들의 관점을 듣고 인정하며 학생들이 무엇을 원하는지 탐색해야 한다[20]. 따라서 멘토의 임무는 주로 코칭이며, 답을 주기보다는 질문을 하는 것이다. 우리는 학습에 감정이 개입될 때 멘토링 프로그램을 가장 잘 계획할 수 있다. Transition은 전형적으로 감정과 스트레스의 순간일 뿐만 아니라 직장 같은 내재된 감정이 풍부한 학습 환경이다[23]. 아니면 우리가 가장 필요로 하는 사람들을 위해 그것을 사용할 수도 있다.

Mentors should support learners autonomy, e.g. listening to and acknowledging student’s perspectives, enquiring what students want [20]. The task of the mentor is thus primarily coaching, and to ask questions rather than give answers. We could schedule mentoring programmes best when emotions come into play in learning. Transitions are typically moments of emotions and stress [21, 22], as well as inherent emotion-laden learning environments such as workplaces [23]. Or we could use it for those who need it most.

그래서 멘토링의 장점이 널리 인정받고 있음에도 불구하고, 멘토링은 의학 교육에서 크게 활용되지 않고 있다: 의대생과 전고의의 50% 미만이 멘토를 가지고 있다. 더욱 놀라운 것은 잘 표현되지 않은 소수민족 거주자들과 여성들이 그들의 동료들보다 멘토를 가질 가능성이 적다는 것이다 [24].

So even though the benefits of mentoring are widely acknowledged, mentoring is largely underused in medical education: less than 50 % of medical students and residents have a mentor. What is even more striking is that underrepresented minority residents and females are less likely to have a mentor than their peers [24].

멘토링의 활용 부족은 몇 가지 요인 때문일 수 있다[17, 25, 26]. 

• 첫 번째 요인은 교사에 대한 수업 시간과 인센티브의 부족이다[25, 26]. 

• 두 번째 요인은 짧은 로테이션에 대한 임상 훈련의 구조화인데, 이것은 학생과 교사 사이의 더 많은 종적 관계를 방해한다. 

• 멘토링의 낮은 활용 대한 세 번째 설명은 공식적인 멘토링 프로그램의 부족과 때때로 멘토를 찾는 것이 나약함의 표시로 보여지는 문화, 그리고 학생이나 거주자가 스스로 멘토를 찾을 수 없다는 것이다.

The underuse of mentoring could be due to several factors [17, 25, 26]. A first factor is the lack of teaching time and incentives for teachers [25, 26]. A second factor is the structuring of clinical training in short rotations, which hampers more longitudinal relationships between students and teachers. A third explanation for the underuse of mentoring is a lack of formal mentoring programmes, in combination with a culture in which looking for a mentor is sometimes seen as a sign of weakness, and the inability of students or residents to find mentors by themselves.

어떤 상황에서 멘토링이 효과적인가? 성공적인 멘토링 관계는 상호주의, 개인적 연결, 상호 존중, 공유된 가치와 분명한 기대감으로 특징지어진다. 멘토링은 멘토가 멘티를 착취하거나, 멘토가 학생이 해야 할 선택에 대해 선입견을 가지고 있을 때 기능하지 않는다[27]. 멘토는 멘티들이 무엇을 선택해야 할지 조언하고 문제에 대한 해결책을 제시하는 대신, (멘토는) 질문을 하고 멘티들이 자신의 선택에 대해 성찰할 수 있도록 도와야 한다. 멘토는 성찰에 의문을 제기하고 격려함으로써 멘티가 스스로 결정을 내리고 자신만의 해결책에 도달할 수 있도록 한다.

Under which circumstances is mentoring effective? Successful mentoring relationships are marked by reciprocity, personal connection, mutual respect, shared values and clear expectations. Mentoring is dysfunctional when the mentor takes advantage of the mentee or when the mentor has preconceived ideas about the choices students should make [27]. A mentor should ask questions and help mentees reflect on their choices, instead of advising them what to choose and offering solutions to their problems. By questioning and encouraging reflection the mentor enables the mentee to make their own decisions and arrive at their own solutions.

멘토링을 효과적으로 하기 위해서는 멘티가 적극적으로 나서 멘토에게 자신의 (학습) 필요와 기대를 알려 멘토링의 소유권을 가져가야 한다[29]. 이를 위해서는 멘티가 자유롭게 자신의 멘토와 자신의 발전을 자유롭게 토론할 수 있는 분위기[30]가 필수적이다.

In order to make mentoring effective, a mentee should be active and take ownership of the mentoring by informing the mentor about their (learning) needs and expectations [29]. To do this, a safe environment is essential, an atmosphere in which the mentees feel free to discuss in an open manner their development with their mentor [30].

참여

Engagement

참여는 활력, 헌신, 흡수력이 특징으로 하며, employee의 만족도가 가장 높은 상태를 말한다[33]. Engagement는 어떻게 보면 소진과는 정반대의 상태를 말한다.

Engagement is a state of highest satisfaction in employees that is characterized by vitality, dedication and absorption [33]. Engagement is, in a way, the opposite to burnout.

참여는 자율성, 자기 통제, 사회적 지원과 코칭, 끊임없는 변화, 다양성, 팀워크, 흥미로운 도전 등을 통해 연관되고 촉진된다. 외부통제, 규정된 업무, 지루함, 개성 등과 정반대다. Work Engagement Theory는 우리가 이미 언급한 자기 결정과 본질적 또는 외적 동기 부여[36]를 둘러싼 작업과 강하게 공명하며 교육에도 강한 영향을 미친다[20].

Engagement is associated and promoted through autonomy, self-control, social support and coaching, constant change, diversity, teamwork, interesting challenges, etc. It is the opposite from external control, prescribed tasks, boredom, individuality, etc. Work engagement theory resonates strongly with the work around self-determination and intrinsic or extrinsic motivation [36] that we have already mentioned and also has strong repercussions for education [20].

우리의 교육 관행은 외부 통제, 지루한 과제(수시간 교사의 말을 듣는 것), 지루하고 불안한 시험, 제한적인(조직화된) 사회적 지원, 모든 (불량) 학습을 지배하는 완전한 종합 시험 시스템 등으로 가득 차 있다. 우리는 학습자들이 매우 외부적으로 동기부여가 되어있다는 것이나 학습자로서의 역할에 관여하지 않는다는 사실에 놀라서는 안 된다. 교사 중심 프로그램은 열악한 학습 환경과 더 우울한 시스템 및 소모량과 관련이 있다[37]. 직장 내 학습자도 마찬가지다[38]. 직장 등 매우 잠재적으로 challenging한 교육 환경에서도, 그저 반복적인 학습 과제를 수행하는 비활성 학습자는 disengage된다.

Our education practices are full of external control, boring tasks (listening to teachers for hours), dull and anxious exams, limited (organized) social support, complete summative exam systems dominating all (poor) learning, etc. We should not be surprised that our learners are so externally motivated or are not engaged in their role as a learner. Teacher-centred programmes are associated with a poorer learning climate and more depressive systems and burnout [37]. The same is true for learners in the workplace [38]. Even in very potentially challenging education environments such as workplaces, inactive learners doing very repetitive learning tasks become disengaged.

학습자는 소속감을 경험하는 의료팀의 일원으로서 실제로 (감독된) 책임감을 가지고 작업에 참여할 때 [39] 가장 잘 배운다[40]. 우리의 교육은 의무와 최소한의 기준을 이행하는 것이 아니라 참여와 우수성에 맞춰져야 한다. 학습자에게 도전적인 과제를 제공해야 한다. 예를 들어, 종이 환자 문제가 문제 기반 학습 환경에서 실제 환자 접촉으로 대체되었을 때, 학생들의 동기는 엄청나게 증가되었다[41]. 학습자들은 더 많은 신뢰와 책임감과 자율성을 받아야 한다. 요컨대, 근로자들이 작업 환경에 어떻게 관여하게 되는가는 학습자들이 어떻게 학습 환경에 관여하게 되는가와 매우 유사하다.

Learners learn best when they actually participate in the work with their own (supervised) responsibility [39], as part of the health care team where they experience a sense of belonging [40]. Our education should be geared to engagement and excellence, not to fulfilling obligations and minimum standards. It should provide learners challenging tasks. For example, when paper patient problems were replaced by real patient encounters in a problem-based learning setting, the motivation of students was tremendously boosted [41]. Our learners should receive more trust, responsibility and autonomy. In sum, how workers become engaged in a work environment is very similar to how learners become engaged in a learning environment.

사회적 맥락에서 배우기

Learning in a social context

최근 몇 년 동안 의미 있는 사회적 관계와 실천의 맥락에서 배우는 것은 매우 중요한 것으로 간주된다[42]. Situated Learning은 사회문화적 학습 이론 중 하나이며 [견습]이라는 고전적 개념을 [관찰과 모방에 의한 학습]에서 [전문가 커뮤니티에서 능동적인 참여 학습]으로 확장한다[43].

In recent years learning from the context of meaningful social relationships and practices is considered to be very important [42]. Situated learning is one of the social cultural learning theories and extends the classic notion of apprenticeship as learning by observation and imitation through to active participation learning in a community of professionals [43].

의료 훈련 프로그램의 임상 단계는 전형적으로 견습-학습 모델을 따른다. 학생들은 정해진 과별 로테이션을 한다. 로테이션에서 transition이 많은 것은 학습에 해로운 것으로 보인다 [21]. Attachment의 수와 기간은 종종 관성적으로 결정되며, 또한 종종 개별 분야의 상태에 대한 치열한 논쟁의 결과이기도 하다.

The clinical phase of medical training programmes typically follows the classic through of apprenticeship-learning model. Students rotate a set disciplinary rotations. Creating many transitions in workplace rotations seems to be harmful to learning [21]. The number of disciplines and the time of duration of the attachments is often historically determined and also often a result of fierce debates on the status of individual disciplines.

사회 학습 이론은 임상 로테이션에 대한 새로운 접근법에 영감을 주었다.

Social learning theories have inspired newer approaches to clinical rotations.

한 가지 예는 학습자가 더 오랜 기간 동안 임상 환경에 몰입하는 LIC의 촉진이다[44–46]. 이러한 임상실습에서는 짧은 전통 버전보다 더 많은 연속성과 책임감이 있다.

One example is the recent promotion of longitudinally integrated clerkships where a learner is immersed in a clinical environment for a longer period of time [44–46]. There is more continuity and responsibility in these clerkships than in the shorter traditional versions of them.

사회문화학습 이론이 영향을 미치는 또 다른 예는 최근 업무 기반 평가에 대한 관심이다[48]. 그 목적은 직장에서 관련된 전문가[49]로부터 학습자에게 보다 의미 있는 피드백을 제공함으로써 학습을 지도하기 위한 지속적 관계에서 존경 받는 감독자와의 대화를 통해 자기주도적 학습을 유도하는 것이다[13].

Another example of where sociocultural learning theory is influential is the recent attention to work- based assessment [48]. The intent is to provide more meaningful feedback to the learners from the professionals involved in the workplace [49], to drive self- directed learning through the use of reflection and dialogues with respected supervisors in enduring relationships to guide learning [13].

이론에서 실천으로: 덜 함으로써 더 하기

From theory to practice: do more with less

포괄적이 되려는 시도조차 실제로 포괄적이지 않고 빠르게 시대에 뒤떨어진다. 이것은 교육 연구가 어떻게 진화하고 있는지를 보여준다. 증거의 대표성보다 더 중요한 것은 증거와 교육 관행의 괴리다. 만약 우리가 이 6개 정도의 임의적인 증거 영역만을 진지하게 받아들인다면, 우리는 기존의 관행을 근본적으로 바꿀 수 있을 것이다!

Even attempts to be comprehensive [50] are not really comprehensive and become quickly outdated. This shows how research in education is evolving. More important than the representativeness of the evidence is the gap between the evidence and educational practice. If we would only take these six more or less arbitrary areas of evidence seriously, we could radically change existing practices!

우리는 독자의 생각을 쉽게 짐작할 수 있다. 이것들은 값비싼 제안들이야! 이 모든 것의 비용은 얼마인가? 경제적 어려움의 시기에 누가 그것을 감당할 수 있을까? 우리의 주장은 우리가 자원을 잘못 쓴다는 것이다. 대부분의 커리큘럼에서 우리는 대부분의 시간과 노력을 실제로 정보 전달에 소비한다. 대부분의 전통적인 프로그램(아마도 여전히 세계 대부분의 프로그램)에서는 정보 전송이나 전달에 20시간에서 30시간을 쉽게 소비한다. 위에서 분명히 알 수 있듯이, 정보 전달은 좋은 학습에서 아주 작은 부분만을 차지한다.

We can easily guess the thoughts of the reader. These are expensive suggestions! What is the cost of all this? Who can afford that in times of economic hardship? Our argument would be that we spend our resources incorrectly. In most of our curricula we spend most time and effort actually on information delivery. In the most conventional programmes—probably still the vast majority of programmes in the world—20 to 30 h is easily spent on information transfer or delivery. As is clear from the above, good learning is considerably more than information delivery.

위의 학습 증거를 따른다면, 우리는 자원의 상당 부분을 전달에 소비하는 것을 중단해야 한다. 우리는 컴퓨터에 모든 정보 전달을 캡처하여 웹을 통해 배포하는 것을 제안할 것이다. MOOCs(Modern Online Open Course)와 온라인 콘텐츠를 갖춘 온라인 아카데미와 같은 이니셔티브가 세계를 정복하고 있다[51]. 일부는 심지어 학계의 파괴를 두려워한다[52]. 호주의 해부학과 교수가 캐나다의 해부학과 교수와 같은 정보를 다루는 것은 어느 정도 부끄러운 일이다. 정보를 포착해 매력적인 영상 자료를 부록이나 서면 자료의 대체물로 만드는 것이 어떨까?

With the above evidence on learning we should stop spending substantial parts of our resources on delivery. We would propose to capture all information delivery on the computer and distribute that through the web. Initiatives such as Modern Online Open Courses (MOOCs) and online academies with online content are conquering the world [51]. Some even fear the destruction of academia [52]. To some extent it is a shame that a professor in for example anatomy in Australia covers the same information as the anatomy professor in Canada. Why don’t we capture the information and construct attractive video material as an addendum or replacement to written materials?

일단 정보 전달이 가능하게 되면, 아마도 공개적으로라도, 우리는 학습 과정을 지원하기 위해 모든 노력을 기울일 수 있다. 프로그램의 질은 최고의 교사들로부터 최고의 정보를 어떻게 제공하는가에 달려 있는 것이 아니라, 교사로서 우리가 학습 과정을 최대한 용이하게 할 수 있는 방법에 달려 있다. 그리고 나서 우리는 작은 규모의 상황에서 그리고 학습자들과 긴밀한 상호작용으로 내용을 토론할 시간을 갖는다. 우리는 학습자 성과에 대해 적절한 피드백을 줄 수 있을 것이며, 프로그램을 진행하는 동안 그들을 지도하고 조언하는 시간을 가질 것이다. 학습자는 engage하게 된다. 재미는 학습자와 교사 모두에게 필수적인 요소가 될 것이다. 탁월함도 그렇다.

Once the information delivery is available, perhaps even publically, we can put all our efforts into supporting the learning process. The quality of programmes will not depend on howto give the best information fromthe best teachers, but on the way we as teachers are able to scaffold the learning process that maximally facilitates that learning. Then we have time to discuss content in small-scale situations and in close interaction with our learners. We will be able to give appropriate feedback on learner performance, and we will have time to guide and mentor them throughout a programme. Learners will become engaged. Fun will be an essential element for both learners and teachers. So is excellence.

고찰

Discussion

코스 내용을 배포하고 학생 중심의 학습에 집중한다는 발상은 새로운 것이 아니다. 프로버와 히스는 이 접근법을 '극장 없는 강당'이라고 불렀다[53]. 보다 일반적인 용어는 '거꾸로 교실'[54]이며, 우리는 보건 교육 프로그램에서 이러한 아이디어를 구현하기 위한 보고서와 첫 번째 시도를 기록한다[55]. 이것들은 위대한 이니셔티브들이다. 우리는 학습자의 학습 과정을 지원하는 교육 전략에 초점을 맞출 필요가 있다. [연구에 근거한 전략]과 [어떤 것이 어떤 상황에서 교육에서 효과가 있는지 설명하는 이론]에 초점을 둬야 한다.

The idea of distributing course content and focussing on student-centred learning is not new. Prober and Heath have called the approach ‘lecture halls without theatres’ [53]. A more common term is ‘flipped classroom’ [54] and we note reports and first attempts on implementing these ideas in health education programmes [55]. These are great initiatives. We need to focus on education strategies that support the learning process of the learner. Strategies that are based on research information and theories that explain why things work in education under which circumstances.

그렇게 함으로써 우리는 커리큘럼 X와 Y를 비교하는 것을 잊어야 한다. 대신에 우리는 교육과학의 증거와 이론을 숙지해야 하며, 아마도 참여해서 학술적인 작업에 기여해야 할 것이다. 그렇다면 이론부터 교육실무로 이어지는 [최적화된 translation을 만드는 교육전략]을 창의적으로 설계하는 데 참여해야 한다.

In doing so we should forget about comparing curriculum X versus Y to see which is superior. Instead we should acquaint ourselves with evidence and theory from the educational sciences, perhaps even participate and contribute to the scholarly work. Then we should engage ourselves in creatively designing educational strategies that make optimized translations from theory to education practice.

교육에 대한 이러한 접근방식에서 필수적인 것은 연구 정보에 입각한 [56] 교육 전략의 창의적 설계와 우리가 그것들을 실행하는 방법이다. Implementation은 종종 커리큘럼의 궁극적인 품질을 결정하지만, 동시에 종종 무시된다. [57]실행 실패 때문에 제대로 작동하지 않는 문제 기반 학습 커리큘럼의 구현을 보았다[58]. 변화에 대한 교수진의 참여가 성공의 열쇠다. 교육과학에 대한 연구는 [(부분적으로는 무의식적인) 학습에 대한 교사의 인식과 학습에 대한 신념 체계]가 교육실무에서 행동하는 방식을 결정한다는 것을 보여준다[59]. 이는 계획된 행동[60]에서 심리학의 광범위한 이론에서 비롯되며, planned behavior에 관한 이론은 건강 관련 행동을 변화시키는데 종종 사용된다[61]. 행동을 바꾸는 것은 어떤 전문 분야에서도 도전적인 일이다. 의사들이 최근의 증거를 사용하도록 설득하기 위한 시도가 이루어지고 있는 지속적인 전문가 개발에 대한 연구에 따르면, 전문가들로 하여금 어떻게 해야 할지를 설명하도록 하는 가장 일반적인 접근법은 가장 효과적이지 않다[62]. 의사의 요구에 밀접하게 부합하는 다중모드 접근법이 가장 잘 작동하는 것 같다[63].

Essential in this approach to education is the research-informed [56] creative design of instructional strategies and the way we implement them. Implementation often determines the ultimate quality of curricula and is often neglected. [57]We have seen implementations of problem-based learning curricula that did not work properly, simply because the implementation failed [58]. Buy-in from faculty about change is key to any success. Research in the educational sciences tells us that teachers’ perceptions on learning and their belief system on learning, partly being unconscious, determines the way they act in education practice [59]. This stems from a wider theory in psychology in planned behaviour [60], often used for changing health-related behaviours [61]. Changing behaviours is a challenging task in any professional field. In the research on Continuous Professional Development, where attempts are being made to convince doctors to use recent evidence, the most common approach of having experts explain what to do is least effective [62]. A multimodal approach closely aligned to the needs of the doctor seems to work best [63].

그러므로 학생 학습자에 대한 학습 증거가 선생님들에게도 똑같이 적용된다. 단순히 교수들에게 변화하라고 말하는 것만이 재앙을 낳는 가장 좋은 방법이 될 것이다. 우리는 그들을 참여시키고, 그들이 다른 방식으로 일하는 것을 경험할 수 있도록 해야 할 것이다. 변화를 이끄는 리더나 매니저가 있어서, 신뢰받고, 코칭하고, 도움을 줘야 할 것이다. 이것을 잘 한다면 교사들도 참여하게 될 것이고 이것은 변화 과정에 기름을 부을 것이다. 학습에 관한 증거를 참작하면서 교수개발 및 변화 관리 전략의 설계에 [변화 이론[57]]을 translate하기 위해서는 동일한 창의성이 필요하다.

We would therefore argue that the learning evidence on student learners equally applies to our teachers. Simply by telling them to change will be the best recipe for disaster. We will need to involve them, allow them to experience working in different ways, having a change leader or manager who is entrusted, who coaches, who helps. By doing this well, teachers will also become engaged and this will fuel the change process. We need the same creativity to translate the theory of change [57] to designs of faculty development and change management strategies, while taking the evidence on learning into account.

우리는 교육에서 증거의 사용에 대한 관점을 스케치했기를 바란다. 우리는 정보 전달에 더 적은 시간과 자원을 소비해야 한다, 그러나 학습 과정을 더 잘 지원하는 교육 전략에 더 많은 시간을 투자해야 한다. 우리는 전체 커리큘럼의 맹목적인 비교를 하는 것에 신중해야 한다. 왜 교육전략이 작동하는지, 어떤 조건에서 어떤 조건에서 교육전략이 작동하는지 설명하는 교육증거를 찾거나 기여해야 한다.

We hope to have sketched a perspective on the use of evidence in education. We should spend less time and resources on information delivery, but rather on educational strategies that better support the process of learning. We should be cautious doing rather blind comparisons of full curricula. We should seek or contribute to education evidence that explains why educational strategies work and under which conditions.

우리는 [단순히 전통과 직관에 근거하여 계속할 것인지], 아니면 [우리의 미래 교육 관행을 형성하기 위해 증거를 사용할 것인지]를 결정해야 한다. 만약 우리가 교육에 증거를 사용하지 않는다면, 그 증거는 다락방의 미술에 지나지 않는다.

We have a choice to simply continue based on tradition and intuition, or we could use the evidence to shape our future educational practices. Alternatively, if we do not use evidence in education, than the evidence is no more than fine art in the attic.

필수사항

Essentials

• 교육 관행 및 교육 연구가 잘못 조정됨

• Educational practice and educational research are misaligned.

• 효과적이지 않은 instruction에 너무 많은 노력을 기울인다.

• Too much effort is given to instruction which is not effective.

• 학습자에 대한 정보 전달은 웹으로 배포되어야 한다.

• Information delivery to learners should be web-distributed.

• 연구 증거는 학습을 지원하는 보다 효과적인 접근법에 대한 영감을 제공한다.

• Research evidence provides inspiration for more effective approaches supporting learning.

• 연구 증거는 교육 전략이 작동하는 이유를 설명하는 방향을 추구해야 한다.

• Research evidence should be directed on explaining why an education strategy works.

분야로서 HPE: 강력한 지식 생산을 위한 함의(Teach Learn Med, 2017)

HPE as a Field: Implications for the Production of Compelling Knowledge 

Anneke van Enk and Glenn Regehr

Centre for Health Education Scholarship, University of British Columbia, Vancouver, British Columbia, Canada

교육에서의 연구는 오랫동안 [학문적 이해 관계자]와 [실무에 기반을 둔 이해 관계자]들의 상충하는 우려와 씨름해 왔다.

Research in education, has long struggled with the competing concerns of academic and practice-based stakeholders.

[학계에서는] 많은 교육 연구가 방법론적으로나 이론적으로 열등하고, 효용(또는 실제적인 결과)에 지나치게 신경을 쓴다는 인식이 있다. 그리고 (교육연구가) '진정한' 학문으로서의 정당성이 있는지 문제 삼는다.

Among academics, there is a perception that much education research is methodologically and theoretically inferior and too concerned with utility (or practical outcomes), throwing its legitimacy as a “real” scholarly enterprise into question.

[동시에, 교육 실무자들과 정책 입안자들 사이에는] 교육연구가 특별히 유용하지 않고, 경직된 처방이나 불가사의한 추상화 중 하나를 제공하는 경우가 너무 많은데, 둘 다 "현실 세계"의 복잡성이나 일상적이고 구체적인 요구를 고려하지 못한다는 의식이 있다.

At the same time, there is a sense among educational practitioners and policymakers that it is not especially useful, that too often it offers either rigid prescriptions or arcane abstractions that, respectively, fail to take the complexities or the everyday, concrete needs of the “real world” into account.

라바레 1,2는 사실 교육연구의 바로 이러한 학술적 기여와 현실적 기여 사이의 긴장관계가 다른 기존의 많은 학문들에 비해 이 분야의 낮은 위신을 설명하는 것이라고 주장해 왔다.

Labaree 1,2 has argued that it is, in fact, this very tension between the intellectual and practical commitments in education research that accounts for its low prestige compared to many established disciplines in the academy.

[이론과 방법에 관한 중요한 우려]와 [교육자, 관리자 및 정책 입안자의 현실적 요구]를 모두 해결하는 새로운 지식을 생산해야 한다면, 학계와 실무자의 HPE 커뮤니티가 이러한 긴장에 효과적으로 대응할 수 있는 방법은 무엇인가?

how might the HPE community of academics and practitioners respond effectively to this tension in order to produce new knowledge that addresses both important concerns about method and theory and the practical needs of educators, administrators, and policymakers?

그러나, 하나의 분야로서, HPE 연구는 학문적으로도 실무적적으로도 둘 중 하나의 이해관계에 대한 특권을 부여하지도 않을 것이며, 긴장감을 해소하기 위한 어떤 결정적인 청사진을 시도하지도 않을 것이다. 오히려 HPE에서 학문과 실무적 이해관계는 본질적으로 상호 연관되어 있으며, 따라서 얼마가 되었든 일정정도의 긴장상태에 있다고 간주할 것이다.

As a field, however, HPE research would not privilege either disciplinary or practical interests, nor would it attempt any sort of definitive blueprint for resolution to the tension. Rather it would regard disciplinary and practical interests as inherently interconnected and, therefore, always in tension to varying degrees.

하나의 분야로서 HPE가 갖는 과제는 그 긴장을 해소하는 것이 아니라, 협업을 통해, 끊임없이 변화하는 협상과 타협을 통해, 그 긴장을 생산적인 방법으로 활용하는 것이다. 그것은 반드시 편안할 필요는 없지만 그럼에도 불구하고 지역사회의 모든 부분에 울려 퍼지는 지식을 육성할 것이다.

The challenge for a field is not to resolve that tension but to harness it in productive ways through collaboration, through ever-shifting negotiation, and compromise, engagements that will not necessarily be comfortable but will nonetheless foster knowledge that resonates with all parts of the community.

학문분야로서 교육

Education as discipline

하나의 학문분야란 (반드시 조화롭지는 않더라도) [지식의 축적과 검증을 위한 [지적 이익과 표준에 의해 결합된 집단]이 상대적으로 밀접하게 결속되는 경향이 있다. 한 학문분야의 구성원은 문제의 전문적 지식, 언어, 구성 등을 공유하며, 구성원은 문화화 과정을 포함한 광범위한 훈련 과정을 통해 (멤버십을) 획득한다.

Academic disciplines tend to be relatively close-knit, if not necessarily harmonious, groups united by intellectual interests and standards for accumulating and validating knowledge. Members of a discipline share specialized knowledge, language, and constructions of problems, and membership is acquired through an extensive process of training that is heavily laden with processes of enculturation.

Becher3는 '학문'이란 명확하게 구분된 "영토"를 보호하는 응집력 있는 "종족"라고 은유적으로 묘사했다. 비록 이 은유에 대한 많은 비평이 있지만, 사실 학문은 (적어도 겉으로는) 단결unity의 보존하고자 하며, 특히, 다른 학문분야 또는 비-학문분야와의 구별을 유지하기 위해 노력을 기울인다.

Becher3 offered a metaphorical description of disciplines as cohesive “tribes” protecting clearly demarcated “territories.” Although this metaphor has met with a good deal of critique,4,5 disciplines do, in fact, expend effort on the preservation of (at least the outward semblance of) unity and, in particular, on maintaining distinctions both from other disciplines and from nondisciplines.

여기서 우리의 목적을 위해 중요한 것은, 일반적으로 학술분야들은 이론의 진보를 그들의 주된 목표로 삼는다. 이론에 대한 이러한 일차적 초점은 종종 학문이 "실무real world practice" 으로부터 분명히 분리되게 한다. 이러한 분리에 대한 근거는 지적 탐구의 여력 측면에서 표현되어 왔다.

Important for our purposes here, academic disciplines generally take, as their primary goal, the advancement of theory. This primary focus on theory often leads disciplines to explicitly separate themselves from“real-world” practices. The rationale for this separation has been expressed in terms of its affordances for intellectual inquiry.

예를 들어, 파커는 학문이란 본질적으로 속세에 관심이 없으며unworldly, 학문이 반드시 효용성을 갖춰야 하는 것도 아니기에, 아이디어의 탐구에 대한 뿌리 깊은 헌신을 가능하게 한다고 말했다.

Parker,6 for instance, wrote that a discipline is by its very nature unworldly and that this allows for a deep-rooted commitment to the exploration of ideas not necessarily in the service of utility.

교육의 맥락에서, Hammersley7은 "두 세계"라는 관점을 사용하여 이 분리separation의 가치를 주장했다. 그는 "연구자와 실무자는 근본적으로 다른 두 가지 활동을 하고 있으며 이는 서로 다른 방향으로 나아가게 한다"고 제안했다. …두 가지 서로 다른 활동을 효과적으로 추진하려면 서로 다른 방향의 차이는 불가피하다."7(p62)

In the context of education, Hammersley7 asserted the value of this separation using a “two-worlds” perspective. He suggested that “researchers and practitioners are engaged in two fundamentally different activities, and … this gives rise to divergent orientations on their part. … This difference in orientation is essential if these different activities are to be pursued effectively.”7(p62)

[학술연구]와 [실천]의 분리도 HPE 문헌에 반영되어 있는데, 이는 '생산자를 위한 생산'과 '사용자를 위한 생산'이라는 양극단으로 구분하기 때문이다.9 학문 기반의 관점을 촉진하면서, 'influential figures'들은 HPE 연구는 "연구자 커뮤니티를 목표로 하는 작업 개발과 이론적 지식의 향상을 우선시"하고, 반대로 (HPE연구는) "현장에서의 연구 질문의 방향을 잡는데 있어서 의과대학 교수들의 요청에 의해 생기는 영향력"를 줄여야만 더 발전할 것이다라고 말한다.

The separation between academic research and practice is also mirrored in the HPE literature as the distinction between the poles of “production for producers” and “production for users.”9 Promoting a discipline-based perspective, “influential figures” have suggested that HPE research would improve if it gave “priority to the development of work aimed at the community of researchers and at the advancement of theoretical knowledge” and reduced “the sphere of influence exerted by the needs of faculties of medicine in orienting research questions in the field.”

[학문기반 지식 생산]과 [실무practice]적 우선순위를 별개의 것으로 나누게 되면, 필연적으로 이 두 가지 세계 사이에서 "gap"을 "bridge" 하기 위하여 지식 번역이 필요하게 된다. 이 또한 쉬운 일은 아니다.

The outcome of prioritizing disciplinary-based knowledge production as distinct from practice is that knowledge translation becomes necessary if we are to “bridge the gap” between these worlds. This entails challenges.

'지식 번역'에 대한 비평

Critiques of knowledge translation

[좁은 형태의 증거]와 [자연에 대한 단순한 가정]에 특권을 부여하는 것

privileging of narrow forms of evidence and simplistic assumptions about the nature

번역이 실무자의 책임이라고 주장될 때, 그것은 실무자가 학문적으로 이론가들이 배타적 영역으로 주장해온 언어, 개념, 특권적 지식을 이해해야 한다는 부담을 준다. 그것은 실무자들이 학문적 대화에 참여할 권한을 부여받지 않고 실무에 대한 가치를 확인하는 범위 내에서 이를 이해하고 받아들일 수 있어야 한다고 제안한다.

when translation is asserted to be the responsibility of the practitioner, it places a burden on the practitioner to understand the language, concepts, and privileged knowledge that the discipline has claimed as its exclusive domain. It suggests that practitioners ought not be authorized to participate in the disciplinary conversation but ought to be able to understand and appreciate it to the extent of identifying its value for practice.

반대로, 그러한 번역이 학술 연구자들에 의해 수행되었을 때, 적어도 역사적으로, (방법론적으로 엄격하지만 종종 좁은) 발견에 기초하여 하향식 처방의 과정이 되어 왔으며, 실무에 도움이 되는 만큼 많은 피해를 입히기도 했다. 이는 대부분, 연구자들 자신이 국지화된 실무적 복잡성에 대한 이해에 있어 세련되지 못했으며, 따라서 번역을 위한 노력은 단지 (논리적이지만 종종 난해한) 이론의 "dumbing down"으로 본다.

Conversely, when such translation has been undertaken by academic researchers, it has, at least historically, been a top-down process of prescription on the basis of (methodologically rigorous but often narrow) findings that might cause as much damage as help in practical settings.13 In large part, this is because the researchers themselves are often unsophisticated in their understanding of the localized complexities of practice and thus see translational efforts merely as the “dumbing down” of (elegant but often esoteric) theories.

이러한 지식번역은 학계 연구자들에게 별로 호소력이 없어 보일 뿐만 아니라, "(지식번역에 힘쓰는 것은) 실제로 연구자로서의 과학적 명성과 위신을 떨어뜨릴 수도 있다"는 인식이 있다.14(p3)

Not only does such translation seem to hold little appeal for academic researchers, but there is a perception that engaging in it “may actually decrease a researcher’s scientific reputation and prestige.”14(p3)

지식 번역에 관한 문헌은 이러한 문제들을 다루기 위해 노력해왔다. 구체적으로, 통합 지식 번역의 개념은 "잠재적 지식 사용자들은 연구 과정의 시작부터 적절하고 의미 있는 방법에 종사해야 한다."는 것을 인정한다. 이러한 변화는 지식번역을 개념화할 때, (지식 전달보다는) [지식 생산의 문제]로서 개념화하는 전환이 중요하다.

The literature on knowledge translation has made efforts to address these issues. Specifically, the concept of integrated knowledge translation acknowledges that “potential knowledge users must be engaged in appropriate and meaningful ways from the beginning of the research process.”15(p14) This shift to conceptualizing knowledge translation as a matter of knowledge production rather than knowledge transfer is significant.

실천으로서 교육 

Education as practice

이론-실무의 이분법에 대처하기 위한 대안적 접근방식은 학문지식이 아닌 실무에 더 우선순위를 두는 것이다. 이처럼 실무를 우선하고자 하는 노력의 두 가지 버전은 일반적으로 교육에서 설명된다: [실무자 조사]와 [증거 기반 교육].

An alternative approach to addressing the theory-practice divide privileges practice rather than disciplinary knowledge as the focus of the research enterprise. Two versions of this effort to foreground practice are commonly articulated in education: practitioner inquiry and evidence-based education.

[실무자 조사 운동]은 실무자 주도의 연구가 그들의 실제 지식 및 상황별 특수성과 더 잘 관련된 연구 결과를 만들어 낼 것이라고 주장한다. 실무자 질의에는 연구자로서의 교사, 16개의 비판적 해방 연구, 17, 성찰적 실천 등 수많은 접근방식이 있다.18

The practitioner inquiry movement posits that practitioner-led research will generate findings that relate better to their real-world knowledge and contextual particularities. There are numerous approaches to practitioner inquiry, including teacher as researcher,16 critical emancipatory research,17 and reflective practice.18

코크란-스미스와 리틀에 따르면

according to Cochrane-Smith and Lytle,

다음을 인정해야 한다.

실무자를 합법적 지식인으로 

전문적 맥락을 실무에서 발생하는 문제의 연구를 위한 조사 장소로 

탐구와 실무 사이의 모호한 경계를 

타당성과 일반성의 개념은 전통적인 연구의 관례와는 다름을

the acknowledgement of 

the practitioner as a legitimate knower; 

the professional context as inquiry site for the study of problems that arise from practice; 

blurred boundaries between inquiry and practice; [and] 

notions of validity and generalizability different from the conventions of traditional research.

그러나, 이 접근법에 의해 생성된 지식의 형태에 대한 우려가 제기되었다. 예를 들어, 20세의 펜스터마허는 실무자 조사가 영장 및 정당성의 요건을 충분히 심각하게 받아들이지 않았다고 제안했고, 휴버먼21(p132)은 교사의 "emic" 관점을 옹호하는 것이 "망상과 왜곡에 대한 안전장치를 약화시키는 결과"로 이어졌다고 우려를 표명했다. 따라서, 많은 학자들은 [여러 교육실무적 맥락에 대한 결정을 기반으로 하는 하는 지식의 "공유 가능한" 형태로서의 실무자 조사의 가치]를 의심한다.2

However, concerns have been raised about the forms of knowledge generated by this approach. Fenstermacher,20 for instance, suggested that practitioner inquiry has not taken seriously enough the requirements of warrant and justification, and Huberman21(p132) expressed concern that the championing of teachers’“emic” perspectives has led to “minimal safeguards against delusion and distortion.” Thus, the value of practitioner inquiry as a “shareable” form of knowledge upon which to base decisions about educational practice across contexts is questionable, at least to many academics.2

[증거 기반 교육]은 실무를 우선시하는 접근방식 측면에서 실무자 조사와 현저하게 다르다. [검증 가능한 실효성 입증에 근거해 일반화할 수 있는 실천적 처방이 자신 있게 구현될 수 있다]는 기대와 함께 실무에 대한 '강건한' 연구 방법의 활용을 촉진한다. 여기서 증거는 실무자 질의에서처럼 경험에 대한 반성을 통해서가 아니라, "실용적이고 복제가능한 교육 프로그램에 대한 연구의 과학적으로 타당하고 쉽게 해석할 수 있는 종합synthesis"이 가능하도록 (학문기반의, 대개 실험적인) 방법론의 엄격한 적용을 통해서 생산된다.

Evidence-based education differs sharply from practitioner inquiry in its approach to foregrounding practice. It promotes the use of “rigorous” research methods in service of practice, with the expectation that its generalizable prescriptions for practice can be implemented with confidence based on verifiable proof of effectiveness.22,23 Evidence here is not produced through reflection on experience, as it is in practitioner inquiry, but through rigorous application of (discipline-based and usually experimental) methodologies that allow for “scientifically valid and readily interpretable syntheses of research on practical, replicable education programmes.”24(p5)

그러나, [증거 기반 교육]을 위하여 창출되는 지식의 가치에도 의문이 있는데, 왜냐한 연구마다 ground가 서로 다르기 때문이다. 특히, 비평가들은 [단순화된, 일반화과능한 원칙]을 강조하는 것을 지적하며, 지식이 관련성을 갖기 위해서는 복잡하고 국지화된 상황에서 효과적으로 작동할 필요가 있음을 지적한다. 실무를 위한 servant로서 (이론보다) 방법에 초점을 둠으로써 이론-실무 분열을 바로잡으려는 이러한 노력은 수행자가 지역적 맥락에 "translation"할 필요가 있는 상황에서, 아는 학술적 knowing의 방법의 reassertion으로 볼 수 있다.

However, the value of the knowledge generated through this too, questioned approach, has been on various grounds. In particular, critics challenge its prosimplified, motion of generalizable principles over relevant knowledge be contextually that would required to act effectively in complex, localized situations. This effort to redress the theory-practice divide by focusing on method (rather than theory) as servant to practice can, then, be seen as a reassertion of disciplinary ways of knowing, with the attendant need for “translation” to local contexts.

흥미롭게도, 지금까지 HPE 문헌에서 실무 중심의 연구에 대한 우려가 나타난 양상은 조금 다르다. 그 결과 국지적으로 이루어진 개입의 설명description이나 정당성justification에 초점을 맞춘 연구가 지나치게 많이 나온 것으로 보인다.29 이러한 연구에서 답하고 있는 질문은 '왜' 또는 '어떻게' 질문과는 거의 또는 전혀 관련이 없는 "does it work?"만을 확인해온 것이다. Cook et al.29는 다음과 같이 제안했다.

Of interest, in the HPE literature, concern about practice-driven research has manifested slightly differently insofar it is seen to have led to an overly large number of articles focused on description or justification of local interventions.29 It is argued that the question being answered in these articles is “Does it work?” with little or no attempt to address “why” or “how” questions. Cook et al.29 suggested that

(이러한 연구는) "교육 및 학습 과정에 대한 이해에 영향을 미치는 영향이 제한적이고, 향후 실무와 연구에 미치는 영향도 마찬가지로 제한적이다"29(p132)

it has “a limited impact on our understanding of the teaching and learning process and in turn influence [has] limited on future practice and research”29(p132)

이와 유사하게, 다른 이들은 이론적 프레임워크에 질문과 데이터를 적절히 고정anchor하지 않는다면, HPE 연구는 지식의 통합체를 형성할 수 없을 것이며, 교육 맥락의 복잡성을 다루는 데 거의 진전이 없을 것이라고 언급했다.

Others have commented, similarly, that without properly anchoring questions and data in theoretical frameworks, HPE research cannot form an integrated body of knowledge and will make little progress in addressing the complexities of educational contexts.30,31

지식-생상 분야로서 교육

Education as knowledge-producing field3

우리는 지식 생산 분야가 전문가, 관리자, 정책 입안자와 같이 [학문 기반 지식 생산에 관여하지 않는 이해관계자]뿐만 아니라 [다양한 분야의 학문을 포함하는 조사 영역]으로 이해될 수 있다고 제안한다.

We suggest that a knowledge-producing field can be understood as a domain of inquiry that includes academics from a range of disciplines as well as stakeholders not engaged in discipline-based knowledge production, such as professionals, administrators, and policymakers

잘 작동하는 분야에 대한 우리의 개념은 Stokes가 개념화한 use-inspired basic research와 관련된다. 스톡스는 실무적 진전(적용을 위한 연구)과 이론의 진보(이해를 위한 연구)의 목표가 상호 배타적일 필요는 없다고 주장했다. 대신 그는 연구 결과를 판단할 수 있는 두 가지 직교 차원이라고 제안했다. 따라서, 그의 모델은 두 개의 교차 축으로 구성되었는데, 하나는 "사용의 고려"를 나타내고 다른 하나는 "기본적인 이해를 위한 질문"을 나타낸다. 이것은 4개의 사분면을 낳게 되는데, 이 사분면은 연구가 '실무use'와 '이론undersatnding'에 둘 다 기여하는 사분면에는 "Paster의 사분면"이라는 딱지가 붙는다. 우리는 이러한 이중적 기여가 한 분야가 달성하고자 하는 목표라고 제안한다.

Our conception of a well-functioning field is informed by Stokes’s32 notion of use-inspired basic research. Stokes argued that the goals of advancing practice (research for application) and advancing theory (research for understanding) need not be mutually exclusive (two poles on a single dimension). He instead proposed that they are two orthogonal dimensions on which research can be judged. Thus, his model comprised two intersecting axes, one representing “considerations of use” and the other the “quest for fundamental understanding.” This results in four quadrants, with the quadrant in which research contributes to both use and understanding (with no compromise in either value) labeled “Pasteur’s quadrant.” We propose that this dual contribution is what a field aims to achieve

분명히, 우리는 다음에 가치가 없다고 말하려는 것이 전혀 아니다.

• "Bohr의 사분면"(학문의 추구와 연계하여, (이론적) 이해는 그 자체가 목적이 되어 추구되고 "최상의 관행"을 결정하는 효용이 기껏해야 부차적인 관심사에서 이뤄진다.) 

• "에디슨의 사분면"(대략적으로 실무자 커뮤니티의 노력과 관련되며, 반대로 "최상의 관행"을 결정하는 것이 가장 중요하고, 혁신의 유용성 뒤에 있는 원칙을 이해하는 데는 관심이 적다).

To be clear, we are not arguing that there is no value in work produced in what Stokes termed 

• “Bohr’s quadrant” (correlating with the pursuits of academic disciplines, where understanding is pursued for its own sake and its utility for determining “best practice” is, at best, a secondary concern) or in 

• “Edison’s quadrant” (correlating roughly with the efforts of communities of practitioners, where, conversely, determining “best practice” is paramount and there is less immediate interest in understanding principles behind an innovation’s usefulness).

파스퇴르의 사분면을 차지하기 위한 연구에 대한 권고는 일반적으로 교육에서 새로운 것은 아니지만, HPE.34-36에서는 매력적으로 보이지만, 그것이 실제로 무엇을 의미하는지 확장하는 것은 아직 거의 없다.

Exhortations for research to occupy Pasteur’s quadrant are not new in education generally33 or in HPE.34–36 However, although the idea appears attractive, there is little as yet that expands on what it might actually mean.

여기서 우리는 한 분야가 만들어내는 것, 즉 "유용한 이론"을 스케치하는 것으로 시작하려고 한다. 우리는 [유용한 이론]과 [학문에서 전통적으로, 제도적으로 보상을 받는 경향이 있는 종류의 이론]을 대조하고자 한다. 후자의 이론은 매우 추상화된 이론이다 (링가드가 "T"heory, 또는 "grand explanations"이라고 부르는 것). 이러한 "T"heory는 기존의 이론에 기초하며, [데이터를 수집하고 해석하기 위한 명시적(계층화된) 방법론] 또는 [증거, 추론, 논쟁에 대한 보다 암묵적인 기준]에 의해 형성된다.

Here, we begin more generally by sketching out what it is a field produces, namely, “useful theory.” We contrast useful theory with the sort of theory the production of which tends to be institutionally rewarded in traditional disciplines, the highly abstracted theory (what Lingard37 called “T”heory, or “grand explanations”) that is built upon prior theory and shaped either by explicit (often hierarchicalized) methodologies for collecting and interpreting data or by more tacit standards for evidence, reasoning, and argumentation.

분야에 따라, 좋은 "T"heory는 예측 정확도 및/또는 개념적 우아함을 제공한다. 그러나 학문분야의 산물로서, "T"heory는 실제로 특별히 유용성이 높지 않을 수도 있고, 외부인이 접근하기 어려운 경향이 있다. 단순화된 (즉, 번역된) 형태에서도, 그것의 기원과 순환은 단순히 어떤 실무적인 맥락에서 너무 멀리 떨어져 있기 때문에, 그것은 실무자들을 "흥분시킬" 것 같지 않다.

Depending on the discipline, good “T”heory offers predictive accuracy and/or conceptual elegance. As a product of disciplinarity, however, “T”heory is not especially useable in practice and tends to be difficult for outsiders to access. Even in simplified (i.e., translated) form, it is unlikely to “hook” practitioners—its origins and circulation are simply too far removed from any practical context.

한 분야에서 '용도'에 관한 고려사항은 방법론적 근거 또는 개념적 정교함에 대한 학문적 정통성과 동등한 지위footing를 갖는다. 이것은 방법론의 중요성을 과소평가하기 위한 것이 아니라, 엄격한 지식 생산에 대한 소위 gold standard의 적용이 그 지식의 실용적 효용을 보장하거나 실무자들이 그것을 받아들이도록 설득하는 것이 아니라는 것을 인식하기 위한 것이다.

방법의 일관성 있는 구현은 중요하고,

체계성과 명시성도 중요하고,

클레임을 제기하기 위한 절차와 사고 과정에 대한 비판적인 정밀 조사도 중요하다.

In a field, considerations of use have (at least) equal footing with disciplinary orthodoxies regarding methodological grounding or conceptual sophistication. This is not to undercut the importance of methodology, but rather to recognize that the application of a so-called gold standard for rigorous knowledge production is not what will ensure the practical utility of that knowledge or convince practitioners to take it up.4

considered and consistent implementation of methods matters, 

systematicity and explicitness matter, 

critical scrutiny of procedures and thought processes that go into making a claim matters–

따라서, 우리는 한 분야에서 이론의 가치는 [다양하고 복잡한 실제 상황에서 다양한 이해관계자들이 얼마나 잘 이해하고 행동할 수 있도록 하는가]에 의해 가장 먼저 결정되어야 한다고 주장할 수 있다.

We might posit, therefore, that in a field, considerations of use require that a theory’s value be determined first and foremost by how well it allows various stakeholders to understand and act in varied and complex practical situations.

파스퇴르의 사분면에 대한 연구는 베레이터38이 "개념적 인공물"이라고 부르는 것을 발굴하려고 할 것이다. 즉, 실무에 내재되어 있는 지식과 신념을 고찰하고 개선할 수 있는 '논의해볼만한 아이디어'으로 바꾸려고 할 것이다. 그것은 어떻게 '개념적 인공물'이 (우리의 교육적 실무 뒤에서) 목표의 달성을 지지하거나 방해하는지를 이해하기 위해 우리가 개념적 인공물을 비판적으로 생각해보게끔 해줄 것이다.

Research in Pasteur’s quadrant would seek to excavate what Bereiter38 called “conceptual artifacts.” That is, it would seek to turn the knowledge and beliefs that are embedded in practices into “discussable ideas” that can be examined and improved upon. It would allow us to critically consider conceptual artifacts in order to understand how they support and hinder accomplishment of the goals behind our educational practices.

여기서 핵심은 work의 invitational nature이다. 실무적 문제를 이론화하여 평가함에 있어서, 주어진 맥락 안에서 해결책을 개발하는 데 유용하고 유용한 방법들에 대한 통찰력을 공유하고, 대응할 수 있는 연습의 여지가 있다. 개념적 인공물을 발굴하여 비판적 분석에 노출시키는 과정은 이러한 개념적 인공물(이론/이해)를 고도화 시킬 수 있으며, 그 과정에서 이러한 인공물에 의존하는 실무(용도)를 진전시킬 수 있다.

Key here is the invitational nature of the work; in assessing the theorizing of a practical problem, there is room for practice to respond, to share insights into the ways in which it is and is not useful in developing a solution within a given context. The process of excavating conceptual artifacts and exposing them to critical analysis can advance the sophistication of these conceptual artifacts (understanding) and, in the process, advance the practices that rely on these artifacts (use).

함의: HPE가 분야였라면

Implications: If HPE were a field

한 분야의 중심적 이해는 [실무적 관련성]의 문제가 [지식 생산의 과정]과 불가분의 관계에 있다. 따라서 한 분야의 지식의 효과적인 생산은 자사노프의 공동 제작 개념을 통해 더욱 정교해질 수 있다. 공동제작이란 "사회와 과학 양쪽의 구성 요소들에 대한 대칭적 조사"를 허용하는 해석적 틀로 묘사했다.

Because the central understanding in a field is that questions of practical relevance are inextricably bound up with processes of knowledge production, effective production of knowledge in a field can be helpfully elaborated through Jasanoff’s39(p19) concept of coproduction, which she described as an interpretive framework that allows for “symmetrical probing of the constitutive elements of both society and science.”

학계와 실무자들 사이의 차이를 제거하려고 하지 말고, 이러한 차이를 인식하는 것이 여전히 중요하다. 오히려, 이러한 구별을 본질적으로 하는 것을 피해야 한다. Wehrens 40(p547)이 지적했듯이, 학계와 실무자들의 세계를 정적이고 일반화할 수 있는 것으로 취급하게 되면, "영역간의 이질성과 도메인 내의 동질성을 모두 지나치게 강조한다."

It is not that a field attempts to elide differences between academics and practitioners—recognizing these differences remains important. Rather, an effective field would avoid essentializing these distinctions. As Wehrens 40(p547) pointed out, treating the differences between the worlds of academics and practitioners as static and generalizable “overemphasizes both the heterogeneity between domains and the homogeneity within the domains.”

이와는 대조적으로, 다양한 이해관계자 집단을 [서로 다르지만 본질적으로 분리할 수 없는 것]으로 접근한다면, 학자들과 실무자들이 서로 무관해보였던, 전혀 예상하지 못했던 보어와 에디슨의 사분면으로부터, 파스퇴르의 사분면으로 서로를 끌어낼 수 있는 기회를 만든다. 

In contrast, approaching the various stakeholder groups as different but intrinsically inseparable creates opportunities for academics and practitioners to draw each other out of the irrespective, uni-perspectival quadrants of Bohr and Edison into Pasteur’s quadrant. 

많은 교육 영역에서, 연구에 종사하는 사람들은 학자 그 자신이 스스로를 "교육disciplined"했고, 그렇게 함으로써, 다양한 분야에서, 실무자들로부터 멀어지게 되었다.

In many educational domains, those engaged in research have “disciplined” themselves and, in doing so, have, to varying extents, withdrawn from engaging with practitioners and into the academy.

흥미로운 점은, HPE가 이러한 종류의 [두 공동체 모델]에 적합하지 않다는 것이다. 학술지든, 컨퍼런스든, 실무자들과 학술훈련을 받은 연구자들은 모두 여기에 의미 있는 수준으로 참여하고 있다. 더욱이, 그것은 학술 및 실무공동체에서 인정받을 수 있는 역할을 담당하고 있는 수많은 "경계를 넘나드는 사람"들(예: 교육에 초점을 맞춘 임상의 과학자와 의과대학의 교육실무 지원에 공식적인 역할을 하는 박사-교육자)들 사이에서 중요하다.

Of interest, HPE has not settled into this kind of two-communities model. There seems to be a greater degree of meaningful engagement by practitioners and discipline-trained researchers in the same journals and at the same conferences. Moreover, it counts among its members numerous “boundary spanners”41,42 who occupy roles that would be recognized by both disciplinary and practice communities (e.g., clinician-scientists whose research focuses on education, and Ph.D.-educators who play formal roles in supporting the educational practices of the medical school).

이러한 과정이 HPE 커뮤니티에서 이미 일반적이라고 가정할 만한 충분한 이유가 있다. 

• 의사-의사가 담당하는 여러 역할, 

• HPE 연구에 대한 실무자들의 광범위한 참여, 

• 의료진 내 HPE 연구단위의 특이한 기관 위치 및 

• 점점 더 다양해지는 구성원(멤버십)

• 지식 생산 공동체로서는 상대적으로 신생분야인 HPE

There is good reason to suppose that such processes are already common in the HPE community, as suggested by the multiple roles physician-educators occupy, the extensive participation of practitioners in HPE research, the unusual institutional location of HPE research units within faculties of medicine, and HPE’s relative newness as a knowledge producing community, as well as its increasingly eclectic membership.

분명히, 파스퇴르의 사분면에서 추구된 use-inspired basic research를 수행하게 된다면, 학술적훈련을 받은 연구자들과 실무자들은 서로 협력하게 될 것이다. 그러나 그것은 우리가 찾아야 할 성공적인 협업을 보장하기 위한 처방전이 아니다. Wehrens40(p550)은 다음과 같이 표현한다: "합리적으로, 공동 제작 관점을 통해 행위자들이 협력적 형식 내에서 보다 유연하고 자의적인 방식으로 운영될 수 있으며, 때로는 조정과 경계의 연화를 강조하기도 하며, 그 밖의 지점에서는 경계를 유지하거나 강화할 수 있다."

Clearly, the enactment of use-inspired basic research pursued in Pasteur’s quadrant will involve collaboration between discipline-trained researchers and practitioners. But it is not so much a set of prescriptions for ensuring successful collaboration that we should be looking for. Wehrens40(p550) put it this way: “The co-production perspective, in sum, enables actors to operate in a more flexible and self-conscious way within collaborative formats, sometimes emphasizing coordination and softening boundaries, and at other points maintaining or strengthening boundaries.”

한 분야에서 연구와 실무 사이의 관계를 규정하는 것은 [사전에 정해진 경계]가 아니라, [맥락적으로 협상된 유연하고 자의적인 협력]이다.

It is precisely this flexible, self-conscious collaboration, with contextually negotiated rather than predetermined boundaries, that will define the relationship between research and practice in a field.

중요한 것은, 협업이 학문적 특권으로도, 실무적 특권으로도 이어져서는 안 된다는 것이다. 어느 그룹도 자신만 편안한 조건terms을 정할 수 없으며, 두 그룹 모두 양보를 할 준비가 되어 있어야 한다. 다시 말하지만, 그러한 양보의 잠재적 범위를 과소평가해서는 안 된다. 한 분야에서 이루어지는 협력의 종류는 부분적으로 긴장을 수반하고 있다. 왜냐하면 그것은 학자들과 실무자들 모두가 그들이 소중히 여기는 가치와 가정을 스스로 정의해야 하기 때문이다.

Important to note, the collaboration cannot proceed with the privileging of either academic or practical expertise—neither group can set such comfortable terms for itself, and both must be prepared to make concessions. Again, the potential extent of those concessions must not be underestimated. The kind of collaboration that takes place in a field is tension ridden partly because it requires both academics and practitioners to yield values and assumptions they hold dear, even self-defining.

• 한 분야에서 이론의 형태로 갖춰진 이해는 반드시 용도가 있어야 한다useable. 이것은 [이론이 항상 그리고 정확하게 학문의 방법론적 기준에 부합하지는 않는다는 것]을 의미한다. 

• 반대로, 실무자들에게 유용한 지식이 반드시 준비된 해결책과 빠른 대답의 형태를 취하지는 않을 것이며, 단지 내부자의 시각에만 의존하거나 "참호로부터" 경험에 특권을 부여해서는 안 될 것이다.

• Understanding, in the form of theory, must be useable in a field, and that requirement means theory will not always and exactly fall in line with academics’ methodological (or other, more tacit) standards for scholarship. 

• Conversely, knowledge useful to practitioners will not necessarily take the form of ready solutions and quick answers, nor can it rely merely on insider perspectives or privilege the experiences “from the trenches.”

게다가, 두 집단 모두 경계를 넘나들어야 하며, "보호주의" 경향을 피해야 한다. 다른 사람의 전문 분야에서 어느 정도 숙련도를 배양하는 것은 자신을 위한 전문지식을 주장할 필요 없이 그 전문가 관점을 공감적으로 이해할 수 있게 할 수 있다.

Moreover, both groups must eschew “protectionist” tendencies in favor of (respectful) boundary crossing. Cultivating some degree of proficiency in another’s area of expertise may enable a sympathetic understanding of that expert perspective without having to claim that expertise for oneself.

반대로 학술적 기준을 충족하지 못하거나, 충분한 실무경험을 가지고 있다는 이유로 자신의 전문분야에 대한 타인의 참여를 제한하거나 폄하하려는 충동은 그러한 공감적 이해를 위한 기회를 감소시킨다.

Conversely, the impulse to limit or disparage others’ participation in one’s own area of expertise on the grounds that they don’t meet disciplinary standards or have enough practical experience reduces opportunities for such sympathetic understanding

[문제의 공동구성]은 그 문제에 대한 다른 사람들의 관심을 어느 정도 상호인정함으로써 이뤄지지만, 모든 집단으로부터 동일한 공식화formulation를 요구하지는 않는다. 이러한 의미에서, 한 분야가 다루는 문제는 "boundary objects"라고 부르는 것과 거의 같은 방식으로 작용하게 될 것이다.

The co-construction of a problem is supported by a certain mutual appreciation of others’ interest in it, but it does not call for an identical formulation from all groups. In this sense, the problems with which a field deals will act in much the same way as what Star and Griesemer43(p393) termed “boundary objects”:

Boundary objects는 [국지적 필요와 이를 사용하는 여러 당사자의 제약조건에 적응할 수 있을 만큼 유연]하지만, [현장 전체에 걸쳐 공통된 정체성을 유지할 수 있을 정도로 견고한] 물체다. 그것들은 공통된 용도를 위하여 약하게 구조화되었지만, 개별 현장에서 사용될 때에는 강하게 구조화된다. 이러한 물체는 추상적일 수도, 구체적일 수도 있다. 그들은 서로 다른 사회세계마다 서로 다른 의미를 가지고 있지만, 그들의 구조는 그들을 알아볼 수 있도록, 번역의 수단인, 두 개 이상의 세계에게 충분히 공통적이다.

Boundary objects are objects which are both plastic enough to adapt to local needs and the constraints of the several parties employing them, yet robust enough to maintain a common identity across sites. They are weakly structured in common use, and become strongly structured in individual-site use. These objects may be abstract or concrete. They have different meanings in different social worlds but their structure is common enough to more than one world to make them recognizable, a means of translation.

마지막

Final thoughts

HPE가 한 분야로서 지위를 획들하려면, 이론적, 실제적 이해관계에 동일한 가중치를 부여함으로써 내포된 불가피한 긴장을 생산적으로 수용하고 이용해야 할 것이다. 스토크스의 모델은 use-inspired basic research가 생산되어야 하는 경제적, 정치적, 사회문화적 조건에 대해 말하지 않는다. 따라서, 많은 다른 측면들 중에서, 프로젝트 자금, 기관 고용 및 촉진 정책, 보급 창구를 포함하여, 지식 생산 분야의 물질과 조직 요건에 대해서는 여전히 알아야 할 것들이 많다.

If HPE is to embrace the status of a field, it will have to embrace and harness productively the inevitable tensions implied by granting equal weight to theoretical and practical interests. Stokes’s model does not speak to the economic, political, and sociocultural conditions under which use-inspired basic research is to be produced. Hence, there is much to be learned about the material and organizational requirements of a knowledge-producing field, including, among many other aspects, project funding,5 institutional employment and promotion policies, and dissemination channels.

또한, 긴장 상태에서 생산적으로 작동하는 것이 어려운 만큼, 그 긴장 상태를 유지하는 것도 어렵다. 

• 한 분야의 구성원은 낡은 습관에 이끌려, 같은 생각을 가진 다른 사람들을 찾고, 징계나 실천 공동체를 모방한 하위 분야로 수렴하여 새로운 내부 경계를 확립할 수 있다. 

• 반대로, 구성원들이 서로를 너무 잘 알게 되면, 서로의 관점을 효과적으로 '식민지화'하고 분야의 활력을 떨어뜨릴 수도 있다.

Moreover, if operating productively in tension is challenging, so is maintaining that tension. 

• A field’s members can be drawn into old habits, seeking like-minded others and converging into subfields that mimic disciplinary or practice communities and establish new internal boundaries. 

• Alternately, members might get to know each other too well, effectively “colonizing” each others’ perspectives and reducing the vitality of the field.

후자는 먼 위협처럼 보일 수도 있다. 인정하건대, 화해할 수 없는 상황에서 긴장이 무너질 가능성이 더 높을 수도 있다. 그러나 그것을 수정하지 않고 차이를 유지하는 것은 한 분야의 사인 qua non이며 우리가 파스퇴르의 사분면에서 우리 자신을 발견할 수 있는 유일한 방법이다.

The latter may seem a distant threat—admittedly, tensions may be more likely to collapse in the face of irreconcilability—but maintaining difference without reifying it is the sine qua non of a field and the only way we will find ourselves in Pasteur’s quadrant.

34. Yardley S. Lost in translation: Why medical education research must embrace “real-world” complexities. Medical Education 2014;48(3):225–7.

주제, 주제분석 등 Fugard and Potts의 표본크기 도구에서 (오)개념(International Journal of Social Research Methodology, 2016)

(Mis)conceptualising themes, thematic analysis, and other problems with Fugard and Potts’ (2015) sample-size tool for thematic analysis

Virginia Brauna and Victoria Clarkeb

aSchool of Psychology, The University of Auckland, New Zealand; bDepartment of Health and Social Sciences,

University of the West of England, Bristol, UK

우리 중 한 명은 최근 한 학생과 주제 분석(TA)의 기원과 역사에 대해 대화를 나누고 있었다. 그 학생은 TA를 근거 이론의 변형으로 제시한 텍스트인 카운슬링과 심리치료의 질적 연구(McLeod, 2011)를 읽었다. 빅토리아는 TA가 내용 분석에서 진화했다고 생각했고, 따라서 근거 이론을 앞섰으며, 1930년대-1950년대에 심리치료 연구에서 TA의 변형을 발견했다는 것을 최근에 논의했다고 말했다. 그 학생은 무거운 한숨을 내쉬고 의자에 털썩 주저앉아, 그 모든 복잡함 속에서 질적 연구를 완전히 파악할 수 없는 그녀의 능력을 경멸했다. 이런 반응은 드물지 않다. 때때로 질적 연구를 배우고 실행하는 학생들은 당황스럽고 도전적이라고 생각한다; 단순한 '어떻게 해야하는가' 모델은 안심할 수 있는 확신을 줄 수 있는 것처럼 보일 수 있다. 그러나 단순화된 모델은 특히 어떤 분야나 접근법을 [자신 있게, 그러나 부분적 설명에만 기초한다면] 잘해봐야 난독이며, 최악의 경우 부실 연구를 낳을 뿐이다.

One of us (VC) was having a conversation with a student recently about the origins and history of thematic analysis (TA). The student had read Qualitative Research in Counselling and Psychotherapy (McLeod, 2011), a text which presents TA as a variant of grounded theory. Victoria commented that she thought that TA evolved from content analysis, and therefore predated grounded theory, and discussed her recent discovery of the use of a variant of TA in psychotherapy research in the 1930s–1950s. The student let out a heavy sigh and slumped in her chair, bemoaning her ability to ever fully grasp qualitative research in all its complexity. This reaction is not uncommon. Students learning and implementing qualitative research at times find it bewildering and challenging; simple models of ‘how to do things’ can appear to offer reassuring certainty. But simplified models, especially if based in confidently-presented-yet-partial accounts of the field or an approach, at best obfuscate and at worst lead to poor quality research.

우리의 학문(심리학)에서 학생들은 전형적으로 과학심리학의 규범, 가치관, 방법에 완전히 몰입한 후에야 질적 연구에 대해 배운다. 많은 사람들은 우리가 '양적 감수성'이라고 부르는 것을 놓기 어려워한다. 그러한 학생들과 질적 감성에 정통하지 않은 다른 학생들에게, TA 연구에서 표본 크기를 결정하는 푸가르드와 포츠(2015년) 도구는 직관적인 매력이 크다; 그것은 질적 연구인 불확실성의 바다에서 매달릴 수 있는 생명력을 제공한다. 따라서, 우리는 Hammersley와 마찬가지로, 푸가르츠와 포츠의 도구가 TA 연구의 표본 크기를 결정하고 평가하기 위해 자금 기관 및 다른 기관(예: 편집자, 검토자)에 의해 사용될 것이라는 우려를 공유한다. 우리는 그 도구가 질적 연구의 가정과 절차에 대한 더 많은 혼란과 더 많은 왜곡을 야기할 것을 우려한다. 여기서는 TA의 질적 샘플링에 대한 이 정량적 모델이 왜 문제가 되는지 간략하게 강조하기 위해 타인이 표현한 우려(Byrne, 2015; Emmel, 2015; Hammersley, 2015)를 기반으로 하며, TA에 대한 결함 있는 가정에 기초하고, 많은 TA 연구의 탐색적 및 질적 기질과 상충되는 정량적 논리에 젖어있다.

In our discipline (psychology), students typically learn about qualitative research only after they have been fully immersed in the norms, values and methods of scientific psychology. Many find it difficult to let go of what we call a ‘quantitative sensibility’. For such students, and others not well versed in a qualitative sensibility, Fugard and Potts (2015) tool for determining sample sizes in TA research has great intuitive appeal; it provides a life-raft to cling to in the sea of uncertainty that is qualitative research. Thus, we share Hammersley’s (2015) concerns that their tool will be used by funding bodies and others (e.g. editors, reviewers) to determine and evaluate sample sizes in TA research. We fear it will result in further confusion about, and further distortion of, the assumptions and procedures of qualitative research. We here build on concerns expressed by others (Byrne, 2015; Emmel, 2015; Hammersley, 2015) to briefly highlight why this quantitative model for qualitative sampling in TA is problematic, based on flawed assumptions about TA, and steeped in a quantitative logic at odds with the exploratory and qualitative ethos of much TA research.

(오)개념적 주제 분석: 주제 분석은 하나의 접근법이 아니다.

(Mis)conceptualising thematic analysis: thematic analysis is not one approach

'테마 분석'은 여러 문헌을 통해서 다양한 것임이 알려졌음에도 불구하고, 푸가드와 포츠는 암시적으로 TA를 동질적 실체로 취급한다. 

Despite acknowledging diversity through reference to ‘thematic analyses’ , Fugard and Potts implicitly treat TA as a homogenous entity. 

우리는 TA에 대한 두 가지 광범위한 접근방식을 대조하는데, 이를 '코딩 신뢰성'(Boyatzis, 1998, Guest et al., 2012, Jofe, 2012), '유기적'(자체 및 기타) TA로 나눌 것이다.

we contrast two broad approaches to TA, which we call ‘coding reliability’ (authors such as Boyatzis, 1998; Guest et al., 2012; Joffe, 2012) and ‘organic’ (ourselves and others)

(오)개념적 주제: 모든 사람이 테마를 다이아몬드로 보는 것은 아니다.

(Mis)conceptualising themes: not everyone views themes as diamonds

푸가드와 포츠의 모델이 작동하려면 주제가 무엇인지, 그리고 어떻게 식별될 수 있는지에 대한 매우 특별한 아이디어가 필요하다. 본질적으로, 이 모델은 테마를 존재론적으로 real, discrete한 것으로 개념화해야 하며, 저 바깥 세상(혹은 데이터) 어딘가에 존재하여, 연구자들이 식별할 수 있는 것으로 개념화한다. 즉, 모래에 흩어진 다이아몬드처럼, 운이 좋은 사람이 발견해주기를 기다리는 것이다. (비록 그들의 논문에는, 비록 '테마'에 대한 다양한 정의가 있다; Emel, 2015)으로 개념화해야 한다. 푸가드와 포츠가 분석을 주제 발견의 과정으로 암묵적으로 간주한다는 사실은 그들이 사용한 언어로서 증명된다: 

• '테마를 포착할 기회를 갖기 위해'(p.7; 우리가 강조), 

• '테마를 인지하는 것을 돕기 위해'(p.9; 우리의 강조), 

• '테마가 참여자에 의해 표현될 확률이 50%에 불과하고 공증적인 경우';연구자의 의견(p. 10; 우리의 강조) 

For Fugard and Potts’ model to work, a very particular idea of what a theme is, and how it can be identified, is required. Essentially, the model has to conceptualise themes as ontologically real, discrete things, out there in the world (or the data), identifiable by researchers – like diamonds scattered in the sand, waiting to plucked-up by a lucky passer-by (though within their paper, there are varied definitions of ‘a theme’; Emmel, 2015). That Fugard and Potts implicitly (as well as explicitly) regard analysis as a process of theme-discovery is evidenced in the language used: 

• ‘to have a chance of capturing themes’ (p. 7; our emphasis); 

• ‘in order to aid the recognition of a theme’ (p. 9; our emphasis); 

• ‘if a theme only has a 50% chance of being expressed by the participant and noticed by the researcher’ (p. 10; our emphasis). 

이렇게 주제가 '발견discovery'된다는 생각은 많은 질적 학자들에게는 심각한 문제이다. 왜냐하면, 질적연구학자들은 주제란 분석 이전에 존재하는 것이 아니라, 연구자의 해석적 선택을 반영하여 테마를 연구자가 적극적으로 조작한 것으로 보기 때문이다. 주제란 탈맥락화되거나, 이미 존재하는 진리의 정확한 식별이 아니라, 독자에게 데이터의 설득력 있고 일관성 있게 제공되는 것이다.

This idea of discovery is deeply problematic to many qualitative scholars, who rather view themes as actively crafted by the researcher, reflecting their interpretative choices, instead of pre-existing the analysis. They are offered to the reader as a compelling and coherent reading of data, rather than (more or less) accurate identification of a decontextualized or pre-existing truth.

테마가 [상이한 데이터를 통합하는 코드에서 구성되고 데이터 집합에 걸쳐 어느 정도의 반복적 의미의 본질을 포착하는 의미 있는 실체]라고 개념화된다면, '발견'이라는 아이디어는 작동하지 않는다. 다이아몬드보다는 베이킹에서 나오는 최종 제품(예: 케이크)이 더 좋은 비유이다. 재료(침체), 공정 및 기술의 완전한 조합이 케이크를 생산하기 위해 결합된다. 케이크는 베이킹을 통해 '발견reveal'되는 것이 아니다. 즉, (주제든 케이크든) 정해진 범위 내에서 활동과 참여를 통해 만들어진다. 주제를 다이아몬드와 같은 것으로 보는 푸가드와 포츠의 모델은 (많은 질적 연구에서 지지받지 못하며, 많은 질적 연구자들에 의해 폐기되는) 일련의 개념적 실증주의-제국주의 가정(현실의 그 본질에 관한, 연구의 본질에 관한, 우리의 데이터가 우리에게 접근할 수 있는 것에 대한)을 요구한다. 질적 연구의 장점인 [새로운 아이디어, 이해, 구성의 공개적 탐구]는 어디에 있는가?

If themes are conceptualised as meaningful entities that are constructed from codes that unify disparate data, and capture the essence of some degree of recurrent meaning across a data-set (Braun & Clarke, 2013; DeSantis & Ugarriza, 2000), rather than things in the world that the researcher unearths, the idea of discovery does not work. The end-product from baking – e.g., a cake – offers a better metaphor than diamonds. A whole combination of materials (ingredients), processes and skills combine to produce a cake. Before baking, the cake isn’t waiting to be ‘revealed’ – it comes into being through activity and engagement, within set parameters. Fugard and Potts’ model, which relies on themes as diamonds, requires a series of conceptual positivist-empiricist assumptions (about that nature of reality, about the nature of research, about what our data give us access to) that don’t hold up across much qualitative researching, and which are discarded by many qualitative researchers. Where is the open exploration of new ideas, understandings and constructs that qualitative research excels at?

적어도 푸가드와 포츠의 모델은 매우 흔한 또 다른 '테마'의 문제적 개념화(=비록 테마로 주장하지만, 주제 보고가 아니라 토론한 topic이나 domain을 보고하는 것)를 반복하지는 않는다. 이러한 방식의 분석은 종종 주제 또는 소위 테마의 초점을 둘러싼 반응에 대한 기술 요약을 효과적으로 제공한다. – 잠재적으로 완전히 다른 다양한 의미들을 결합하는 것 – 예를 들어, '어린이에게 부여된 결과' 또는 '재활에 미치는 영향'과 같은 주제를 식별하는 분석(Kinsella & Woodall, 2016) – 이러한 (도메인 요약 방식의 주제는) 때로 참가자들이 토론하도록 요청받은 질문들을 중심으로 뭉치기도 한다. 만약 우리가 테마를 [핵심, 공유, 의미, 도메인 요약과 관련된 모든 것을 추출하는 것]으로 이해한다면, 테마는 제대로 개발되지 않거나 개념화되지 않을 것이다.

Fugard and Potts’ model, at least, does not reiterate another very common and in our view problematic conceptualisation of a ‘theme’: the reporting not of themes, but of topics or domains of discussion, albeit claiming them as themes. Such analysis often effectively provides descriptive summaries of the responses around the topic or focus of the so-called theme – combining a wide range of, potentially radically different, meanings – for example, analysis which identifies themes such as ‘perceived outcomes for children’ or ‘perceived impact on rehabilitation’ (Kinsella & Woodall, 2016) – sometimes clustered around the questions participants have been asked to discuss. If we understand themes as reflecting data extracts all related to a core, shared, meaning, domain-summaries constitute underdeveloped or poorly-conceptualised themes (Connelly & Peltzer, 2016; Sandelowski & Leeman, 2012). 

푸가드와 팟츠의 모델을 뒷받침하는 논리는 이러한 '도메인' 접근방식에 적용될 수 없다. 즉, 목적적 표본 추출에서, 모든 사람들은 '(그들이) 인식한 결과'나 '(그들이) 인식한 영향'과 같이 그들이 논의하도록 요청받은 것들에 대해 어떤 종류의 관점을 가질 가능성이 높다. 'theme prevalence'와 같은 개념은 완전히 무관한 것이다.

The logic behind Fugard and Potts’ model cannot apply to this ‘domain’ approach: in purposively sampled participants, everyone will likely have some kind of view on things they are asked to discuss, like ‘perceived outcomes’ or ‘perceived impacts,’ making the idea of ‘theme prevalence’ irrelevant.

테마: 식별된 것인가 또는 개발된 것인가?

Themes: identified or developed?

주제가 무엇인지, 그리고 주제가 무엇을 나타내는지에 대한 명확성은 품질 TA에 필수적이다. 테마의 '다이아몬드' 모델은 잠재적으로 TA에 대한 '코딩 신뢰성' 접근방법에 적합하다. 테마를 '캡처', '인식' 및 '공지화'할 수 있다면(게스트, 번스, 2006 참조), 개념적으로 주제는 연구자의 분석 및 해석적 노력이 있기 이전에 이미 존재한다고 볼 수 있다. 다소 정량적인 논리 내에서 질적 분석을 효과적으로 수행하는 이러한 접근방식에서 테마는 분석 프로세스 초기에 데이터 및/또는 이론과의 참여를 통해 개발된다. 코딩은 확인된 주제의 증거를 찾는 과정으로 개념화된다. 구조화된 코드북은 둘 이상의 연구자가 가장 잘 수행하는 코딩 프로세스를 안내한다. 즉, 높은 신뢰성은 코딩이 실제로 존재하는 중요한 테마를 성공적으로 포착했다는 품질 보증을 제공한다. 이러한 컨센서스 코딩 접근법이 가정하는 것은 [주제분석이라는 노력을 통해 우리는 상호 동의하고 드러낼 수 있는 현실이 있음]을 가정한다: 즉, 다이아몬드는 찾는 것이고, 모을 수 있고, 같은 형태끼리 분류될 수 있다.

Clarity around what a theme is, and what it represents, is vital for quality TA. The ‘diamond’ model of a theme does potentially fit with ‘coding reliability’ approaches to TA – if themes can be ‘captured’, ‘recognised’ and ‘noticed’ (see Guest, Bunce, & Johnson, 2006), they conceptually pre-exist the analytic and interpretive efforts of the researcher. In these approaches, which effectively do qualitative analysis within more or less quantitative logic, themes are developed early in the analytic process, through engagement with data and/or theory. Coding is conceptualised as a process of searching for evidence of identified themes. A structured code-book guides the coding process, which is best undertaken by more than one researcher – high inter-rater reliability offers quality assurance that coding has successfully captured salient themes, which really are there. This consensus coding approach assumes a reality we can agree on, and reveal, through our TA endeavours: the diamonds can be identified, collected, and sorted into piles of like-type.

이와는 대조적으로, 푸가드와 포츠의 모델은 온전한 질적 논리와 절차에는 무효하다. 이는 [코딩과 테마 개발 과정이 유기적이고 탐구적이며 본질적으로 주관적이며 능동적이고 창의적이며 성찰적 연구자 참여를 수반하는 '유기적' TA]를 말한다. 분석 과정 – 테마 개발의 재귀적 프로세스에 이은 엄격한 코딩 - 그들의 연구 질문에 가장 잘 맞는 분석을 개발하기 위해 데이터를 'tussling with'하는 연구를 포함한다(해머슬리, 2015년, 참고: 종종 진화하고 분석 과정 전반에 걸쳐 다듬어진다). 케이크를 만들려고 하는 제빵사를 상상해 보라. 이들은 부엌에 서서, 눈 앞에 놓인 재료들의 배열(기술과 다른 요소들)을 조사한다. 제빵사가 어떤 종류의 케이크를 구울 것인가에 대한 결정은 이러한 여러 요소들의 교차점을 반영한다. 유기적 TA에서도 분석은 마찬가지다.

In contrast, Fugard and Potts’ model doesn’t work for the fully qualitative logic and procedures of ‘organic’ TA, where coding and theme development processes are organic, exploratory and inherently subjective, involving active, creative and reflexive researcher engagement. The process of analysis – rigorous coding followed by a recursive process of theme development – involves the researching ‘tussling with’ the data to develop an analysis that best fits their research question (which often will evolve and become refined throughout the analytic process, as Hammersley, 2015, notes). Imagine the wannabe cake baker: standing in their kitchen, surveying the array of ingredients (as well as skills and other factors) at hand-their decision of what sort of cake to bake reflects the intersection of many factors. The same goes for analysis in organic TA.

샘플 크기 논리의 (오)개념

(Mis)conceptualising the logic of samples

Pugard와 Potts는 주제 관련성이 빈도에 따라 예측되는 모델을 생산한다. 따라서 가장 덜 선명한 테마의 빈도를 결정하여 필요한 표본 크기를 결정한다. 해변을 얼마나 걸어가야 그곳에 무작위로 흩어져 있는 여섯 종류의 다이아몬드를 찾을 수 있을까? 그것은 일반성과 복제성의 논리 내에 암묵적으로 위치하는 입력-출력 모델이다. 그러나 유기적 TA에서 빈도는 테마 개발의 유일한(또는 심지어 일차적) 결정요소가 아니다: (일부) 데이터 항목들을 넘나드는 것은 중요하지만, 연구 질문을 다루는 것과 관련성이 핵심이다. 가장 중요한 것은 TA를 [데이터 집합 전체에 걸쳐 패턴 있는 의미를 식별하는 방법]으로 인식하는 것이다. TA는 idiographic 또는 case study 방법으로서 의도된 것이 아니다(사례 연구 연구에 사용되었지만, 2010년). 그리고 단일 인스턴스는 테마의 증거가 아니다 – 가장 흔한 '테마'의 인스턴스를 식별할 가능성에 근거한 모델 뒤의 논리인 것 같다.

Fugard and Potts produce a model where theme relevance is predicated on frequency – and so you determine the frequency of the least-prevalent theme, to determine the sample size you will need. How far along that beach will you need to walk, before you find all six types of diamonds randomly scattered there? It’s an inputs–outputs model, implicitly located within the logic of generalisability and replicability. But in organic TA, frequency is not the only (or even primary) determinant for theme development: patterning across (some) data items is important, but relevance to addressing the research question is key. What is fundamental is the recognition of TA as a method of identifying patterned meaning across a data-set – it’s not intended as an idiographic or case study method (although it has been used in case study research, Cedervall & Åberg, 2010). And a single instance is not evidence of a theme – which seems to be the logic behind a model based on likelihood of identifying an instance of the least common ‘theme’.

Pugard and Potts'는 TA의 표본 크기에 대한 우리의 권고사항(Braun & Clarke, 2013)이 적게는 2개에서 400개까지이며, '2개와 400개 사이에서 값을 선택하는 방법은 불분명하다'(p. 669)고 명시하고 있다. 학생 교과서에 제공된 샘플링 지침을 사용하여 [자금 지원 및 다른 유형의 연구 제안서를 작성할 때 표본 크기를 추정할 때 기존의 TA 실무자들이 어둠 속에서 허우적거리고 있다는] 인상을 작성하는 수사학적 설명에 대해 우리가 갖고 있는 걱정거리와는 별개로, 그 사이의 공간으로부터 가치를 선택하는 방법을 안내할 것이 많이 있다.

Fugard and Potts’ noted that our recommendations (Braun & Clarke, 2013) for sample size in TA range from 2 to over 400, and state ‘it is unclear how to choose a value from the space between’ (p. 669). Quite apart from any concerns we might have about the rhetorical decontextualisation of using sampling guidance provided in a student textbook to create the impression that established TA practitioners are floundering in the dark when it comes to estimating sample sizes when writing funding and other types of research proposals, there is much to guide how one chooses a value from the space between. 

질적 연구(예: 코이네, 1997; 말테루드, 시에르마, & 과소라, 2015; Morse, 2000)에서 '표본 크기'에 대해 강력하고 풍부한 논의와 표본 추출의 이면에 대한 논리('표본'의 개념조차 논쟁)가 있으며, 더 큰 표본이 사실적으로 더 낫다는 (실증주의적) 암시나 주장에 대한 도전도 있다. 표본 선정 기준은 (사후)실증 논리에 의해 결정되지 않으며, 일반적으로는 그렇게 할 수 없다. 더욱이 대부분의 사람들은 표본 크기가 '공식이나 perceived redundancy로는 예측할 수 없다'는 데 동의하며(Malterud et al., 2015, 페이지 2), (샘플 크기란) 질적 연구자들이 데이터 수집을 하면서 실제적이고 비판적, 성찰적, 평가적 방식으로 종종 재점검revisit하는 것이다. TA에 대한 유기적이고 유연한 접근방식을 사용한다면 [그리고 잠재적인 프로젝트나 데이터 소스의 크기의 범위가 다양하다면] 표본크기는 상당히 다를 것으로 예상되며, 표본크기가 다양한 것이 적절하다.

There is robust and rich discussion around ‘sample sizes’ in qualitative research (e.g. Coyne, 1997; Malterud, Siersma, & Guassora, 2015; Morse, 2000), as well as the logic behind sampling (even the idea of ‘sampling’ itself is contested), and challenges to the (positivist) implication or claim that larger samples are de facto better. The criteria for choosing a sample are not determined by the logic of (post)positivism, and generally cannot be. Moreover, most would agree that sample size ‘cannot be predicted by formulae or perceived redundancy’ (Malterud et al., 2015, p. 2), and is something qualitative researchers often revisit during data collection, in a live and critically-reflexive, evaluative way. With an organic and flexible approach to TA, and a very wide range of potential project sizes, and data sources, it is expected and appropriate that samples would vary considerably in size. 

더욱이, 테마를 발견되기를 기다리는 다이아몬드로 개념화하지 않는다면, 우리는 "뭔가를 놓칠지도 모른다"는 생각에 의존할 필요가 없고, 따라서 푸가드와 포츠의 모델에서 결정된 비교적 큰 표본 크기를 고집할 필요도 없다. 큰 것이 반드시 좋은 것은 아니다. 표본이 클수록 데이터 내에 포함된 복잡성과 뉘앙스를 정의하지 못할 위험이 커진다. 우리가 감독하는 학생 연구원들과 출판된 연구자들은 일상적으로 테마를 생성하고 작은 표본들로부터 복잡한 분석을 개발한다. 이것은 단지 유기적인 TA의 테마가 발견되기 보다는 구성되기 때문만은 아니다. 세밀한 코딩Fine-grained coding 과정이 다양성과 뉘앙스를 포착하고, 공유된 의미의 (연구 질문에 대한) 유의한 패턴을 개념화할 수 있는 토대를 제공하기 때문이다. 우리가 가져야 할 것은 그 주제들이 무엇을 의미하는지, 그리고 우리가 그것들을 어떻게 그리고 왜 중요하게 취급하는지에 대한 명확한 개념화다. 이것은 미리 정해진 샘플 크기보다 더 중요하다.

Moreover, if we do not conceptualise themes as diamonds waiting to be discovered, we don’t have to rely on the idea of a truth we might miss – and hence do not need to chase the relatively large sample sizes (for interview-based qualitative research) that Fugard and Potts’ model produces. Bigger isn’t necessarily better. The bigger the sample, the greater the risk of failing to do justice to the complexity and nuance contained within the data. The student researchers we supervise, as well as published researchers, routinely generate themes and develop complex analyses from smaller samples. This isn’t just because themes in organic TA are constructed rather than found. It is because a process of fine-grained coding captures diversity and nuance, and provides a foundation for conceptualising possibly significant patterns (for research questions) of shared meaning. What we have to have is a clear conceptualisation of what those themes represent, and how and why we treat them as significant. This is more important than some predetermined sample size.

왜 우리는 고장나지 않은 것을 고치려고 노력해야 하는가?

Why should we try to fix what isn’t broken?

질적 연구는 풍부하고 견실한 분야로, 정량적 연구와 다른 기준을 가지고 있다. 정량적 표준과 프로세스에 질적 연구를 '적합'하려는 시도는 불필요할 뿐만 아니라, 위험하기까지 하다. ((질적연구) 패러다임은 그 자체로 이미 '퀄리티 표준'을 개발하고 품질과 표본 크기와 같은 것들에 대한 대화를 지속하는 데 있어서 잘 수행되어왔다(예: 마딜, 조던, & 셜리, 2000; 레이셔, 2000; 트레이시, 2010). ) 

Qualitative researching is a rich and robust field, with criteria that differ from those in quantitative studies. Attempts to ‘fit’ qualitative research into a quantitative standards and processes are not just unnecessary – the paradigm itself has done well both at developing ‘quality standards’ and at keeping conversations about things like quality and sample sizes live (e.g. Madill, Jordan, & Shirley, 2000; Reicher, 2000; Tracy, 2010) – they are also risky. 

질적인 연구자로서, 우리는 푸가드와 포츠의 모델이 본질적으로 무의미할 뿐만 아니라 심각한 문제를 일으킨다고 본다. 특히 (이 모델이) 질적 패러다임 내에서 운영되는 연구자들의 목소리와 내부 논리를 능가하는 권위의 목소리가 될 경우 더욱 그러하다. 비록 이 모델이 '신뢰성 코드화' TA에 어떤 가치를 제공할지는 모르지만, 우리는 이 모델을 우리의 '유기적' 버전의 TA에 사용하는 것은 권장하지 않는다. 

As qualitative researchers, we find Fugard and Potts’ model not only essentially meaningless (we do not recommend its use with our ‘organic’ version of TA … though it may offer something of value to ‘coding reliability’ TA), but also deeply troubling – especially if it becomes a voice of authority that trumps the voices and internal logic of researchers operating within a qualitative paradigm.

질적연구에서 표본크기는 사전에 결정될 수 있는가?(International Journal of Social Research Methodology, 2018)

Can sample size in qualitative research be determined a priori?

Julius Sima , Benjamin Saundersa , Jackie Waterfieldb and Tom Kingstonea

도입

Introduction

커티스, 게슬러, 스미스, 워시번(2000, 페이지 1002)은 질적연구에서의 샘플링은 '정확하게 다루어져야 할 필요성 및 질적연구의 타당성에 대한 우리의 이해에 기본적'이라는 점에 주목하지만, 데이터 수집과 분석 방법에 비해 충분한 관심을 받지 못한 주제임을 시사하기도 한다. 그러나 최근에는 질적 연구에서 표본 크기에 대한 문제가 주제적인 문제가 되어, 주어진 연구에서 표본으로 추출된 참가자의 수를 선험적으로 결정해야 하는지, 그리고 만약 그렇다면 표시되는 참가자의 수를 결정해야 하는지에 대한 많은 논문들이 논의되고 있다.

Curtis, Gesler, Smith, and Washburn (2000, p. 1002) note that sampling in qualitative research ‘needs to be addressed rigorously and is fundamental to our understanding of the validity of qualitative research’, but also suggest that it is a topic that has received insufficient attention in comparison to methods of data collection and analysis. Recently, however, the question of sample size in qualitative research has become a topical issue, with a number of papers debating whether the number of participants sampled in a given study should be decided upon a priori, and if so, the number of participants that is indicated.

그러나 이러한 시도들은 때때로 그러한 선험적a priori 표본 크기 결정이 질적 연구를 뒷받침하는 개념적이고 방법론적인 개념과 양립할 수 없다고 주장하는 사람들에 의해 도전을 받아왔다.

These attempts have at times, however, been challenged by those arguing that such a priori sample size decisions are incompatible with conceptual and methodological notions underpinning qualitative research.

베이커와 에드워즈(2012년)는 질적 연구에서 최적의 표본 크기에 대한 다양한 연구자들의 견해를 구했다.

Baker and Edwards (2012) sought views from a range of researchers, primarily within the social sciences, as to the optimum sample size in qualitative research.

압도적인 반응은 '그때그때 다르다'.

an overwhelming response of ‘it depends’,

이는 질적 연구에서 샘플링 결정을 내릴 때 시행 중인 상충하는 우선순위를 더욱 강조할 수 있다. 즉, 샘플 크기를 미리 표시해야 하는 실제 요건을 충족할 필요성과 동시에, 그에 관련된 방법론적 고려사항에 부합하는 샘플링 접근법을 채택하려고 한다.

This perhaps further highlights the competing priorities that are at play when making sampling decisions in qualitative research; i.e. the need to satisfy practical requirements of indicating sample size in advance, whilst at the same time seeking to adopt a sampling approach that is in keeping with the methodological considerations pertinent to the particular study.

푸가드와 팟츠(2015a)의 논문을 중심으로 한 이러한 이슈들에 대한 보다 최근의, 그리고 특히 활기찬 논의가 이루어졌다.

A more recent, and particularly spirited, discussion of these issues centred on a paper by Fugard and Potts (2015a),

주된 비평은 (특히 근거 이론 접근법에서는) 표본 크기가 종종 adaptive and emergent하고, 포화 원리를 채택한다는 점에서, 사전에 표본 크기를 결정하는 것은 질적 연구에서 본질적으로 문제가 있다는 주장이다. 포화상태는 여러 방식으로 조작화되지만(Sandelowski, 2008, 페이지 875) 넓게 말하면 '정보 중복성'(Sandelowski, 2008, 875) 또는 데이터 유입으로 발전하는 이론적 통찰력(O'Reilly & Parker, 2013)의 관점에서 데이터 수집 및/또는 분석을 안내한다. 이렇게 해서 표본 크기는 후두엽으로 결정된다. 일부(예: Fusch & Ness, 2015)의 경우, 포화도는 질적 연구 내에서 필수적인 요소로서, 표본 크기가 항상 이 방법으로 결정되어야 함을 암시한다.

Prominent critiques was the argument that determining sample size a priori is inherently problematic in qualitative research, given that sample size is often adaptive and emergent, and – particularly if based on a grounded theory approach – adopts the principle of saturation. Saturation is operationalized in different ways (Saunders et al., 2017), but broadly speaking, it guides data collection and/or analysis either in terms of ‘informational redundancy’ (Sandelowski, 2008, p. 875) or in relation to the theoretical insights that develop as data accrue (O’Reilly & Parker, 2013). In this way, sample size is decided a posteriori. For some (e.g. Fusch & Ness, 2015), saturation is an essential element within qualitative research, implying that sample size should always be determined by this means.

질적 표본 크기를 결정하는 데 취해진 네 가지 일반적인 접근법: 

• 1. 방법론적 고려사항과 과거 경험의 조합에 근거한 경험의 규칙 

• 2. 제안된 연구의 특정 특성에 기반한 개념 모델 

• 3. 경험적 조사로부터 도출된 수치적 지침 및 

• 4. 충분한 표본 크기를 얻을 확률에 근거한 통계적 공식.

four general approaches that have been taken towards determining qualitative sample size: 

• 1. rules of thumb, based on a combination of methodological considerations and past experience; 

• 2. conceptual models, based upon specific characteristics of the proposed study; 

• 3. numerical guidelines derived from empirical investigation; and 

• 4. statistical formulae, based on the probability of obtaining a sufficient sample size.

표본 크기를 결정하는 방법

Approaches to determining sample size

경험적 법칙

Rules of thumb

많은 저자들이 방법론적 고려사항과 유사한 연구에 대한 과거 경험에 기초하여 질적 연구에서 표본 크기에 대한 엄지손가락 규칙을 제안하였다. 이러한 접근방식은 기초이론 연구의 표본 크기에 대한 한 저널의 정책에 반영된다(Dworkin, 2012). 그러한 권고사항 중 일부는 표 1.2에 요약되어 있다. 이러한 경험적 법칙은 일반적으로 명확하고 상세한 근거가 결여되어 있으며, 그들이 제안하는 것에는 유사성의 정도가 있지만, 약간의 다양성도 존재한다.

A number of authors have proposed rules of thumb for sample size in qualitative research, based on methodological considerations and past experience with similar studies; this approach is reflected in one journal’s policy on sample size for grounded theory studies (Dworkin, 2012). Some such recommendations are collated in Table 1.2 These rules of thumb commonly lack a clear and detailed rationale, and whilst there is a degree of similarity in what they propose, there is also some diversity;

개념 모델

Conceptual models

일부 저자들은 제안된 연구의 목표, 기본 이론 체계, 의도된 분석 유형과 같은 구체적인 특성에 기초하여 다소 공식적인 개념 모델을 사용해 왔다.

Some authors have used a rather more formal conceptual model, based upon specific characteristics of the proposed study, such as its aim, its underlying theoretical framework, and the type of analysis intended.

예를 들어, Morse(2000년)는 표본 크기가 다음에 따라 달라질 것이라고 주장한다. 

• 연구 질문의 범위(범위가 넓을수록 필요한 표본 크기가 커짐) 

• 주제 특성('자명한' 주제일수록 표본 크기가 작음) 

• 데이터의 품질(데이터가 풍부할수록 표본 크기가 작음) 

• 연구 설계(그룹이 분석 단위인 종단적 설계의 경우에는 [참가자당 하나의 인터뷰]로 진행되는 경우보다 필요한 참가자 수가 적다.) 및 

• 숨겨진 데이터(면담에서 해당 interviewee 외에 다른 사람의 관점에 대해 무언가를 드러내는 경우, 필요한 표본 크기가 더 줄어들 수 있다.)

Morse (2000), for example, argues that sample size will depend upon: 

• the scope of the research question (the broader the scope, the larger the sample size needed); 

• the nature of the topic (the more ‘obvious’, the smaller the sample size); 

• the quality of the data (the richer the data, the smaller the sample size); 

• the study design (a longitudinal design in which a group is the unit of analysis will require a smaller sample size than one in which there is one interview per participant); and 

• shadowed data (if interviews reveal something about others’ perspectives, in addition to the interviewee’s own, this may require a smaller sample size).

보다 최근에는 말테루드, 시에르마, 과소라(2016년)가 샘플 크기를 특정 샘플이 보유하는 '정보력'이라고 부르는 것과 관련하여 결정할 수 있다는 이유를 들고 있다. 이 정보력은 다음에 의해 영향을 받는다. 

• 연구의 목적(목표가 넓을수록 필요한 표본 크기가 커짐) 

• 표본의 특수성(연구 목적과 관련된 참가자의 특성이 구체적일수록 표본 크기가 작아진다) 

• 이론적 배경(기본 이론이 덜 발달할수록 표본 크기가 커짐) 

• 대화의 질(인터뷰에서 대화가 풍부할수록 표본 크기가 작아진다) 및 

• 분석 전략(탐색적인 교차 사례 분석을 목표로 하는 연구는 소수의 정보 제공자의 심층 분석을 목표로 하는 연구보다 더 큰 표본 크기를 필요로 할 것이다).

More recently, Malterud, Siersma, and Guassora (2016) reason that sample size can be determined in relation to what they refer to as the ‘information power’ that a given sample holds.3 This information power is influenced by: 

• the aim of the study (the broader the aim, the greater the required sample size); 

• the specificity of the sample (the more specific the characteristics of the participants in relation to the study aims, the smaller the sample size); 

• the theoretical background (the less developed the underlying theory, the greater the sample size); 

• the quality of dialogue (the richer the dialogue in the interviews, the smaller the sample size); and 

• the analysis strategy (a study aiming for an exploratory cross-case analysis will require a larger sample size than one aiming for in-depth analysis of a few informants).

수치지침

Numerical guidelines

표본 크기에 대한 세 번째, 그리고 인기 있어 보이는 접근법은 경험적 조사로부터 도출된 수치적 지침을 채택한다. Guest, Bunce, Johnson (2006)의 초기 영향력 있는 연구는 서아프리카 여성들에 대한 현상학 연구로부터 60개의 인터뷰를 사용했다; 저자들은 주제 분석의 과정에서 일어난 포화의 정도를 결정했다. 포화상태는 12번의 면접에서 발생하는 것으로 간주되었으며, 그들은 향후 연구에 사용될 수 있다고 제안한다. 더 최근에는 게스트, 네임비, 매케나(2017년)가 포커스 그룹에 대한 비슷한 논문을 발표해 전체 테마의 80%가 2~3개 그룹, 90%가 3~6개 그룹 내에서 나올 것으로 결론지었다.

A third, and seemingly popular, approach to sample size employs numerical guidelines derived from empirical investigation. An early and influential study by Guest, Bunce, and Johnson (2006) used 60 interviews from a phenomenological study of West African women; the authors determined the degree of saturation as it occurred during a process of thematic analysis. Saturation was considered to occur within 12 interviews, a figure they suggest could be used for future studies. More recently, Guest, Namey, and McKenna (2017) have published a similar paper on focus groups, concluding that 80% of all themes would emerge within two to three groups, and 90% within three to six groups.

프랜시스 외 연구진(2010년)은 이전 두 연구의 분석에 기초하여 포화 상태에 필요한 표본 크기에 대한 결론을 내렸다. 그들은 10개의 인터뷰의 초기 분석 샘플과 추가 3회라는 포화 상태에 대한 '자료수집 중단 기준'을 정의했는데, 이 기준은 새로운 테마가 나오지 않는 추가 인터뷰의 수로 정의된다.

Francis et al. (2010) reached conclusions on sample sizes required for saturation based on analysis of two previous studies. They defined an initial analysis sample of 10 interviews and a ‘stopping criterion’ for saturation of 3, this criterion being defined as the number of additional interviews in which no new themes emerge.

Hennink, Kaiser, Marconi(2017)도 포화상태와 관련하여 샘플 크기를 고려하며, 다음의 용어를 구별한다.

• '코드 포화'(추가적인 이슈가 확인되지 않는 경우)와 

• '의미 포화'(더 이상의 통찰력을 얻지 못하는 경우)

Hennink, Kaiser, and Marconi (2017) also consider sample size in relation to saturation, distinguishing between what they term 

• ‘code saturation’ (where no additional issues are identified) and 

• ‘meaning saturation’ (where no further insights are gained).

Guest 외 연구진(2006)의 작품을 확장하면서, 하가만과 Wutich(2017)는 메타테마에 초점을 맞추는데, 이 메타테마는 문화나 사이트마다 다르기보다는 문화적으로 교차되는 테마로 정의된다. 그들은 4개 사이트의 132명의 응답자들과의 인터뷰를 통해 240개의 사이트별 주제와 9개의 문화간 메타테마를 산출한 데이터를 분석하였다. 16개 이하의 인터뷰로도 동질적인 집단을 가진 사이트에서 공통의 주제를 식별하기에 충분했지만, 메타테마에 대한 포화도를 달성하기 위해서는 20-40개의 인터뷰가 필요했다. 그들은 특히 참가자들 내부에서가 아닌 전체에서 주제에 초점을 맞췄다.

Extending Guest et al.’s (2006) work, Hagaman and Wutich (2017) focus on metathemes – which they define as themes that are cross-cultural rather than culture- or site-specific. They analysed data from interviews with 132 respondents from 4 sites, yielding 240 site-specific themes and 9 cross-cultural metathemes. Sixteen or fewer interviews were sufficient to identify common themes from sites with homogeneous groups, but 20–40 were needed to achieve saturation for metathemes. They specifically focused on themes across, rather than within, participants.

마지막으로 안도, 커즌스, 영(2014년)은 주제 분석의 맥락에서 포화를 조사한다. 저자들은 12건의 인터뷰(1단계부터 6건, 2단계부터 6건)가 모든 주제와 90% 이상의 코드를 제공했다고 결론짓고, 이를 '상위 수준 개념'으로 주제 분석에 충분한 표본 크기로 추천했다.

Finally, Ando, Cousins, and Young (2014) examine saturation in the context of thematic analysis. The authors concluded that 12 interviews (6 from the first stage and 6 from the second stage) provided all the themes and over 90% of codes, and recommended this as a sufficient sample size for thematic analysis with ‘higher level concepts’.

통계적 공식

Statistical formulae

충분한 표본 크기를 얻을 확률을 바탕으로 표본 크기를 결정하기 위해 최소 5개의 연구가 통계적 공식을 사용해 왔다. 많은 논의를 촉진시킨 연구는 이항 분포에 기초하여 표들을 제시하여 탐지하는데 필요한 최소 참여자 수를 나타내는 푸가드와 포츠(2015a)에 의해, 특정 수준의 신뢰도(예: 80%)가 관심 모집단에서 유병률로 가정된 테마의 사례 수를 나타낸다는 것이다.

At least five studies have used statistical formulae to determine sample size a priori, based on the probability of obtaining a sufficient sample size. A study that has promoted much discussion is that by Fugard and Potts (2015a), who present tables based on a binomial distribution4 to show the minimum number of participants needed in order to detect, with a stated level of confidence (e.g. 80%), a given number of instances of a theme with an assumed prevalence in the population of interest.

이와 유사한 접근방식을 채택한 Galvin(2015년)은 

• (i) 주어진 인터뷰 횟수에서 주어진 모집단의 유병률을 가진 테마가 적어도 한 번 나타날 확률을 계산하거나, 또는 

• (ii) 그러한 테마가 출현할 확률 95%에 필요한 인터뷰 횟수를 한 번 이상 계산하기 위해 이항 분포를 이용한다.

Adopting a similar approach, Galvin (2015) utilizes the binomial distribution to 

• (i) calculate the probability that a theme with a given prevalence in the population will emerge at least once in a given number of interviews, or alternatively 

• (ii) calculate the number of interviews required for 95% probability of such a theme emerging at least once.

반 리즈니쉬에버(2015년)는 시뮬레이션을 사용해 포화상태에 도달하는 데 필요한 최소한의 정보원 숫자(또는 그의 말로 '정보원')을 결정한다.

van Rijnsoever (2015) uses simulations to determine the minimum number of informants (or, in his words, ‘information sources’) needed to achieve saturation.

마지막으로, Tran, Porcher, Palissard, Ravaud (2016)의 연구는 기존의 개방형 조사 응답 데이터 세트에 Monte-Carlo 시뮬레이션5를 사용하여 각 추가 참가자에 대해 적어도 하나의 새로운 주제를 식별할 확률을 결정한다. 총 150명의 참가자는 원래 연구에서 92%의 주제를 확인할 수 있었다.

Finally, a study by Tran, Porcher, Falissard, and Ravaud (2016) uses Monte-Carlo simulations5 on an existing data-set of open-ended survey responses to determine the probability of identifying at least one new theme for each additional participant. A total of 150 participants allowed 92% of themes in the original study to be identified.

철학 및 방법론적 문제

Philosophical and methodological issues

표본 크기를 미리 정해야 하는 실질적인 필요성도 있을 수 있다. 그러나 위에서 설명한 것과 같은 전략의 방법론적 타당성과 일관성을 고려하는 것이 중요하다.

The practical imperative to predetermine sample size a priori is understandable. However, it is important to consider the ontological and/or epistemological assumptions that are made in the process and the methodological validity and coherence of strategies such as those outlined above.

테마의 존재론적 상태

Ontological status of a theme

통계적 공식(예: Pugard & Potts, 2015a)에 의존하거나 그렇지 않으면 포화 상태가 발생할 예상 인터뷰 수에 도달하는 연구(예: Francis 등, 2010)는 순진한 현실주의적 가정을 한다. – 즉, (주제란) 분석가와는 별개로 참가자의 계정에 '사전 존재'하는 것이며, 발견될 수 있다.

Studies that rely on statistical formulae (e.g. Fugard & Potts, 2015a) or that otherwise arrive at predicted numbers of interviews at which saturation will occur (e.g. Francis et al., 2010) make a naïve realist assumption – i.e. that themes ‘pre-exist’ in participants’ accounts, independently of the analyst, and are there to be discovered.7 

이것은 어떤 언어를 사용하는지에 따라 강하게 나타난다. 예를 들어, 반 리즈니베르 (2015)는 모집단이 코드를 '보유contain'할 것이며, 정보는 정보 제공자들로부터 '추출'될 것이라고 제안한다. 그는 또한 데이터 수집 프로세스 전에 코드가 '관찰될 가능성' 또는 '놓칠 가능성'을 언급하고, 마찬가지로 코드가 객관적 존재를 가지고 있음을 시사한다. 푸가드와 팟츠(2015a)는 주제를 '포획'할 때 비슷한 언어를 사용한다.

This emerges strongly in some of the language used. For example, van Rijnsoever (2015) suggests that a population will ‘contain’ codes and that information is ‘extracted’ from informants. He also refers to the possibility of codes ‘becoming observed’ or, alternatively, of being ‘missed’, similarly suggesting that codes have an objective existence, prior to the process of data collection. Fugard and Potts (2015a) use similar language when referring to ‘capturing’ a theme.

이 온톨로지 가정은 미묘한 사실주의(Hammersley, 1992년)와 구성주의(Best, 2008년; Gergen, 2001년)와 같이 질적 연구와 더 일반적으로 연관되는 관점과는 불편한uneasily 관계에 있다.

This ontological assumption sits uneasily with perspectives that are more commonly associated with qualitative research, such as subtle realism (Hammersley, 1992) and constructionism (Best, 2008; Gergen, 2001).

[미묘한 사실주의]는 사회적 현상과 과정이 관찰자로부터 독립된 존재를 갖는다는 점에서 '실제'임을 인정하고, 이에 따라 원칙적으로 '알 수 있다'고 인정하지만, 관찰을 통해 직접적으로 접근할 수 있다는 것은 부정한다. 대신, 그들은 연구자의 데이터 참여에서 emergent하고, 따라서 연구자의 이전의 문화적, 이론적 이해에 의해 중재된다.

Subtle realism accepts that social phenomena and processes are ‘real’ in terms of having an independent existence from those who observe them, and are thereby in principle ‘knowable’, but denies that they are directly accessible through observation. Instead, they emerge from the engagement of the researcher with the data, and are therefore mediated by the researcher’s prior cultural and theoretical understanding.

[구성주의]는 ['진짜'에 대한 모든 주장은 관계의 과정으로 추적되며, 궁극적으로 현실의 한 구조가 다른 구조에 대해 특권을 갖게 되는 extra-cultural한 수단은 없다고 주장하기에] 더욱 분명한 반현실주의적 입장을 취하고 있다(Gergen, 2001, 페이지 8). 따라서 이러한 시각에서 사회현상은 외부세계에 객관적 존재는 없지만 분석가와 정보원이 공동으로 생산하고 있다. (미묘한 사실주의든, 구성주의든) 어느 관점에서도 주제는 '발견되는' 것이 아니다.

Constructionism, meanwhile, takes a more clearly anti-realist stance, arguing that ‘all claims to the ‘real’ are traced to processes of relationship, and there is no extra-cultural means of ultimately privileging one construction of reality over another’ (Gergen, 2001, p. 8). Accordingly, on this view social phenomena have no objective existence in the external world, but are co-produced by analyst and informant. In neither perspective is a theme something to be ‘discovered’.

[통계적 접근법과 수치적 접근방식]은 둘 다 비슷하게 테마의 발생이 균일하고 서로 교환할 수 있다고 가정한다.

These statistical and numerical approaches similarly assume that occurrences of a theme are fungible – they are deemed equivalent and interchangeable,

이와 같이 데이터는 많은 질적 연구의 정신과 사명과는 달리 참가자의 구체적인 경험이나 전기로부터 탈맥락화된다.

In this way, data are decontextualized from participants’ specific experiences or biographies, contrary to the spirit and mission of much qualitative research.

이와 관련된 또 다른 특징은, '주제'는 어떤 의미에서 개인의 속성이라는 관점이다. 응답자가 연구에 대한 보다 정량적인 접근방식에서 특정 변수에 대한 값으로 나타낼 수 있는 것처럼, 마치 참여자와 주제 사이에 일대일 관계가 성립되는 것으로 보인다. 하지만 이러한 이해는 질적 연구의 형태보다는 설문조사식 접근에 더 가까운 것 같다.

Linked to this, is a view of a theme as being in some sense an attribute of an individual. A one-to-one relationship appears to be posited between the participant and the theme, much as a respondent might be represented by a value on a particular variable in a more quantitative approach to research. This understanding seems closer to a survey approach to research than a form of qualitative research

참가자의 수 측면에서 선험적 샘플링을 결정하려고 하는 모든 접근방식은 관련단위relevant unit로서 [개인]을 지나치게 강조하기 쉽다.

any approach that attempts to determine sampling a priori in terms of the number of participants is liable to overemphasize the individual as the relevant unit.

샌델로우스키(1995)가 지적한 바와 같이, 샘플 크기는 참가자의 수만이 아니라 사건, 경험의 수, 사건, 경험의 수 측면에서 생각할 수 있다. 따라서, 표본 크기에 관한 그녀의 권고는 단순한 정보 제공자의 수보다는 경험에 대한 설명의 수를 참조한다. 포화 상태에 기초한 적응적 샘플링 결정은 이러한 서로 다른 유형의 데이터를 수용할 수 있지만, 개별 정보 제공자의 수 측면에서 샘플 크기를 미리 예측하는 전략은 그렇게 하기 위해 애쓸 것이다.

As Sandelowski (1995) points out, sample size can be thought of in terms of the number of events, incidents and experiences, not solely in terms of the number of participants. Accordingly, her recommendations regarding sample size make reference to the number of descriptions of an experience rather than simply the number of informants. Adaptive sampling decisions based on saturation can accommodate these differing types of data, but strategies that predetermine a sample size purely in terms of the number of individual informants would struggle to do so.

'인스턴스'로서의 테마

Themes as ‘instances’

주어진 신뢰도 수준(예: 푸가드 & 포츠, 2015a)으로 테마의 여러 발생을 식별할 수 있거나 포화도를 달성하기 위해 특정한 숫자의 인터뷰가 필요하다는 말은 [테마가 정의되는 방법이 연구 전반에 걸쳐 일정하다]고 가정할 때 성립된다. 이 기준의 주제 발생은 간단한 방법으로 열거될 수 있다. 그러나, 테마의 '인스턴스'로 간주되는 것은 [연구자의 이해의 변화에 따라 데이터 수집과 분석의 과정]에 걸쳐 변화할 수 있다. (연구자의) 통찰력이 발달함에 따라 발생하는 기초적인 이론적 개념이 변화하기 때문이다.

When it is specified that a number of occurrences of a theme can be identified with a given level of confidence (e.g. Fugard & Potts, 2015a) or that a given number of interviews would be required in order to achieve saturation (e.g. Guest et al., 2006), an assumption is made that how a theme is defined is constant throughout the study, and that on this basis occurrences of a theme can be enumerated in a straightforward manner. However, what is considered to be an ‘instance’ of a theme might change over the process of data collection and analysis in line with changes in the researcher’s understanding of the underlying theoretical concept that occur as insights develop.

또한 특정 테마가 중요하거나 관련성이 있다고 간주되는 범위는 연구 중에 데이터가 축적됨에 따라 달라질 수 있다(Emel, 2013; Hammersley, 2015; Ker, Nixon & Wild, 2010).

Furthermore, the extent to which a particular theme is considered to be important or relevant may change as data accumulate during a study (Emmel, 2013; Hammersley, 2015; Kerr, Nixon, & Wild, 2010).

주제가 축적되는 과정에서 연구자가 정보다 통찰력을 얻는 방식이 늘 일관적이거나 선형적이지 않다. 따라서 포화점을 예측하는 시도는 주제가 발생하는 인터뷰 수와 연계될 수 없다. 주제가 연속적인 인터뷰에서 주제가 발생하는 방식과 주제의 각 발생이 해당 주제의 보다 깊은 개념적 이해에 inform하고 (연구자가 스스로를) 수정하는 정도에 따라 달라질 것이기 때문이다. 베커(2012, 페이지 15)가 지적했듯이, '(연구자가) 더 많은 것을 배우고 생각을 수정하기에, 필요한 인터뷰의 수는 날마다 바뀔 것이다.'

Accumulating instances of a theme do not, therefore, contribute information or insights to the researcher in a consistent or linear way. Accordingly, an attempt to predict the point of saturation cannot be tied down to the number of interviews in which a theme occurs, as it will also depend on the way in which, and the degree to which, each occurrence of a theme in successive interviews informs and modifies a deeper conceptual understanding of the theme concerned. As Becker (2012, p. 15) notes, ‘the number of interviews you need will change from day to day as you learn more and revise your ideas’. 

햄머슬리(2015년, 페이지 688년)도 '이머징 이론의 결실적 발전'이라는 관점에서 질적 연구자의 초점은 [얼마나 많은 정보원을 표본으로 추출하느냐]가 아니라 [어느 정보원을 표본으로 추출하느냐]에 달려 있는 경우가 많다고 지적한다. 따라서 미묘한 분석의 개발은 테마의 누적 발생(및 그에 수반되는 변동)이 이론적 통찰력을 제공하는 데 얼마나 도움이 되는가에 따라 결정된다. 따라서 일부 account는 다른 account보다 더 많은 기여를 할 것이며, 따라서 단순히 account의 숫자만을 목표로 하는 것은 표본 크기를 결정하는 기준으로서 불충분하다.

Hammersley (2015, p. 688) also points out that the qualitative researcher’s focus is often not so much on how many informants are sampled, but on which informants are sampled, in terms of the ‘fruitful development of the emerging theory’. Hence, the development of a nuanced analysis depends upon how accumulating occurrences (and accompanying variations) of a theme assist in providing theoretical insights. Some accounts will contribute more to this process than others, and aiming only for a number of such accounts is therefore inadequate as a basis for determining sample size.

표본 크기 계산에 대한 통계적 접근 방식은 테마의 인스턴스 수에 명시적으로 초점을 맞춘다. 첫 번째 경우, 주제는 최소한 한 가지 발생을 식별하는 데 필요한 참가자 수에 초점을 맞추고, 두 번째 경우에는 그러한 발생이 추가로 발생하지 않는 것을 식별하기 위해 필요한 인터뷰 수에 초점을 맞춘다. 따라서 테마는 테마의 수많은 인스턴스뿐만 아니라 테마 내에서 의미가 개발되는 방식과 테마 간의 관계를 통해 관심사가 될 수 있는 광범위한 분석 프레임워크의 맥락에서가 아니라 인스턴스 수준에서만 개념화된다.

통계적 접근방식은 낮은 수준의, 서술적 주제 수준에서만 작동하며, 분석과정에서 높은 수준의 주제의 추가 개발이나 정교함을 고려하지 않는다. 따라서, 테마가 [서술적 의미]보다는 [해석적 의미]를 갖는 것으로 간주될수록, 예시 측면에서 고안된 표본 크기에 대한 접근방식이 덜 적용될 것이다.8

statistical approaches appear to operate solely at the level of lower order, descriptive themes and do not take account of the further development or elaboration of higher order themes during analysis. Hence, the more that themes are regarded as holding interpretive, rather than descriptive, meaning, the less applicable will be an approach to sample size conceived in terms of instances.8

표본 크기에 대한 통계적 및 경험적 접근방식에서 가정하는 또 다른 것은 어떤 instance를 찾아낼 가능성이 [표본의 구성원 간에 동일하다는 것]이다. 특정 수의 참가자가 특정 수준의 확률로 특정 주제 또는 특정 수의 테마를 식별하기 위해 데이터 수집 전에 진술되는 경우, 각 테마의 발생은 잠재적으로 각 참가자의 계정에서 도출될 수 있다고 가정한다. 그러나 이러한 가정은 질적 연구에 반드시 적용되는 것은 아니다. 일부 하위 순서 테마는 일부 참가자의 account에서는 어렵지 않게 식별될 수 있지만, 어떤 참가자들에서는 가능성이 극히 낮을 수 있다.

A further implication of statistical and empirical approaches to sample size is that the possibility of identifying instances of a theme is taken to be the same across members of the sample. If a specific number of participants is stated in advance of data collection in order to identify a theme, or a particular number of themes, with a stated degree of probability, it is assumed that an occurrence of each theme can potentially be derived from each participant’s account. However, this assumption will not necessarily apply in qualitative research. It is quite possible that some lower order themes will be potentially identifiable in the accounts of some participants but may be extremely unlikely to occur in others.

분석 컨텍스트

The analytical context

사전에 표본숫자를 결정하려는 많은 시도에서 가장 두드러진 방법론적 측면 중 하나는 [분석에 대한 연역적 접근에 대한 의존]이다. 즉, 방법론적으로 사전 식별된 테마를 데이터에 적용하는데 전적으로 또는 주로 의존하는 것이다. 실제로, Francis 등(2010년)은 자신들의 방법은 theory-driven theme에 적용하기 위한 것이라고 말했다.11 이 접근방식은 적어도 부분적으로 프레임워크 분석과 같은 방법에 적용된다(Ritchie & Spencer, 1994),

One of the most striking methodological aspects of many attempts to determine sample size a priori is their reliance on a deductive approach to analysis; i.e. one that relies wholly or predominantly on applying pre-identified themes to the data, rather than allowing these to emerge inductively.10 Indeed, Francis et al. (2010) are clear that their method is intended to apply to theory-driven themes.11 This approach may lend itself, at least partially, to a method such as framework analysis (Ritchie & Spencer, 1994),

이 경우, 데이터 분석을 앞두고 일부 또는 모든 테마가 결정되어 있다.

in which some or all themes are determined ahead of data analysis,

그러나 귀납적으로 분석하기 위한 연구에서 샘플 크기를 미리 지정한다는 것은 본질적으로 모순된다. 만약 테마의 수와 성격에 대한 이해가 분석 과정과 함께 진행된다면, 처음부터 이 이해가 적절할 지점을 의미 있게 예측할 수 없다.

However, attempts to pre-specify sample size – in other than a purely pragmatic way – in advance for a study in which analysis is intended to be inductive is essentially contradictory. If an understanding of the number and the nature of themes proceeds pari passu with the process of analysis, one cannot meaningfully predict at the outset the point at which this understanding will be adequate.

Morse(2000년)와 Malterud 등(2016년)의 개념 모델은 적절한 표본 크기에 중요한 개별 연구의 특정 특성을 강조한다.

The conceptual models of Morse (2000) and Malterud et al. (2016), stress the particular characteristics of individual studies as crucial to adequate sample size,

Malterud et al. (2016)은 질적연구에서 표본 크기를 계산하기 위한 수학공식 사용을 거부하고, 연구 진행과정에서 표본 크기에 대한 초기 평가를 재검토해야 한다는 것을 인정한다.

Malterud et al. (2016) reject the use of formulae to calculate sample size in qualitative research, and acknowledge that initial assessments of sample size should be revisited during a study.

말테루드 외 연구진(2016, 페이지 1754) 모델의 기본 전제는 '표본 크기를 안내하는 도구는 특정 분석 방법의 절차에 의존하지 말고 공유 방법론 원리shared methodological principle에 의존해야 한다'는 것이다. 첫째, 이 주장은 논란의 여지가 있다. 분석 방법은 적어도 [연구 질문의 성격]에 의해 부분적으로 결정되며, 이는 다시 [특정 철학적 관점]에 기초하게 될 것이므로, [표본 크기는 특정 분석 절차와 관련될 가능성]이 있다.

A basic premise of Malterud et al’s (2016, p. 1754) model is that ‘tools to guide sample size should not rely on procedures from a specific analysis method, but rest on shared methodological principles’. First, this claim is contestable. As a method of analysis will be at least partly determined by the nature of the research question, which will in turn be based on a particular philosophical perspective, it is likely that sample size will be related to particular analytical procedures.

민족학 연구의 맥락에서, [개인이 특정 문화나 사회적 관행에 어떻게 기여하고 참여하는지 이해하기 위한] 분석을 한다면, 한 사람의 account가 다른 사람의 경험이 어떠하며, 그것이 어떻게 다른지에 대해 우리에게 무언가를 말해줄 수 있다는 느낌이 있고, 결국 따라서 표본 크기에 영향을 미친다. 

If, in the context of an ethnographic study, analysis is directed at understanding how individuals contribute to and partake of a particular culture or set of social practices, there is a sense (albeit limited, perhaps) in which one person’s account may tell us something about the experiences of others and the way in which these differ, and thereby influence the sample size. 

이와는 대조적으로, 현상학적 원리에 기초하는 분석은 다른 사람의 경험에 대한 정보원의 토론을 단순히 개인의 특정한 관점을 정교하게 만드는 것으로 간주할 수 있다. 다른 사람들이 경험하거나 지각하는 것에 대한 통찰력을 제공하는 것은 아닐 수 있다. 따라서 표본 크기에 대한 효과는 각 경우에 따라 매우 다르다.

In contrast, an analysis founded on more phenomenological principles may simply regard an informant’s discussion of others’ experiences as elaborating that individual’s own particular perspective, rather than providing insight into what others experience or perceive. The effect on sample size is very different in each case.

둘째, '공유 방법론적 원리'를 고집하는 것은 질적 연구 안에 불안하게 자리잡고 있는 방법론적 통합의 형태를 시사한다. 말테루드 외 연구진(2016년)은 '정보력'의 다양한 차원이 있으므로, 따라서 표본 크기는 균일하고 예측 가능한 방식으로 작동한다고 가정하는 것 같다. 분명히 목표가 넓은 연구에는 (목표가 좁은 연구보다) 더 큰 표본을 요구하는 경향이 있다. 그러나 이것은 필연적인 문제인가? 단순히 목표의 넓이만 따르기보다는, 연구목적의 본질과 관련있지 않을까? 

Second, the insistence on ‘shared methodological principles’ suggests a form of methodological unity that sits uneasily within qualitative research. Malterud et al. (2016) seem to assume that the various dimensions of ‘information power’, and hence of sample size, operate in a uniform and predictable way. No doubt there is a tendency for a study with broad aims to require a larger sample than one with narrower aims, but is this a matter of necessity? Might it not have to do with the nature of these aims, rather than just their breadth? 

'참가자에게 절대 challenge하지 않는 연구자는 [낮은 정보력을 보유하는 경험적 데이터]로 끝날 위험을 가지고 있다는 주장도 있다. 즉, 분석하는 동안 이전으로부터 알려진 것만 재현한다'는 것이다(Malterud et al., 2016, 페이지 1756). 이것은 매우 광범위한 주장으로 보이며, 면접에서 잘못된 통설을 가정한다. 예를 들어, 인터뷰에 대한 서술적 접근방식에서, challenging이라는 테크닉은 통찰력 있는 데이터를 얻는 데 도움이 되기 보다는 비현실적일 수 있다.

It is argued that ‘a researcher who never challenges his or her participant runs the risk of developing empirical data holding low information power, which, during analysis, only reproduces what is known from before’ (Malterud et al., 2016, p. 1756). This seems to be a very broad claim, and assumes a false orthodoxy in interviewing. In a narrative approach to interviewing, for example, a technique of challenging might be inimical, rather than conducive, to obtaining insightful data.

표본 크기의 적정성을 개념화하는 방식도 정성적 연구와 공명이 거의 없는 분석에 대한 접근법을 제안할 수 있다. 앞서 논의한 사례에 초점을 맞추는 것은 질적 데이터 분석에서 숫자세기enumeration 과정을 지나치게 강조하는 것을 조장한다. Silverman(1985)과 Dey(1993)와 같은 저자들은 질적 데이터로부터 이론적 통찰력을 얻는 것은 때때로 어떤 형태의 기본적인 정량화에 의존할 수 있다고 설득력 있게 주장해왔다. 예를 들어, Dey(1993, 페이지 179)는 '실제적으로, 수치 평가에 의지하지 않고 어떻게 카테고리 간의 연관성을 식별하거나 관계의 강도를 평가하는 것이 가능한지 보기 어렵다'고 주장한다.

The way in which adequacy of sample size is conceptualized can also suggest an approach to analysis that has little resonance with qualitative research. The focus on instances, discussed earlier, encourages an undue emphasis on a process of enumeration in qualitative data analysis. Admittedly, authors such as Silverman (1985) and Dey (1993) have argued convincingly that deriving theoretical insights from qualitative data may at times depend upon some form of basic quantification. Dey (1993, p. 179), for example, maintains that ‘it is difficult to see how, in practice, it is possible to identify associations between categories or to assess the strength of relationships without recourse to a numerical evaluation’.

그러나 이러한 유형의 숫자세기는 질적 데이터 분석에서 보조적 역할 이상의 역할을 한다고 보기는 어렵다. 앞서 주장했듯이 [의미 있는 분석은 궁극적으로 데이터에 표현된 개념의 특성과 의미]에 따라 좌우될 것이며, 그 유병성, 빈도 또는 전형성이 아니다. 더욱이 반 리자루티버(2015, 페이지 12)가 '연구의 신뢰성을 높이기 위해 의도적으로 각 코드의 최소 관측 개수를 목표로 하는 것이 가능하다'고 제안할 때 나타나듯이, 어느 정도 분석적인 중요성의 척도로 단순하게 인스턴스 수를 동일시하는 것은 위험하다.

However, it is hard to see this type of enumeration as playing more than an ancillary role in qualitative data analysis. As argued earlier, a meaningful analysis will ultimately depend upon the nature and meaning of concepts expressed in the data, not their prevalence, frequency or typicality. Moreover, it is dangerous to equate the number of instances straightforwardly with some measure of analytical importance, as van Rijnsoever (2015, p. 12) appears to when suggesting that ‘to enhance the credibility of the research, it is possible to aim deliberately for a minimum number of observations of each code’.

참가자의 다양성

Diversity of the participants

표 1의 rule of thumb 중 일부는 동질성의 개념을 가리키며, 이것이 필요한 표본 크기에 영향을 미칠 수 있음을 암시한다. 질적 연구에서의 샘플링은 연구의 초점인 사람들에게서 다른 특성이나 경험의 다양성을 고려할 필요가 있으며, 연구참여자에 대해서 추정하는 이질성이 클수록 포함되어야 할 참가자의 수가 더 많다고 생각하는 것이 참으로 타당하다. 때때로 이러한 사고방식은 선험적 판단을 알려줄 수 있다.

Some of the rules of thumb in Table 1 refer to the notion of homogeneity, suggesting that this may influence the required sample size. It is indeed reasonable to think that sampling in qualitative research needs to take account of the differing characteristics, or the diversity of experience, in those who are the focus of the study, and that the greater their supposed heterogeneity, the larger the number of participants that should be included. On occasions, this way of thinking may inform a priori judgments.

예를 들어, 질병의 경험이 어떻게 축적되는지를 탐구하려는 연구는 남성과 여성의 관점에 대한 분석적 비교를 예측하고 그에 따라 정보 제공자의 수를 결정할 수 있다. 마찬가지로, 그리고 아마도 더 가능성이 높은 것은 데이터 분석 과정에서 참가자의 account에서 이질감이 나타날 수 있으며, 이론적 샘플링의 원칙에 따라 샘플링된 참가자의 수를 적절하게 알릴 수 있다(Glaser & Strauss, 1967).

A study intending to explore how the experience of an illness is gendered may, for example, foresee analytical comparisons between men’s and women’s perspectives and determine the number of informants accordingly. Equally, and perhaps more likely, a sense of heterogeneity may emerge from participants’ accounts during the process of data analysis, and may appropriately inform the number of participants sampled in line with the principles of theoretical sampling (Glaser & Strauss, 1967).

그러나 두 경우 모두에서 이 고려의 기초가 되는 것은 조사 연구에서와 같이 경험적 표현성의 일부 개념이 아니라 '현상을 분석하는 데 사용할 설명 집합의 전체 범위의 변동을 생성하는 것'에 대한 우려다(Polkinghorne, 1989, 페이지 48). 따라서 질적연구에서 표본의 동질성이 표본 크기를 결정하는 방식은 양적 연구와 같지 않다. 질적 연구에서의 주요 관심사는 [무작위 표본오차random sampling error를 최소화]하는 것이다(Barnett, 2002).

In both cases, however, what underlies this consideration is not some notion of empirical representativeness – as might be the case in survey research – but rather a concern ‘to generate a full range of variation in the set of descriptions to be used in analysing a phenomenon’ (Polkinghorne, 1989, p. 48). The homogeneity of the sample does not, therefore, drive sample size in the same way as in quantitative research, where the principal concern is with minimizing random sampling error (Barnett, 2002).

상호의존적인 표본 크기의 결정요인

Determinants of sample size as interdependent

말테루드 외 연구진(2016년)과 모스(2000년) 모델은 표본 크기의 다양한 결정 요인을 독립적으로, 따라서 종합적으로 작동하는 것처럼 제시한다.

Malterud et al.’s (2016) and Morse’s (2000) models present the various determinants of sample size as if they operate independently and thus summatively.

그러나 어떤 경우에는 표본 크기의 결정요인들이 상호작용을 할 것이라고 상상할 수 있다. 따라서 표본 크기에 영향을 미치는 요인은 독립적이지 않을 수 있으며, 연구에 한 가지 특정 치수가 존재하는 정도는 다른 차원의 일부 또는 전체가 필요한 표본 크기에 영향을 미치는 정도에 영향을 미칠 것이다.

It is, however, conceivable that in some instances, these determinants will interact. Hence, the factors influencing sample size may well not be independent, and the extent to which one particular dimension is present in a study will influence the extent to which some or all of the others influence the required sample size.

모르스(2000, 페이지 3, 4)는 다음의 두 가지를 분리한다.

• 연구범위의 영향: '연구 문제의 범위가 넓을수록 포화상태에 도달하는 데 시간이 더 오래 걸릴 것'

• 연구주제의 영향: '연구 중인 주제가 분명하고 명확하며, 면접에서 쉽게 정보를 얻을 수 있다면, 주제가 수면 아래에 있고 흥미를 유발하고 잡기 어려운 경우보다 참가자가 더 적게 필요하다.'

그러나 범위가 넓은 연구는 명백한 주제 또는 범위가 좁은 주제와 같이 표면 아래에 있는 주제를 다룰 수 있다.

Morse (2000, pp. 3, 4) considers separately 

• the effect of the scope of the study (‘the broader the scope of the research question, the longer it will take to reach saturation’) and 

• the effect of the topic of the study (‘If the topic being studied is obvious and clear, and the information is easily obtained in the interviews, then fewer participants are needed than if the topic is below the surface and intriguing and difficult to grab’). 

However, a study whose scope is broad may conceivably address either an obvious topic or one that is below the surface, as may one whose scope is narrower.

따라서 표본 크기의 일반적인 결정 요소에 의존하는 것은 현실적이지 않을 수 있다.

Consequently, it may not be realistic to rely on generic determinants of sample size

그러나 그 대신 당면한 연구의 특정 특성과, 이러한 특성들 사이의 상호관계의 방식에 좀 더 특유한 초점을 맞춘다.

but instead take a more particularistic focus on the specific characteristics in the study at hand, and the way in which these interrelate.

통계적 가정

Statistical assumptions

표본 크기를 계산하기 위해 통계적 방법을 사용하는 접근방식으로 눈을 돌리면, 이것들은 많은 구체적인 가정을 만든다.

If we turn to the approaches that employ statistical methods to calculate sample size, these make a number of specific assumptions.

첫째, 확률론적 모델의 일부로서, 그들은 테마의 발생이 통계적으로 독립적이라고 가정한다. 즉, 한 정보원의 계정에서 테마의 식별이 다른 정보원에서의 발생에 영향을 미치지 않고 영향을 받지 않는다고 가정한다. 하지만 그렇지 않다. 앞서 제안한 바와 같이, 연구 내에서는 특정 다른 정보 제공자보다 특정 정보 제공자의 account에서 주제가 발생할 가능성이 더 높을 수 있다.

First, as part of the probabilistic model, they assume that occurrences of a theme are statistically independent – i.e. that the identification of a theme in the account of one informant does not influence, and is not influenced by, its occurrence in any other informant. This is unlikely to be the case. As suggested earlier, within a study, a theme may be more likely to arise from the accounts of certain informants than of certain other informants.

유사한 방법으로, 질적 연구(Noy, 2008년)에서 흔히 일어나는 것처럼 눈덩이 표본 추출 프로세스가 채택된다면, 추가 정보 제공자를 식별하기 위한 소셜 네트워크 또는 이전 관계의 사용은 테마가 독립적이지 않을 것을 거의 보장한다. 또한, 연구자의 관심사는 단순히 (여러 명의) account 전반에 걸쳐 테마가 존재하는 것이 아니라, (한 명의) 개인 정보원의 account에서 어떤 방식으로 테마가 반복적으로 예시되는지에 초점이 맞춰질 수 있다. 위와 마찬가지로, (한 명의) 정보원 내에서 발생하는 여러 사건들은 독립적이지 않을 것이다.

In a similar way, if a process of snowball sampling is adopted – as commonly occurs in qualitative research (Noy, 2008) – the use of social networks or prior relationships to identify additional informants almost guarantees that themes will not be independent. Additionally, interest may centre on how a theme is repeatedly exemplified by an individual informant’s account, not merely with the presence of themes across accounts – these occurrences within an informant will similarly not be independent.

둘째로, 이러한 통계적 계산은 이항 분포와 같은 확실한 기본 확률 분포에 의존한다. 따라서, 어떤 테마가 인구에서 15%의 유병률을 가진 것으로 간주되고, 연구자가 이 테마의 최소 발생을 95% 신뢰하기를 원하는 경우, 다음 공식(여기서 'ln'은 자연 로그(natural logarithm)은 필요한 최소한의 정보원을 제공한다(Viechtbauer et al., 2015).

Second, these statistical calculations rely upon a posited underlying probability distribution, such as the binomial distribution. So, if a theme is considered to have a prevalence of 15% in the population, and the researcher wishes to be 95% confident of finding at least one occurrence of this theme, the following formula (where ‘ln’ denotes natural logarithm) will provide the minimum number of informants required (Viechtbauer et al., 2015):

대부분의 정성적 연구에서는 무작위 표본 추출이 실행 불가능할 뿐만 아니라, 더 큰 문제는, 무작위 표변 추출식으로 하기 위해서는 어떤 형태의 sampling 방법(예를 들어 목적적 sampling)을 불가능하게 만든다는 것이다. 왜냐하면 이러한 샘플링은 연구 진행과정에서 개발된 통찰력이나 다른 emergent feature의 관계 속에서 적응적으로 사례를 선택해야 하기 때문이다.

Not only is random sampling impracticable in most qualitative research, but a notable drawback is that such a prescribed method also rules out any form of sampling – such as purposive (Mason, 2002) or theoretical (Glaser & Strauss, 1967) sampling – that adjusts the selection of cases adaptively during analysis in relation to developing insights or other emergent features of the study.

이와 직결되는 세 번째 가정은 주제(예: 푸가드 & 포츠, 2015a; Galvin, 2015) 및/또는 테마 수(예: 반 리지얼리버, 2015)를 처음부터 추정할 수 있다는 것이다. 이는 연역 체계 내에서 선험적 테마를 명확하게 정의한 경우에만 가능하며, 분석에 대한 귀납적 접근방식은 분명히 불가능하다. 귀납적 방식을 사용할 경우, 어떤 주제가 생성될지는 처음알 알 수 없을 뿐만 아니라, 연구가 진행됨에 따라 이미 알려진 주제도 (그 주제의 prevalence에 대해 원래 가지고 있었던 sense와 다른 방식으로) 정교화되고 재정의 될 것이다. 

Directly linked to this is a third assumption: that the prevalence of a theme (e.g. Fugard & Potts, 2015a; Galvin, 2015) and/or the number of themes (e.g. van Rijnsoever, 2015) can be estimated at the outset. This is probably only possible with clearly defined a priori themes within a deductive framework, and certainly not in an inductive approach to analysis. In the latter, not only are themes liable to be unknown at the outset, but any that are known will be subject to refinement or re-definition as the study proceeds, largely precluding any prior sense of their prevalence.

일반성의 가정

An assumption of generality

표본 크기에 대한 통계적 접근방식은 계산이 이루어지는 기초(예: 테마의 보급)를 새로운 연구의 맥락으로 transfer할 수 있어야 한다고 가정한다.

Statistical approaches to sample size assume that the basis on which the calculation is made – e.g. the prevalence of a theme – should be transferable to the context of a new study.

이러한 일반성의 개념은 또한 고려된 다른 접근방식의 기초가 된다. '비슷한' 연구로 과거의 경험을 바탕으로 지침을 만드는 것은 [동일한 방법론적 또는 분석적 전통]에서조차 연구들 간에 [잘못된 동질성]을 가정할 위험이 있다. 

This notion of generality also underlies some of the other approaches that have been considered. Establishing guidelines on the basis of past experience with ‘similar’ studies runs the risk of assuming a false homogeneity among studies, even with the same methodological or analytical tradition. 

해석적 현상학적 분석의 관점에서 수행되는 연구들은, 예를 들어, 분명히 공통점을 가지고 있을 것이다. 그러나 (이러한 개념은) 연구들 사이의 유사성을 과장하고 개별 연구의 독특한 특징을 간과할 위험이 있다. 겉으로 보기에 동등한 방법론이라도 상당히 다른 형태 또는 강조를 취할 수 있기 때문이다.

Studies carried out from the perspective of interpretative phenomenological analysis, for example, will clearly have something in common, but there is a danger of overstating their similarity and overlooking the unique features of individual studies, in response to which an apparently equivalent methodology may take quite a different form or emphasis.

따라서 표본 크기에 대해 도출되는 수치의 일반성은 (저자들이 흔히 인정하는 것처럼) 제한적일 수 있으며, 이는 연구의 주제, 맥락 또는 모집단이 다를 수 있는 미래 연구와 관련하여 그 유용성을 저하시킬 수 있다. 더구나 이것은 단지 일반성의 문제가 아니다. 특정 연구의 고유한 특징을 무시하는 것은 대부분의 정성적 연구의 맥락적 지향contextual orientation에 반하는 것이다.

The generality of the figures they derive for sample size may therefore be limited (as the authors often admit), and this undercuts their usefulness in relation to future studies in which the topic, context or population of the study may differ. Moreover, this is not just a matter of generalizability. Ignoring the unique features of a particular study goes against the contextual orientation of most qualitative research.

고찰

Discussion

많은 연구자들이 펀딩 기관의 요구사항, 시간 및 자원 관리의 실용성을 고려할 때 질적 연구에서 [표본 크기 결정 방법] 찾는 것을 이해하는 것은 어렵지 않다. 그리고 아마도 몇몇 사람들은 일정정도의 표준화를 도입하여 샘플링에 대한 주관적 판단이 '지저분해 보이는 것'를 최소화시키고자 하는 욕망도 있을 것이다.

It is not difficult to understand the desire of many researchers undertaking qualitative research to pursue methods for determining sample size a priori, given requirements of funding bodies, the practicalities of managing time and resources, and perhaps, among some, a desire to reduce the perceived ‘messiness’ of subjective judgements about sampling by introducing a degree of standardization.

[표본 크기 결정에 대한 통계적 접근법]과 [경험적으로 도출된 지침]은 참여자 수와 테마의 식별된 인스턴스 수 사이의 직접적인 관계에 대한 가정 측면에서 테마의 식별에 있어 [일정정도의 균일성]을 시사하는 것으로 보인다. 그러한 접근방식에서, 이러한 사례들이 관련된 주제와 관련하여 제공하는 [이론적 통찰력보다는, 테마의 인스턴스 수가 가장 중요한 것]으로 보인다. 우리는 그러한 모델들이 테마가 미리 정의되어 있는 분석에 대한 연역적 접근방식에 더 적합해 보이며, 표본 추출 결정이 포화도와 같은 원리에 의해 유도되는 보다 탐구적이고 유도적인 접근방식과 다소 양립할 수 없는 것처럼 보인다고 주장해왔다.

Both statistical approaches to determining sample size and empirically derived guidelines appear to suggest a degree of uniformity in the identification of a theme, in terms of the assumption of a direct relationship between the number of participants and the number of identified instances of a theme. In such approaches, the number of instances of a theme appears to be most significant, rather than the theoretical insights these instances offer in relation to the theme concerned. We have argued that such models appear more suited to deductive approaches to analysis in which themes are predefined, and appear somewhat incompatible with more exploratory, inductive approaches in which sampling decisions are guided by a principle such as saturation.

Malterud et al. (2016)은 또한 다양한 질적 방법에 걸친 표준화에 대해서 의심스러운 가정을 한다. 즉, 서로 다른 연구 설계와 분석 프레임워크에 걸친 일련의 공유 원칙이 존재한다는 것이다.

Malterud et al. (2016) also make the questionable assumption of a degree of standardization across qualitative methods – that there is a set of shared principles spanning different study designs and analytic frameworks.

추가적으로, 통계적 공식과 경험적으로 도출된 지침과 같이, '정보력'의 개념은 비록 암묵적으로, [데이터는 참여자들로부터 어떻게든 추출될 것이다는 현실주의적 가정]을 채택하기 위해 나타난다. 이는 우리가 제안한 인식론적 입장이 접근방식과 상충되는 것임을 시사한다. 우리는 테마란 '진행 중인ongoing 해석적 분석의 일부'로 간주한다.

Additionally, like statistical formulae and empirically derived guidelines, the notion of ‘information power’ appears, albeit implicitly, to adopt a realist assumption that data are somehow extracted from participants, suggesting the incremental gaining of objective information – an epistemological stance we have proposed is at odds with approaches that consider themes as being developed as part of an ongoing, interpretive analysis.

또한 이러한 접근법들 중 다수는 표본 크기 권고사항이나 계산에 지나치게 일반주의적인 접근으로 이어지는 연구들 사이의 [동질성]을 가정하지만, 이 가정 역시 의문스럽다.

Many of these approaches also assume a questionable homogeneity across studies leading to an excessively generalist approach to sample size recommendations or calculations.

연구자(특히 질적 연구의 스펙트럼의 해석적 끝에서 일하는 사람)는 펀딩기관이나 윤리 검토 위원회에 표본 크기를 정당화하려고 할 때 진정한 도전에 직면한다. 그러나 의심스러운 가정에 근거하거나 양적 연구로부터 부적절한 방법론적 또는 통계적 원칙을 가져오는 예측이나 계산에 의존하는 것은 잘못된 대응이다. 

Researchers – particularly those working at the interpretive end of the spectrum of qualitative research – face a genuine challenge when seeking to justify sample sizes to funding bodies or ethical review committees. However, resorting to predictions or calculations that rest upon questionable assumptions, or that import inappropriate methodological or statistical principles from quantitative research, is an ill-advised response to this challenge. 

더 적절한 대응은, 

• 표본 크기에 대한 표시를 제공하는 실용적 필요성에 대해 설명하기 위해, 수치에 대한 근거 없는 경험적 근거를 제시하거나 포화점에 대한 정확한 예측을 시도하지 않고, 

• 궁극적으로 필요한 참여자 수에 대한 확실한 판단은 연구가 진행 중인 후에나 도달할 수 있다는 분명한 경고와 함께, 대략적이고 매우 잠정적인 상한을 제시하는 것이다. 

A preferable approach would be, perhaps, to address the pragmatic necessity of providing some indication of sample size by presenting an approximate, and very provisional, anticipated upper limit, without presenting an unwarranted empirical basis for such a figure or attempting precise predictions of a point of saturation, but with a clear caveat that a firm judgment of the number of participants ultimately required can only be reached once the study is underway.

이는 표본 크기에 대한 [적응적 접근방식이 연구에서 채택된 귀납적 방법론과 어떻게 부합하는지에 대한 명확한 설명]과 더불어, [연구 과정에서 표본 크기 결정이 어떻게 이루어질지에 대한 개요]를 포함함으로써 더욱 정당화될 수 있다. – 예를 들어, 연구에서 포화도를 평가하고 입증하는 방법 - 이를 통해 명확한 방법론적 reasoning에 근거한 rationale를 제공할 수 있다.

 This can be further justified by including a clear explanation of how an adaptive approach to sample size fits with the inductive methodology adopted in the study, as well as an outline of how sample size decisions will be made during the course of the study – for example, the way in which saturation will be assessed and demonstrated in the research – thereby providing a rationale underpinned by clear methodological reasoning.

결론

Conclusion

이 증거에서, 우리는 (질적연구에서) 선행적으로 표본 크기를 정의하는 것은 본질적으로 유도적이고 탐구적인 연구의 경우에 문제가 있다고 믿는다. 이러한 종류의 연구는, 정의에 근거하자면, 핵심 주제를 사전에 식별할 수 없는 것과 관련된 현상을 탐구하려고 한다. 그러한 접근방식에서, 아직 알려지지 않은 것에 대한 충분한 이해를 형성하기 위해 얼마나 많은 참여자가 필요한지를 미리 명시하는 것은 본질적으로 비논리적이다(Sunders et al., 2017). 따라서 연구 시작 시 표본 크기에 대한 대략적인 추정치를 제공해야 하는 실무적 의무는 인정하지만, 연구 목적을 충족하기에 적절한 표본 크기를 구성하는 것에 대한 결정은 반드시 연구자가 지속적으로 해석하는 과정이라고 주장한다. 샘플크기 결정은 반복적이고, 맥락-의존적인 결정으로서, 연구자가 '개발된 테마', '이들 테마 간의 관계', 그리고 '이들 테마의 개념적 경계가 있는 곳'에 대한 점점 더 포괄적인 그림을 개발해나가면서, 분석 과정 중에 이루어진다.

On this evidence, we believe that defining sample size a priori is inherently problematic in the case of inductive, exploratory research, which, by definition, looks to explore phenomena in relation to which we cannot identify the key themes in advance. In such an approach, specifying a priori how many participants will be needed to create sufficient understanding of what is as yet unknown is, in its essence, illogical (Saunders et al., 2017). Thus, whilst we acknowledge the practical imperative to give a rough estimate of sample size at the beginning of a study, we argue that the decision over what constitutes an adequate sample size to meet a study’s aims is one that is necessarily a process of ongoing interpretation by the researcher. It is an iterative, context-dependent decision made during the analytical process as the researcher begins to develop an increasingly comprehensive picture of the developed themes, the relationship between these themes, and where the conceptual boundaries of these themes lie.

더욱이 (선행 결정을 통해서든 포화상태와 같은 보다 적응적인 접근방식을 통해서든) 어떤 방법으로든 연구의 참여자 수에 대한 결정을 내릴 필요가 분명히 있기는 하지만, '표본 크기'라는 문제가 질적 자료 수집 및 분석 프로세스의 다른 필수 요소들을 모두 뒤덮어버릴 정도로 disproportionate하게 부각되어서도 안 된다. 에멜(2013년, 페이지 154년)이 우리에게 상기시켜 주듯이, '중요한 것은 사례의 수가 아니라, 중요한 것은 연구자가 그 사례들을 가지고 무엇을 하느냐'는 것이다.

Moreover, although there is clearly a need to make a decision on the number of participants in a study by one means or another – whether through a priori determination or a more adaptive approach such as saturation – there is also a need to ensure that the whole issue of sample size does not assume a disproportionate prominence and overshadow other essential elements within the process of qualitative data collection and analysis. As Emmel (2013, p. 154) reminds us, ‘it is not the number of cases that matters, it is what you do with them that counts’.

===

1. 우리는 이 용어를 광범위하게 '코드', '범주', 그리고 이와 유사한 용어를 수용하기 위해 사용한다.

1. We use this term broadly, to embrace ‘codes’, ‘categories’, and similar terms.

2. 일부 그러한 권고사항은 정보 제공자의 수가 아니라 개별 정보 제공자와의 인터뷰의 수와 관련이 있다. 예를 들어 스프래들리(1979년, 페이지 51년)는 민족학 연구에 대해 적어도 6~7시간의 1시간 인터뷰를 추천한다.

2. Some such recommendations relate not to the number of informants but to the number of interviews with an individual informant. For example, Spradley (1979, p. 51) recommends at least six to seven one-hour interviews for an ethnographic study.

3. 비록 이러한 저자들은 그들의 모델이 연구의 계획에 적용된다는 것을 나타내지만, 표본 크기의 사전 결정에만 초점을 맞추는 것은 아니다; 그들은 표본 크기의 적절성이 연구 중에 지속적으로 재평가되어야 한다는 것에 주목한다.

3. Although these authors indicate that their model applies to the planning of a study, it is not solely focussed on the prior determination of sample size; they note that the adequacy of the sample size should be continuously reassessed during a study.

4. 이항 분포는 이항 변수에 사용되는 확률 분포로서, 즉 관측치가 '현재' 대 '잠재'와 같은 두 가지 가능한 값 중 하나를 취할 수 있는 확률 분포다.

4. The binomial distribution is a probability distribution used for binary variables, i.e. those in which an observation can take one of two possible values, such as ‘present’ versus ‘absent’.

5. 몬테카를로 시뮬레이션은 시뮬레이션된 값의 모집단에서 수많은 랜덤 표본을 추출하여 특정 통계량의 표본 분포를 추정한다(Mooney, 2004).

5. Monte Carlo simulations estimate the sampling distribution of a particular statistic by drawing numerous random samples from a simulated population of values (Mooney, 2004).

6. 구체적으로는, 이 곡선에 대한 0.05의 값(즉, 추가 참가자 20명당 하나의 새로운 테마)이 97.5%의 테마를 식별할 수 있도록 하는 한편, 더 이상의 테마를 산출하지 않는 추가 참가자의 포함을 제한하는 테마 누적 곡선을 구성했다. 견본 채취

6. More specifically, a theme accumulation curve was constructed, such that a value of 0.05 for this curve (i.e. one new theme for each 20 additional participants) allowed 97.5% of themes to be identified whilst limiting the inclusion of further participants who would not yield further themes; this was proposed as a possible stopping criterion for sampling.

7. 흥미롭게도, 이 접근방식의 초기 예(Romney, Weller, & Batchelder, 1986년)는 그들의 지식 - 구체적인 질문에 대한 그들의 답변의 진실 또는 거짓 - 조사라는 측면에서 참가자의 수를 계산하는데 초점을 맞추었다. 이것에서 성격적으로 질적 연구가 집중되는 믿음이나 경험의 문제로 옮겨가는 것은 의문이다.

7. Interestingly, an early example of this approach (Romney, Weller, & Batchelder, 1986) focused on calculating the number of participants in terms of investigating their knowledge – the truth or falsity of their responses to specific questions. Moving from this to matters of belief or experience, on which qualitative research characteristically focuses, is questionable.

8. 그러나 하가만과 우티치(2017년)는 그들의 주제가 서술적임을 분명히 하고 있다.

8. Hagaman and Wutich (2017) are, however, explicit that their themes are descriptive.

9. 더 큰 이론적 추상성과 다수의 저차주 테마를 흡수할 가능성이 높기 때문에 고차주 테마는 대부분 또는 모든 계정을 포괄하는 것으로 더 쉽게 가정할 수 있다. 그러나 표본 크기에 대한 이러한 수치적 및 통계적 접근방식은 저차원의 주제에 초점을 맞추는 경향이 있다.

9. Higher-order themes, owing to their greater theoretical abstraction and the fact that they are likely to subsume a number of lower-order themes, might be more readily assumed to encompass most or all accounts. However, these numerical and statistical approaches to sample size tend to focus on lower-order themes.

10. 유도 과정에 의한 테마의 식별은 가장 일반적으로 근거 이론과 관련이 있다(Glaser & Strauss, 1967). 초기에 근거 이론에서의 분석 과정은 실제로 귀납적인 것이지만, 이론 범주가 진화함에 따라, 데이터의 인스턴스들이 가장 적합했던 이론 범주와 관련이 있는 보다 유괴적인 논리를 채택하여, 이러한 범주를 더욱 발전시키고 다듬을 수 있게 된다(Charmaz, 2009). 이에 따라 우리는 좁은 의미보다는 넓은 의미에서 '귀납'을 사용하고 있다.

10. The identification of themes by an inductive process is most commonly associated with grounded theory (Glaser & Strauss, 1967). Initially, the process of analysis in grounded theory is indeed inductive, but as theoretical categories evolve, a more abductive logic is employed whereby instances of data are related to the theoretical category with which they best fit (Charmaz, 2009), thereby allowing these categories to be further developed and refined. Accordingly, we are using ‘inductive’ in a broad rather than a narrow sense.

11. 신기하게도 코드의 수와 발생 확률 측면에서 코드를 미리 알 수 있다고 제안했음에도 불구하고, 반 리자르티베르 (2015)는 근거 이론의 원리에 맞추어 귀납적 접근법 내에서 그의 접근방식을 설정한다.

11. Curiously, despite proposing that codes can be foreknown in terms of their number and probability of occurrence, van Rijnsoever (2015) sets his approach within an inductive approach, aligned with the principles of grounded theory.

12. Malterud et al(2016, 페이지 1754)은 결정요인이 '상호적 영향'을 가질 수 있음을 인정하지만, 이는 그들이 제안한 모델 내에서 설명되지 않는다.

12. Malterud et al (2016, p. 1754) acknowledge that the determinants may have a ‘mutual impact on each other’, but this is not explicated within the model that they propose.

혼합연구에 대한 개괄(Journal of Research in Nursing, 2009)

An overview of mixed methods research

Louise Doyle Lecturer School of Nursing & Midwifery Studies, Trinity College Dublin, 24 D’Olier St, Dublin 2, Ireland

Anne-Marie Brady Lecturer School of Nursing & Midwifery Studies, Trinity College Dublin, 24 D’Olier St, Dublin 2, Ireland 

Gobnait Byrne Lecturer School of Nursing & Midwifery Studies, Trinity College Dublin, 24 D’Olier St, Dublin 2, Ireland

도입

Introduction

이 방법을 사용하는 의료 연구자가 증가하면서 최근 들어 혼합 방법 연구가 건강관리 연구의 지배적인 패러다임으로 떠오르고 있다.

Mixed methods research is emerging as a dominant paradigm in health care research in recent years with an increase in health care researchers using this method.

따라서 보건 서비스 연구자들이 그들의 연구에서 혼합 방법 설계를 사용하는 것의 이점을 점점 더 확인하고 있는 것은 분명하다. 이것은 비교적 새로운 분야인 만큼, 혼합 방법 연구가 정확히 무엇이며, 의료 분야에서 연구자와 자금 제공자에게 어떤 이득이 되는지에 대한 논쟁과 혼란이 지속되고 있다.

It is clear therefore that health service researchers are increasingly identifying the benefits of using a mixed methods design in their research studies. As this is a relatively new area, debate and confusion persist as to what exactly constitutes mixed methods research and what are the benefits to researchers and funders in health care.

혼합 방법 설계의 정의

Definition of mixed methods design

혼합방법은 '조사자가 단일 연구에서 질적·정량적 접근법이나 방법을 사용하여 데이터를 수집하고 분석하며, 조사 결과를 통합하고, 추론을 도출하는 연구'로 정의할 수 있다(타샤끄코리와 크레스웰, 2007:4)

Mixed methods may be defined as ‘research in which the investigator collects and analyses data, integrates the findings and draws inferences using both qualitative and quantitative approaches or methods in a single study’ (Tashakkori and Creswell, 2007:4).

혼합 방법 연구는 질적 차원 및 양적 차원을 포함하는 연구지만, 연구자가 두 요소가 서로 어떻게 관련되는지 명확히 설명하려고 시도할 때 종종 어려움이 발생한다(Tashakkori와 Creswell, 2007). 무엇이 혼합 방법 연구를 구성하는지에 대한 연구자들 사이에 불일치가 있다(산델로프스키, 2001; 브라이먼, 2007; 타샤코리와 크레스웰, 2007). 일부 해석에서는 혼합된 방법을 양적 및 질적 데이터의 수집 및 분석으로 본다. 이 분야의 더 많은 현대 저술들은 두 접근방식의 완전한 통합의 중요성에 대한 이해를 발전시키기 위해 노력했다(Hanson, et al., 2005; Bryman, 2007; Creswell and Plano Clark, 2007).

A mixed methods study is one that includes a qualitative and quantitative dimension, but difficulties often arise when the researcher attempts to articulate how the two elements relate to one another (Tashakkori and Creswell, 2007). There is an inconsistency among researchers about what constitutes mixed methods research (Sandelowski, 2001; Bryman, 2007; Tashakkori and Creswell, 2007). Some interpretations view mixed methods as the collection and analysis of quantitative and qualitative data. More contemporary writings in this area had sought to develop an understanding of the importance of complete integration of the two approaches (Hanson, et al., 2005; Bryman, 2007; Creswell and Plano Clark, 2007).

존슨씨 외. (2007)은 이 연구 접근법이 계속 성장함에 따라 혼합 방법 연구의 정의가 시간이 지남에 따라 변화할 것이라고 제안한다.

Johnson, et al. (2007) suggest that the definition of mixed methods research will change over time as this research approach continues to grow.

패러다임 논쟁과 혼합 방법 연구

Paradigm debate and mixed methods research

연구자들은 (자신이 선택한) 패러다임 내에 연구를 locate할 것을 요구받는다. 모건(2007년: 47년)은 패러다임을 '현장을 인도하는 신념과 실천의 집합'으로 정의하며, 패러다임은 연구자의 신념을 요약하는 데 활용할 수 있다.

Researchers are urged to locate their research in a selected paradigm. Morgan (2007: 47) defines a paradigm as ‘the set of beliefs and practices that guide a field,’ and it can be used to summarise the beliefs of researchers.

무헌에서 세계관, 이론적 렌즈, 패러다임은 모두 상호 교환적으로 사용되는 용어들이다. 패러다임은 다음과 같이 구별되는 여러 요소에 의해 정의되는 세계관이다(Hanson, et al., 2005). 

• 인식론(우리가 알고 있는 것을 어떻게 알 수 있는가) 

• 온톨로지(실제의 특성), 

• 가치론(가치) 및 

• 방법론(연구 과정) (Hanson, et al., 2005).

The world view, theoretical lens and paradigm are all terms used interchangeably in the literature. Paradigm is a world view that is defined by distinct elements including 

• epistemology (how we know what we know), 

• ontology (nature of reality), 

• axiology (values) and 

• methodology (the process of research) (Hanson, et al., 2005). 

즉 패러다임의 차이는 우리가 (무엇인가를) 어떻게 알게 되는지, 현실에 대한 우리의 해석은 어떠한지, 연구에서의 가치와 방법론에 영향을 미친다.

In other words, paradigm differences influence how we know, our interpretation of reality and our values and methodology in research.

패러다임은 연구자들이 제기할 질문과 그 질문에 대답하기 위해 사용하는 방법에 영향을 미칠 것이다(Morgan, 2007). 연구자의 세계관은 그들이 서로 정렬하는 실증주의(양적) 패러다임이나 자연주의 또는 구성주의(질적) 전통에 의해 크게 영향을 받는다. 전통주의자들은 이러한 패러다임이 다르며 두 패러다임의 결합은 불가능하다고 주장할 것이다(샌델로프스키, 2001). 이 두 가지 연구 패러다임이 양립할 수 없는 것은 [양쪽 전통의 온톨로지적 자세와 인식론적 자세를 결합할 수 없기 때문이라는 가정]이 있다(구바와 링컨, 1988)

Paradigm will influence the questions that researchers will pose and the methods they employ to answer them (Morgan, 2007). The world view of the researcher is greatly influenced by the positivist (quantitative) paradigm or naturalistic or constructivist (qualitative) tradition to which they align themselves. Traditionalists would argue that these paradigms are different and a combination of the two is not possible (Sandelowski, 2001). There is an assumption that the research paradigms are not compatible because it is not possible to combine the ontological and epistemological stances of both traditions (Guba and Lincoln, 1988).

전통적으로, 연구자들은 [양적 방법과 관련된 실증주의적 과학적 연구 모델]과 [질적 방법과 관련된 해석적 모델] 사이에서 강제적인 선택을 해왔다(Howe, 1985) 역사적으로 보건의료연구에서의 접근법은 거의 전적으로 연구자가 객관적이고 편견이 없는 필요성을 전제로 한 양적 또는 실증주의적 전통을 따르고 있었으며, 많은 사람들에게 그것이 '표준gold standard'으로 간주된다. 

Traditionally, researchers have made a forced choice between the positivist scientific model of research associated with quantitative methods and the interpretative model associated with qualitative ones (Howe, 1985). Historically, the approach in health care research was nearly exclusively of the quantitative or positivist tradition which was predicated on the necessity for the researcher to be objective and unbiased, and for many, it is considered to be the ‘gold standard.’ 

실증주의는 하나의 현실이 존재하므로 객관적인 측정과 정량적 분석을 통해 인과관계를 규명하고자 한다고 주장한다(Firestone, 1987). 실증주의적 패러다임에서 연구자는 신중하게 구성된 가설을 시험하기 위해 더 큰 표본을 사용하여 독립적이고 객관적인 것으로 간주된다. 실증주의 전통에서의 지배적인 견해wisdom은 연구자가 탐구 과정에서 편견을 피하기 위해 (본인의) 가치를 제쳐둘 수 있다는 것이다.

Positivism contends that there is a single reality and therefore seeks to identify causal relationships through objective measurement and quantitative analysis (Firestone, 1987). In the positivist paradigm, the researcher is considered independent and objective using larger samples to test carefully constructed hypothesis. The prevailing wisdom is that the researcher in the positivist tradition can put aside values to avoid bias in a process of inquiry.

연구자들이 인간 경험의 맥락을 조사하려고 하면서 실증주의적 형태의 조사의 대안으로 구성주의 또는 질적 연구가 등장했다(Schwandt, 2000). 질적 패러다임은 최근 몇 년 동안 더 큰 관심을 받고 있으며, 때로는 자연주의적 탐구, 후-긍정적, 구성주의적 또는 해석적 접근법으로 설명되기도 한다(Creswell, 1994). 구성주의는 (어떤 연구에서든) 다양한 현실과 다른 해석이 나올 수 있다고 제안한다(Appleton and King, 2002).

Constructivism or qualitative research emerged as an alternative to the positivist form of inquiry as researchers sought to examine the context of human experience (Schwandt, 2000). The qualitative paradigm is receiving greater attention in recent years and is sometimes described as the naturalistic inquiry, post-positive, constructivist or interpretative approaches (Creswell, 1994). Constructivism proposes that there are multiple realities and different interpretations may result from any research endeavour (Appleton and King, 2002).

구성주의적 패러다임을 가진 연구자들은 타인의 경험에 대한 상세한 설명 과정을 통해 타인의 현실을 조명하고자 한다(Appleton and King, 2002). 해석적 패러다임에서, 연구자는 더 작은 표본에서 무슨 일이 일어나고 있는지 더 깊이 이해하는데 초점을 두고 주관적이다.

Researchers who work within the constructivist paradigm seek to illuminate the reality of others through the process of detailed descriptions of their experiences (Appleton and King, 2002). In the interpretative paradigm, the researcher is subjective with the focus directed at deeper understanding of what is happening with a smaller sample.

연구자가 연구에 몰두하는 구성주의적 패러다임에서와 달리, 실증주의적 관점에서 연구자는 연구 성과는 분리되어detached 있기에 연구자의 가치에 의해 편향되지 않는다는 것이다(Firestone, 1987년). 이것이 의미하는 바는 논리적 실증주의가 객관적이고 반면에 자연주의적인 조사는 주관적이라는 것이다. 하지만 Howe(1985)는 어떤 연구도 가치 판단에서 자유롭지 못하며 '가치를 가둬두려는bracket 시도'(p. 12)는 더 음흉한 편견을 낳을 뿐이라고 강하게 주장한다.

The positivist viewpoint is that the research outcomes are not biased by the values of the detached positivist researcher unlike in the constructivist paradigm where the researcher is immersed in the research (Firestone, 1987). The assumption is that logical positivism is objective, whereas the naturalistic inquiry is subjective. Howe (1985) argues strongly that no research endeavour is free from value judgments and an ‘attempt to bracket values’ (p. 12) only produces more insidious bias.

질적 연구와 양적 연구가 차별화될 수 있는 주요 방법 중 하나는 귀납과 연역의 구별이다(Morgan, 2007). 양적 연구의 단순화된 견해는 객관적인 추론 과정인 반면에 질적 과정은 주관적이고 맥락으로만 볼 수 있는 연역적 과정이라는 것이다(Morgan, 2007).

One of the key ways that qualitative and quantitative research may be differentiated is the distinction between induction and deduction (Morgan, 2007). The simplistic view of quantitative research is that it is an objective process of deduction whereas the qualitative process is subjective and a process of induction that can only be viewed in context (Morgan, 2007).

그것을 묘사할 때 사용되는 혼합된 방법과 언어의 분야는 비교적 새로운 것이다.

The field of mixed methods and language used to describe it is relatively new.

양적 대 질적 논쟁은 두 접근법이 상호 배타적이라는 착각을 낳았다(샌델로스키, 2001). 연습 훈련은 때때로 지나치게 '방법론적 곡예'에 관심을 갖는다(산델로프스키, 2001: 335). 일부 연구자들은 패러다임 간의 경쟁이 도움이 되지 않는다고 믿고 있으며, 전통적인 경쟁 관계가 유용하게 결합될 수 있는 방법에 초점을 맞추고 있다(Sale, et al., 2002; Stevenson, 2005). 혼합방법은 정량적 위치와 질적 위치 사이의 격차를 해소할 수 있는 제3의 패러다임이 될 수 있다고 제안된다(Johnson과 Onwuegbuzie, 2004).

Quantitative versus qualitative debates have resulted in an illusion that the two approaches are mutually exclusive (Sandelowski, 2001). The practice disciplines are sometimes overly concerned with ‘methodological acrobatics’ (Sandelowski, 2001: 335). Some researchers believe that competition between paradigms is not helpful, and focus on ways in which traditional rivalries may be usefully combined (Sale, et al., 2002; Stevenson, 2005). It is proposed that mixed methods may be the third paradigm, capable of bridging the gap between the quantitative and qualitative positions (Johnson and Onwuegbuzie, 2004).

혼합 방법 연구는 연구 과정 전반에 걸쳐 질적 접근과 질적 접근의 혼합을 가능하게 하는 철학적 가정에 의해 유도된다(Hanson, et al., 2005). 실용주의 철학은 그 결과들이 과정보다 더 중요하며 따라서 '끝이 수단을 정당화한다'는 개념을 발전시켰다. 실용주의 철학은 연구자들이 연구 질문에 대답하기 위해 어떤 것이 작용하는지 자유롭게 결정할 수 있도록 '절충주의'와 '연구 방법과 개념 선택에 대한 필요 기반 또는 우발적 접근'을 옹호한다(Johnson and Onwuegbuzie, 2004: 17).

Mixed methods research is guided by philosophical assumptions that enable the mixing of qualitative and qualitative approaches throughout the research process (Hanson, et al., 2005). The philosophy of pragmatism advanced the notion that the consequences are more important than the process and therefore that ‘the end justifies the means’. It advocates eclecticism and ‘a needs-based or contingency approach to research method and concept selection’ (Johnson and Onwuegbuzie, 2004: 17), so that researchers are free to determine what works to answer the research questions.

연구에 대한 실용적인 접근법에서는 탐구 과정에서 귀납과 연역 사이를 왔다 갔다 할 수 있는 abduction 과정이 권장된다(Morgan, 2007).

The pragmatic approach to research: a process of abduction is recommended which enables one to move back and forth between induction and deduction through a process of inquiry (Morgan, 2007).

존슨과 Onwuegbuzie(2004)는 혼합 방법 연구 분야가 양적 대 질적 논쟁을 넘어설 것이라는 포부를 공유하고 있다. 그 대신, 앞으로는 두 패러다임의 유용성을 인식하고 이러한 접근방식이 서로의 장점을 극대화하고 약점을 최소화하기 위해 한 연구에서 함께 사용될 수 있는 방법을 확인하는 데 초점을 맞출 것이라고 본다. 그들은 더 나아가 non-purist 입장을 취하여, 연구자들이 그들의 특정한 연구 질문에 대답할 수 있는 가장 좋은 기회를 제공할 수 있는 방법을 결합하여 연구를 설계해야 한다고 주장한다.

Johnson and Onwuegbuzie (2004) share their aspirations that the field of mixed methods research will move beyond quantitative versus qualitative arguments and will instead focus on recognising the usefulness of both paradigms and identifying how these approaches can be used together in a single study to maximise the strengths and minimise the weaknesses of each other. They further contend that taking a non-purist position allows researchers to design research studies that combine methods that will offer the best chance of answering their specific research questions.

혼합 방법 연구의 근거

The rationale for mixed methods research

혼합 방법 연구 연구를 수행한 많은 이유가 확인되었다. 혼합 방법 연구를 수행하기 위해 제안된 주요 합리성 또는 편익은 다음과 같다.

Many reasons have been identified for conducting a mixed methods research study. The main rationales or benefits proposed for undertaking a mixed methods study are as follows:

삼각측량: 이것은 양적 데이터와 질적 데이터 사이의 확증을 추구함으로써 연구에서 더 큰 유효성을 허용한다.

• Triangulation: this allows for greater validity in a study by seeking corroboration between quantitative and qualitative data.

완전성: 연구 접근법을 조합하여 사용하면 연구 현상에 대한 보다 완전하고 포괄적인 그림을 얻을 수 있다.

• Completeness: using a combination of research approaches provides a more complete and comprehensive picture of the study phenomenon.

약점을 상쇄하고 더 강한 추론을 제공: 많은 저자들은 혼합된 방법 접근법을 사용하면 각 접근법의 한계를 무력화시킬 수 있으며, 강점이 구축되어 더 강하고 정확한 추론을 제공할 수 있다고 주장한다(Bryman, 2006; Creswell, et al., 2003).

• Offsetting weaknesses and providing stronger inferences: many authors argue that utilising a mixed methods approach can allow for the limitations of each approach to be neutralised while strengths are built upon thereby providing stronger and more accurate inferences (Bryman, 2006; Creswell, et al., 2003).

다양한 연구 질문에 답변: 크레스웰과 플라노 클라크(2007)는 혼합 방법 연구가 정량적 또는 정성적 방법만으로 대답할 수 없는 연구 질문에 대답하는 데 도움이 되며 연구의 목적과 목적을 충족시키기 위한 더 큰 도구 레퍼토리를 제공한다고 주장한다. 게다가, 세일, 외. (2002) 현상의 복잡한 특성과 요구되는 관점의 범위 때문에 간호와 같은 분야에서 연구 접근법의 조합이 어떻게 유용한지를 확인한다.

• Answering different research questions: Creswell and Plano Clark (2007) argue that mixed methods research helps answer the research questions that cannot be answered by quantitative or qualitative methods alone and provides a greater repertoire of tools to meet the aims and objectives of a study. Furthermore, Sale, et al. (2002) identify how a combination of research approaches is useful in areas such as nursing because of the complex nature of phenomena and the range of perspectives that are required.

결과의 설명: 혼합 방법 연구는 한 연구 접근법(즉, 양적 또는 질적)을 사용하여 다른 연구 접근법을 사용하여 연구에서 생성된 데이터를 설명할 수 있다. 이것은 예상치 못한 또는 특이한 발견이 나타날 때 특히 유용하다. 예를 들어, 정량적 조사의 결과는 조사 대상의 표본과 인터뷰를 수행하여 얻은 결과에 대한 이해를 얻음으로써 추적되고 설명될 수 있다.

• Explanation of findings: mixed methods studies can use one research approach (i.e., quantitative or qualitative) to explain the data generated from a study using the other research approaches. This is particularly useful when unanticipated or unusual findings emerge. For example, findings from a quantitative survey can be followed up and explained by conducting interviews with a sample of those surveyed to gain an understanding of the findings obtained.

데이터의 예시: 정량적 발견을 설명하기 위해 정성적 연구 접근법을 사용하는 것은 조사 중인 현상에 대한 더 나은 그림을 그리는 데 도움이 될 수 있다. 브라이먼(2006)은 이것이 건조한 양적 데이터의 '뼈에 붙은 고기'를 넣는 것과 비슷하다고 주장한다.

• Illustration of data: using a qualitative research approach to illustrate quantitative findings can help paint a better picture of the phenomenon under investigation. Bryman (2006) suggests that this is akin to putting ‘meat on the bones’ of dry quantitative data.

가설의 개발 및 시험: 후속 정량적 단계에서 시험할 가설을 개발하기 위해 연구의 질적 단계가 수행될 수 있다.

• Hypotheses development and testing: a qualitative phase of a study may be undertaken to develop hypotheses to be tested in a follow-up quantitative phase.

도구 개발 및 시험: 정성적 연구는 연구의 정량적 단계에서 사용될 설문지에 포함하기 위한 항목을 생성할 수 있다.

• Instrument development and testing: a qualitative study may generate items for inclusion in a questionnaire to be used in a quantitative phase of a study.

이러한 점들은 특정 연구 질문에 대답할 때 혼합된 방법 연구 접근법이 가질 수 있는 유용성을 식별한다. 그러나 혼합 방법 연구가 연구 펀딩 유치 측면에서 더 실질적인 이익을 얻을 수 있다는 점에 주목했다(Gidding, 2006).

These points identify the usefulness that a mixed methods research approach can have in answering a particular research question(s). However, it has been noted that mixed methods research may have more practical benefits in terms of attracting research funding (Giddings, 2006).

혼합방법의 유형론

Typology of mixed methods

타샤크코리와 테들리(2003년: 680년)는 typology의 결정은 "혼합된 방법론에서 가장 복잡하고 논란이 많은 문제들 중 하나"라고 말한다. 혼합 방법의 유형론을 갖는 주요 이점은 방법론에 관한 엄격한 전달, 혼합 방법 연구에 대한 지침 제공 및 언어 개발 지원이다(Bryman, 2006; Teddlie와 Tashakkorri, 2006). 

Tashakkori and Teddlie (2003: 680) state that the determination of a typology is “among the most complex and controversial issues in mixed methodology.” The main advantages of having a typology of mixed methods include 

• the conveying rigor regarding the methodology, 

• providing guidance and 

• assisting in the development of language for mixed methods research (Bryman, 2006; Teddlie and Tashakkorri, 2006). 

본 논문에서는 크레스웰과 플라노 클라크(2007)와 리치, 온웨그부지(2007)가 개발한 최근 분류 체계 2가지가 윤곽을 드러낼 예정이다.

In this paper, two recent classification systems developed by Creswell and Plano Clark (2007) and Leech and Onwuegbuzie (2007) will be outlined.

방법론을 결정할 때 첫 번째 질문은 [연구 질문에 가장 적합한 접근법]을 확인하는 것이다. 이는 모든 연구자가 해결해야 할 근본적인 문제로서 크레스웰과 플라노 클라크(2007)는 연구를 수행하기 위한 혼합 방법 접근법의 선택을 정당화하는 것이 중요하다고 강조해 왔다.

The first question when deciding on methodology is to ascertain which approach will best suit the research question. This is a fundamental issue that all researchers need to address, and Creswell and Plano Clark (2007) have stressed the importance of justifying the selection of a mixed methods approach to conduct research.

크레스웰과 플라노 클라크(2007)는 특정한 유형의 혼합 방법 설계를 선택하기 전에 내려야 할 세 가지 주요 결정이 있다고 제안하고, 그림 1은 고려해야 할 주요 이슈를 식별하는 의사결정 트리를 요약한다.

Creswell and Plano Clarke (2007) suggest that there are three major decisions to make before selecting a particular type of mixed methods design, and Figure 1 outlines a decision tree that identifies the main issues that need to be considered.

• 첫 번째 결정은 질적 단계와 양적 단계를 동시에 또는 순차적으로 수행하는 것에 관한 것이다. 

• 두 방법 모두 동등한 우선순위를 부여받는지 결정하는 것도 중요한 결정이다. 

• 세 번째 쟁점은 질적 방법과 양적 방법의 혼합이 어디에서 일어날 것인지를 확인하는 것이다.

• The first decision to be made is regarding conducting the qualitative and quantitative stages concurrently or sequentially. 

• Deciding whether both the methods are given equal priority is another key decision. 

• The third issue is to ascertain where the mixing of the qualitative and quantitative methods will occur.

크레스웰과 플라노 클라크(2007)는 기능적이고 편협한 것으로 묘사하고 4가지 주요 유형의 혼합 방법 연구를 식별하는 혼합 방법 설계의 유형학을 개발했다(그림 2).

Creswell and Plano Clark (2007) have developed a typology of mixed methods designs, which they describe as being functional and parsimonious, and which identifies four main types of mixed methods research (Figure 2).

삼각측량 설계는 가장 보편적이고 잘 알려진 설계로, 이것은 이전에는 동시 삼각측량 설계로 알려져 있었다(Creswell, et al., 2003). 정량적 단계와 질적 단계는 동시에 발생하며, 두 방법 모두 대개 동일한 가중치를 부여한다.

The triangulation design is the most common and well-known design, and this was previously known as the concurrent triangulation design (Creswell, et al., 2003). The quantitative and qualitative phases occur at the same time, and both the methods are usually given equal weighting.

삼각측량 설계의 전통적인 모델은 해석 단계에서 통합이 일어나는 수렴 모델이다.

The traditional model of triangulation mixed methods design is the convergence model where integration occurs during the interpretation phase.

데이터 변환 모델 내에서 정량적 데이터와 정성적 데이터를 동시에 수집하고, 초기 분석 후에는 정성적 데이터를 정량화하거나 정량적 결과를 선별하여 데이터를 변환한다.

Within the data transformation model, the quantitative and qualitative data are collected concurrently, and after the initial analysis, the data are transformed either by quantifying qualitative data or by qualifying quantitative results.

Creswell과 Plano Clark(2007)는 측량 기구에 대한 개방된 질적 질문의 사용을 검증된 정량적 데이터 삼각형 혼합 방법 설계로 설명한다.

Creswell and Plano Clark (2007) describe the use of open-ended qualitative questions on a survey instrument as a validated quantitative data triangulation mixed methods design.

삼각측량 설계의 다단계 연구 모델 변동은 연구의 초점이 시스템에 맞춰져 있고 다른 수준을 다루기 위해 다른 방법을 사용할 때 사용된다.

The multi-level research model variation of the triangulation design is used when the focus of the study is on a system and different methods are used to address the different levels.

삼각측량은 4대 연구 설계 중 가장 어려운challenging 설계로 보고 있으며, 이러한 형태의 연구 설계를 구현하기 위해 연구팀을 사용하는 경우가 많다.

Triangulation is viewed as the most challenging design of the four main research designs, and research teams are often used to implement this form of research design.

카라첼리와 그린(1997년)에 의해 처음 설명된 임베디드 디자인은 (양적 또는 질적 둘 중) 하나가 지배적인 방법인 , 다른 데이터 세트는 보조적 또는 지원적 역할을 제공한다.

The embedded design, first described by Caracelli and Greene (1997), is characterised by having one dominant method, whereas the other data set provides a secondary or supportive role.

임베디드 실험 모델은 임베디드 설계의 가장 일반적인 변형이며, 정량적 방법론에 우선권이 주어지며, 정성적 데이터 세트는 서브시스템(Creswell and Plano Clark, 2007)이다. 질적 요소의 목적 중 하나는 개입의 과정을 조사하는 것일 수 있다. 임베디드 실험 모델은 이전에 동시 중첩 혼합 방법 설계로 알려져 왔다(Creswell, et al., 2003).

The embedded experimental model is the most common variant of the embedded design, and the priority is given to the quantitative methodology, and the qualitative data set is subservient (Creswell and Plano Clark, 2007). One of the purposes of the qualitative component may be to examine the process of the intervention. The embedded experimental model has been previously known as the concurrent nested mixed methods design (Creswell, et al., 2003).

임베디드 설계의 또 다른 variation은 상관관계 모형의 결과를 설명하기 위해 정성적 데이터가 정량적 설계 내에 포함된 상관관계 모형이다. 내장된 설계 내에서, 방법은 동시에 또는 순차적으로 수행될 수 있다.

The last variation of the embedded design is the correlational model where the qualitative data are embedded within a quantitative design to help explain the outcomes of the correlation model. Within the embedded designs, the methods may be conducted concurrently or sequentially.

설명적 설계explanatory design는 순차적 설명 설계로 정량적 단계부터 시작하여 정성적 단계로 구성되며, 정량적 결과를 설명하거나 강화하는 것을 목적으로 한다. 그림 2는 설명 설계의 두 가지 변형을 개괄한다.

The explanatory design previously described by Creswell, et al., (2003) as sequential explanatory design consists of two phases, beginning with the quantitative phase and then the qualitative phase, which aims to explain or enhance the quantitative results. Figure 2 outlines the two variants of the explanatory design

후속 설명 모델 내에서, 연구자는 (그룹 간의 차이 또는 예기치 않은 결과, 특이사항과 같은) 구체적인 양적 발견을 식별하고, 이에 대하여 질적 방법론을 사용하여 추가적인 탐사를 진행한다.

Within the follow-up explanatory model, the researcher identifies specific quantitative findings, such as unexpected results, outliers or differences between groups that need further exploration using qualitative methodology.

이와는 대조적으로 참가자 선정 모델에서는 질적 단계가 우선순위를 가지며, 정량적 단계의 목적은 참가자를 식별하고 의도적으로 선정하는 것이다. 설명 설계는 순차적 성격으로 인해 (연구 진행 기간이 더 길어야 하지만) 네 가지 구현 방법 중 가장 쉬운 것으로 간주된다.

In contrast, the qualitative phase has priority in the participant selection model, and the purpose of the quantitative phase is to identify and purposefully select participants. The explanatory design requires a longer implementation time due to the sequential nature but is regarded as the easiest of the four methods to implement.

탐색적 설계는 첫 단계인 질적 설계가 정량적 단계의 개발에 도움이 되는 순차적 설계다.

The exploratory design is a sequential design where the first phase, qualitative, helps in the development of the quantitative phase.

크레스웰, 외 (2003)은 이 설계를 순차적 탐색적 설계라고 설명했다. 이 설계(그림 2 참조)는 도구개발 모델(도구개발 모델) 또는 분류 체계(택시 개발 모델) 개발에 사용된다. 도구 개발모형의 양적 실체에 우선권이 주어진다.

Creswell, et al. (2003) described this design as sequential exploratory design. This design (see Figure 2) is used for developing and testing instruments (Instrument Development Model) or for developing a taxonomy (Taxonomy Developmental Model). Priority is given to the quantitative entity in the instrument development model.

리치와 Onwegbuzie(2007)는 3가지 기준을 사용하여 혼합 방법 설계의 3차원 유형론을 개발하며, 여기에는 혼합 수준, 시간 방향 및 접근방식의 강조가 포함된다.

Leech and Onwuegbuzie (2007) use three criteria to develop their three dimensional typology of mixed methods design, and these include the level of mixing, time orientation and emphasis of approaches.

부분적으로 혼합된 연구는 데이터 해석 단계에서 혼합이 발생하기 전에 질적 단계와 양적 단계를 모두 독립적으로 수행하는 연구로 설명된다.

Partially mixed studies are described as those studies where both the qualitative and quantitative phases are conducted independently before mixing occurs at the data interpretation stage.

이와는 대조적으로 완전히 혼합된 방법 설계는 연구 목표, 데이터 유형, 분석 및 추론 중 하나 또는 전체에서 혼합이 발생한다.

In contrast, fully mixed methods designs have mixing occurring in either one or all of the following: the research objective(s), the types of data, analysis and inference.

그림 3

Figure 3

• 첫 번째 단계는 연구를 부분적으로 또는 완전히 혼합된 설계로 구분하고, 

• 두 번째 단계는 데이터 수집의 서로 다른 단계의 타이밍을 결정하고, 

• 세 번째 단계는 방법론이 선택한 설계 내에서 동등한 지위를 부여받는지 여부를 결정한다.

• The first layer differentiates the studies into either partially or fully mixed designs, 

• the second decides on the timing of the different phases of data collection, and 

• finally whether each methodology is given equal status within the chosen design.

 표 1.

 Table 1

이 분류 체계는 간단하고 이해하기 쉬우며 삼각측량이라는 단어의 사용을 피한다. 삼각측량이라는 용어는 여러 가지 의미가 귀속되는 것으로 샌델로우스키(2003)는 의미가 전혀 없을 정도로 많이 사용됐다고 주장한다. 이 분류 체계의 주된 한계는 혼합된 방법을 부분적으로 혼합된 연구와 완전히 혼합된 연구로 나누는 것이다.

This classification system is simple and easy to understand and avoids the use of the word triangulation. The term triangulation is one to which many meanings are attributed, and Sandelowski (2003) argues that it has been used so much that it has no meaning at all. The major limitation to this classification system is the division of mixed methods into partially mixed and fully mixed studies.

리치와 Onwuegbuzie(2007:3)는 부분 혼합 설계를 '단층 설계와 완전 혼합 방법 설계 사이의 어딘가에 점유하는 지역'이라고 설명한다. 저자들은 '부분적으로 혼용'과 '완전히 혼용'과 같은 문구를 사용하지 않을 수 있으며 '해석 단계에서의 통합'이라는 문구가 '부분적으로 혼합된 연구 설계'를 대체할 수 있다고 제안한다.

Leech and Onwuegbuzie (2007:3) describe partially mixed designs as ‘occupying regions somewhere between monomethod designs and fully mixed methods designs.’ The authors would suggest that the use of phrases such as ‘partially mixed’ and ‘fully mixed’ may be avoided and that the phrase ‘integration at the interpretation phase only” may be substituted for partially mixed research designs.

혼합 방법 연구의 한계

The limitations of mixed methods research

(혼합연구에 대한) 비판의 많은 부분은 비호환성 논제, 즉 양적 연구 방법과 질적 연구 방법이 매우 다른 존재론적 및 인식론적 기원을 가지고 있기 때문에 단일 연구에서 혼합될 수 없다는 믿음에 초점을 맞추고 있다. 방법론적 순수주의자들은 세계관과 연구 방법의 이분법을 강하게 믿고 있으며(Creswell과 Plano Clark, 2007) 따라서 양적 접근법과 질적 접근법의 결합에 반대한다고 주장한다.

Many of these criticisms focus on the incompatibility thesis, that is, the belief that quantitative and qualitative research methods cannot be mixed in a single study as they have such different ontological and epistemological origins. Methodological purists believe strongly in the dichotomy of world views and research methods (Creswell and Plano Clark, 2007) and therefore argue against the combination of quantitative and qualitative approaches.

구바(1987년:31)는 "지구가 둥글다고 믿는 경우 지구가 편평하다는 믿음을 완전히 배제하는 것과 (양적-질적 이분법은) 상대를 배제한다"고 명시함으로써 패러다임 사이의 이분법의 범위를 분명히 강조했다. 결과적으로, 세일 등은 (2002) 두 패러다임 사이의 근본적인 가정을 간과하고 불분명한 차이점을 보완한 신세대 연구자들이 혼합 방법 연구를 무비판적으로 수용하지 않도록 주의한다.

Guba (1987: 31) had clearly identified the extent of the dichotomy between the paradigms by stating how “the one precludes the other just as surely belief in a round world precludes belief in a flat one.” Consequently, Sale, et al. (2002) caution against the uncritical acceptance of mixed methods research by a new generation of researchers who have overlooked the underlying assumptions and incommensurate differences between the two paradigms.

그러나 온웨그부지(2002)는 실증주의 철학과 사후 실증주의 철학 사이의 이분법에 대한 순수주의자들의 견해는 사실 잘못된 이분법이라고 주장한다. 오히려 Onwuegbuzie(2002년)는 실증주의 철학과 비포시주의 철학이 중간지점을 차지하고 있는 혼합된 방법 연구가 있는 인식론적 연속체에 놓여 있음을 시사한다. 이와 비슷하게, Howe(1988)는 비호환성에 대한 주장에 반대하며, 대신 연구자들이 실용적인 접근법을 채택하고 '무엇이 작용하는가'를 추진해야 한다고 제안한다.

However, Onwuegbuzie (2002) argues that the purists’ view of the dichotomies between positivist and post-positivist philosophies are in fact false dichotomies. Rather, Onwuegbuzie (2002) suggests that positivist and nonpositivist philosophies lie on an epistemological continuum with mixed methods research occupying the middle ground. Similarly, Howe (1988) argues against the incompatibility thesis and instead suggests that researchers should adopt a pragmatic approach and forge ahead with ‘what works.’

혼성 방법 연구에 열성적인 신봉자인 메르텐스(2003)는 대부분의 혼합 방법 연구가 바탕이 되는 실용주의 철학에 대해 몇 가지 의문을 제기한다. 그녀는 [실용주의] 또는 ['무엇이 작용하는가']에만 관심을 두어 방법론적 선택을 하는 것이 '누구를 위해 어떤 목적을 위해 실용적인가?'라는 질문에 대답하지 않기 때문에 부적절하다고 주장한다.

Mertens (2003) who herself is an avid believer in mixed methods research poses some questions about the pragmatist philosophy upon which most mixed methods research is based. She argues that basing methodological choices solely on pragmatics or ‘what works’ is inadequate as it does not answer the question ‘practical for whom and to what end?’

타샤크코리와 테디(2003)는 실용주의 전통에 속하는 연구자들이 '연구 질문의 독재'라고 부르는 것을 준수한다고 주장하는데, 이는 [연구 질문]을 [(연구 질문의) 토대가 되는 방법이나 패러다임]보다 더 중요하게 여긴다는 것을 의미한다.

Tashakkori and Teddie (2003) argue that researchers within the pragmatist tradition abide by what they term ‘the dictatorship of the research question’, meaning they consider the research question to be more important than either the method or the paradigm that underlies it.

혼합 방법 접근법의 다른 비판이나 약점은 본질적으로 더 현실적인 문제를 지적한다. 존슨과 Onwuegbuzie(2004)는 정성적 단계와 정량적 단계를 동시에 수행할 경우 한 명의 연구자가 혼합된 방법 연구를 수행하기가 어려울 수 있다고 제안한다. 이 경우, 연구팀이 필요할 수 있다. 이반코바, 외. (2006) 순차적 연구도 연구의 뚜렷한 단계를 수행하는 데 상당한 시간과 자원이 소요될 수 있기 때문에 단점이 있음을 확인한다.

Other criticisms or weaknesses of a mixed methods approach are more practical in nature. Johnson and Onwuegbuzie (2004) suggest that it may be difficult for one researcher to carry out a mixed methods study if the qualitative and quantitative phases are to be undertaken concurrently. In this case, a research team may be required. Ivankova, et al. (2006) identify that sequential studies also have drawbacks as it may take considerable time and resources to undertake distinct phases of a study.

혼합 방법 연구 내에서는 연구자가 적어도 양적 방법과 질적 방법 모두에 대해 독립적으로 충분한 지식을 가지고 있고, 좋은 연구 결과를 얻기 위해 이러한 방법을 적절하게 혼합하는 방법을 가지고 있다는 요구사항도 있다.

Within a mixed methods study, there is also a requirement that the researcher has at least a sufficient knowledge of both quantitative and qualitative methods independently and how to mix these methods appropriately to achieve good study outcomes.

결론

Conclusion

혼합 방법 연구는 현재 제3의 방법론적 움직임으로 간주되고 있으며 건강과 사회과학 연구를 제공할 것이 많은 접근법으로 간주되고 있다. (연구의) 접근 방식을 혼합하는 목적은 연구 문제에 대한 보다 완전한 이해를 얻을 수 있는 기회를 제공하는 것이다(Creswell and Plano Clark, 2007). 연구원들은 혼합 방법을 통해 인간 현상의 복잡성을 포착할 수 있을 것으로 예상한다(샌델로스키, 2001). 

Mixed methods research is now viewed as the third methodological movement and as an approach that has much to offer health and social science researches. The purpose of mixing approaches is to afford opportunity to gain a more complete understanding of research problems (Creswell and Plano Clark, 2007). Researchers anticipate that mixing methods will enable them to capture the complexity of human phenomena (Sandelowski, 2001). 

혼합 방법 연구는 다양한 이해 관계자들의 연구에 대한 관심과 요구에 대응한다. 그린(2005년: 209년)은 '혼합된 방법 접근법은 (의사결정자의 의제에 대응하고자할 때) 단일 방법보다 더 큰 가능성을 제공하며, 다른 합법적 이해관계자에게도 이익이 된다'고 제안함으로써 명확히 확인된다. 헬스케어에서, 혼합 방법을 사용함으로써 의료 정책을 결정하고자 하는 의사결정자들에게 하드 데이터를 제공하고자 한다. 

Mixed methods research responds to the interests and needs of diverse stakeholders in research. This is clearly identified by Greene (2005: 209) who suggests that ‘a mixed method approach offers greater possibilities than a single method approach for responding to decision makers agenda, as well as to the interests of other legitimate stakeholders.’ In health care, the selection of mixed methods as a methodology seeks to provide hard data for the decision makers who seek to determine health care policy. 

혼합 방법 연구는 헬스케어에서 outcome을 강조하는 거에 대한 반응이지만, 그러한 결과의 맥락에 대해서도 보고할 수 있다. 크레스웰과 플라노 클라크(2007)는 간호 분야 내에서 혼합 방법 연구가 논의되고 광범위하게 사용되었음을 확인했다. 마찬가지로 트윈(2003: 553)은 "(혼합 방법이) 간호 분야에서 자주 직면하는 복잡한 건강 문제를 해결할 수 있는 적절한 방법론을 설계가 제공한다는 인식이 증가하고 있다"고 제안한다. 간호학 연구자들은 혼합 방법 연구의 강점을 인정하고 제한함으로써 창조적이고 상상적인 방법으로 이러한 '복잡한 건강 문제'를 해결할 수 있다.

Mixed method research responds to the pressures for outcomes in healthcare, but it can also report on the context of those outcomes. Creswell and Plano Clark (2007) have identified that within the nursing discipline, mixed methods research has been discussed and used extensively. Similarly, Twinn (2003: 553) suggests that “there is growing acceptance that the design provides an appropriate methodology to address the complex health problems frequently faced by the nursing discipline”. By building on the strengths, acknowledging and limiting the weaknesses of mixed methods research, nurse researchers can address these ‘complex health problems’ in a creative and imaginative way.

An overview of mixed methods research – revisited

Louise Doyle, Anne-Marie Brady, Gobnait Byrne

First Published December 20, 2016 Research Article

https://doi.org/10.1177/1744987116674257

의학교육의 지식통합(Knowledge Syntheses): 스코핑 리뷰의 신화 벗기기(Acad Med, 2017)

Knowledge Syntheses in Medical Education: Demystifying Scoping Reviews

Aliki Thomas, PhD, OT, Stuart Lubarsky, MD, MHPE, Steven J. Durning, MD, PhD, and Meredith E. Young, PhD

보건직업 교육(HPE)계는 전례 없는 연구활동의 증가를 목격하고 있다. 출판된 HPE 연구가 꾸준히 증가하고 있는 것을 볼 때(원래 연구에서부터 의견 조각에 이르기까지), HPE 학자들이 지식 합성물을 수행하고 보급해야 한다는 강박감이 점점 커지고 있는 것은 놀라운 일이 아니다. Knowledge synthesis란 주어진 주제에 대한 더 큰 지식체body of knowledge 내에서 개별 연구 연구의 맥락화 및 통합을 위한 재현 가능하고 투명한 양적 또는 질적 접근법을 말한다.

The health professions education (HPE) community is witnessing an unprecedented rise in research activity.1 Given the steady upsurge in published HPE research (ranging from original research to opinion pieces), it is not surprising that HPE scholars are feeling increasingly compelled to conduct and disseminate knowledge syntheses—reproducible, transparent quantitative or qualitative approaches for contextualizing and integrating research findings across individual research studies within the larger body of knowledge on a given topic.2

우리의 목표는 한 가지 특정한 방법의 특성, 목적, 가치 및 적절한 사용을 검토하는 것이다.

our objective is to examine the nature, purpose, value, and appropriate use of one particular method: scoping reviews,

스코핑 리뷰의 특성과 목적

Nature and Purpose of Scoping Reviews

스코핑 리뷰는 사회과학에서 처음 나타났는데, 사회과학자들은 프로토콜-기반 체계적 문헌고찰 방법이 사회과학자들이 대답하고자 하는 광범위한 질문(예를 들어 "X에 대해 알려진 것은 무엇인가?" 또는 "X전략은 어떻게 사용되는가?" 등)에 대해 답하기에는 너무 좁고 규범적인 것으로 생각했다6

Scoping reviews first emerged in the social sciences, where protocol-driven systematic review methods were deemed too narrow and prescriptive for the broad questions social scientists sought to answer, such as “What is known about X?” or “How are X strategies used?”6

새로운 유형의 연구 방법론을 개발하려는 동력은 부분적으로 [지식의 현재 상태의 gap을 노출시킬 필요성]으로부터, 그리고 부분적으로 학문적, 정치적 이유 모두를 위해 다른 사회과학 분야의 [기존 증거에 대한 포괄적인 지도를 제공]할 필요에서 비롯되었다. 따라서 사회과학 연구자들은 (하나의 경직된 사전 설정된 프로토콜에 의해 결정되는 것이 아니라) 반복적이고 유연한 새로운 합성 과정을 만들기로 결정했다.

The drive to develop a new type of research methodology was partly borne out of the need to expose gaps in the current state of the knowledge, and partly out of the need to furnish a comprehensive map of the existing evidence from different social science disciplines for both academic and political reasons. Researchers in the social sciences, therefore, decided to create a new synthesis process that was iterative and flexible, rather than determined by a single rigid, preset protocol.

현재, 스코핑 리뷰는 주제에 대한 기존 연구 결과를 수집, 평가 및 제시하기 위해 사용되는 지식 합성물이다.8-10 표 1은 스코핑 리뷰의 두 가지 주요 프레임워크를 포함하고 있다.

In their present form, scoping reviews are knowledge syntheses used to collect, evaluate, and present findings from existing research on a topic.8–10 Table 1 contains two major frameworks for scoping reviews:

Arcsey 및 O'Malley11 프레임워크는 6단계로 구성된다(표 1에 자세히 설명됨).

• (1) 연구 질문을 식별

• (2) 관련 연구 파악과 협의 

• (3) 검토에 포함될 연구의 주요 이해관계자 선정 

• (4) 데이터 차트 작성 

• (5) 결과의 수집, 요약 및 보고 

• (6) 학습자 그룹, 관리자(예: 교육과정 위원회 학부 및 의장) 및 교육 정책에 관련된 개인 등 주요 이해 관계자(선택적 단계)와 협의

The Arksey and O’Malley11 framework consists of six steps (outlined in detail in Table 1):

• (1) identifying the research question; 

• (2) taking consultations with identifying relevant studies; 

• (3) selecting key stakeholders the studies to be included in the review; 

• (4) charting the data; 

• (5) collating, summarizing, and reporting the results; and 

• (6) undertaking consultations with key stakeholders (optional step), including learner groups, administrators (such as deans and chairs of curriculum committees), and individuals involved in educational policy.

후속 논문에서, Levac과 동료 9는 방법론을 강화하기 위한 몇 가지 권고안을 제안했다(표 1 참조).

In a subsequent paper, Levac and colleagues9 proposed several recommendations for enhancing the methodology, (see Table 1).

지식 통합에 대한 유연하면서도 엄격하고 포괄적인 접근방식을 제공함으로써, 범위 검토는 여러 가지 주요 목적을 제공할 수 있다.

• (1) 주어진 분야의 연구 활동의 범위 및 성격을 검토

• (2) 완전한full 체계적 검토를 수행하는 것의 가치와 적절성을 판단

• (3) 연구 결과를 요약하고 전파

• (4) 기존 문헌의 연구 gap을 파악 (표 2)

Providing a flexible yet rigorous and comprehensive approach to knowledge synthesis, scoping reviews can serve multiple main purposes11:

• (1) to examine the extent, range, and nature of research activity in a given field; 

• (2) to determine the value and appropriateness of undertaking a full systematic review; 

• (3) to summarize and disseminate research findings; and 

• (4) to identify research gaps in the existing literature (Table 2).

범위 검토에서 식별되고 분석된 문헌들의 방법론적 접근법은 다양할 수 있다.

The literature identified and analyzed in scoping reviews may consist of different methodological approaches,

범위 검토에는 두 개 이상의 개입, 다양한 참여자 유형, 다양한 방법론적 접근 및 결과 조치와 관련된 연구도 포함될 수 있다. 범위검토는 본질적으로 반복적이며, 수치적 분석과 주제적 분석을 모두 사용하여 결과를 해석하고, 대규모 집단적 작업체에 대해 독특하고 미묘한 관점을 제공한다. 따라서 범위 검토는 다음의 경우에 유용하다 

• 광범위한 증거들에 관한 예비 심사측면에서, 어떤 특정한 연구 질문이 제기될 수 있고 가치 있게 다룰 수 있는지가 불분명할 때

• 새로운 분야와 새로 부상하는 연구 영역의 중요한 격차gap를 식별할 때

Scoping reviews may also include studies involving more than one intervention, different types of participants, and a range of methodological approaches and outcome measures. They are iterative in nature, use both numerical and thematic analyses to interpret findings, and provide a unique and nuanced perspective on a large collective body of work. Scoping reviews are therefore useful 

• for preliminary examinations of expansive bodies of evidence when it remains unclear what specific research questions can be posed and valuably addressed, and 

• for identifying important gaps in new and emerging areas of scholarship.

특정 개입의 효과를 조사하는 체계적 검토와 같이 특정 결과 기반 질문을 다루는 다른 유형의 검토와 달리, 범위 검토는 전체 연구 영역에 관련된 주요 개념을 "지도화"하는 데 사용될 수 있다. 

• 시간(작품은 언제 출판되었는가? 시간이 흐르면서 어떻게 밭이 확장되었는가?); 

• 위치(작품은 어디에서 출판되었는가? 지리적으로 한정된 학문 분야인가?); 및/또는 

• 기원(어떤 건강관리와 학문분야에서 발표되었는가?)

Unlike other types of reviews that address specific outcome-based questions, such as a systematic review examining the effectiveness of a particular intervention, a scoping review can be used to “map” the main concepts underpinning an entire area of research11 in relation to 

• time (When was the work published? How has the field expanded over time?); 

• location (Where was the work published? Is it a geographically limited field of study?); and/or 

• origin (In which health care or academic discipline was it published?).

따라서 매핑을 통해 연구자들은 기존 연구에 대한 신중한 검토 결과로부터 [향후 연구를 위한 영역과 문헌의 빈 곳gaps]을 파악할 수 있다.12

Mapping thus permits researchers to identify areas for future research and gaps in the literature through careful review of these products.12

Arcsey와 O'Malley의 방법론적 프레임워크의 설명에서 지적했듯이, 범위 검토는 연구팀 외부의 중요한 이해관계자들의 가치 있는 경험과 의견을 고려함으로써 다음을 보장한다.

• 최종 사용자(연구를 지원하고 연구 결과에서 가치를 찾을 것으로 예상되는 사용자)가 프로세스에 참여하는지 여부 

• 결과 합성이 특정 맥락에서 목적적합하고 적용 가능한지 여부.

As noted in the description of Arksey and O’Malley’s11 methodological framework, scoping reviews may take into account the valuable experiences and opinions of important stakeholders outside of the research team, ensuring 

• that the end users (those who are expected to support the study and find value in the findings) are involved in the process, and 

• that the resulting synthesis is relevant and applicable in a specific context. 

예를 들어, 연구팀은 이해관계자 협의 과정을 통해 특정 연구 안건에 영향을 미치거나 기여하는 기회를 제공할 수 있는 지역사회 구성원의 실제 경험을 증거로 고려할 수 있다. 이해관계자 협의가 범위 검토 단지의 계획과 실행을 제공할 수 있지만, 이해관계자들은 조사 결과가 교육 관행 및 정책에 대한 목적적합성과 적용 가능성을 보장해주는 역할도 한다.

For example, a research team may consider as evidence the lived experiences of members of the community, who through the process of stakeholder consultation may be afforded an opportunity to influence or contribute to specific research agendas. Although stakeholder consultations can render the planning and execution of a scoping review complex, they ensure the relevance and applicability of the findings to educational practice and/or policies.

범위 검토는 또한 [경직되고 사전 설정된 프로토콜을 필요로 하지 않고] 오히려 [문헌을 종합하기 위한 반복적이고 통합적이며 유연한(그러나 잘 문서화된) 접근방식에 의존]한다는 점에서 체계적인 검토와 다르다. 문헌에는 연구 중복을 줄이고 데이터 보고에 대한 투명성을 높이기 위해, 검토 범위에 대하여 공식화된 registered protocol의 개발이 의무화되어야 하는지에 대한 약간의 논쟁이 있다. 실제로, 범위 지정 방법론 학자들의 최근 출판물에는 이것이 범위 지정 검토의 필수 요소가 되어야 하는지에 대한 논의가 포함되어 있다.

Scoping reviews also differ from systematic reviews in that they do not require a rigid, preset protocol but, rather, rely on an iterative, integrative, and flexible (but well-documented) approach to synthesizing the literature. There is some debate in the literature as to whether the development of a formalized, registered protocol should be obligatory for scoping reviews in order to reduce study duplication and increase transparency regarding data reporting. Indeed, recent publications by scoping methodologists include discussions on whether this should now be a mandatory component of scoping reviews.6,13–15

우리는 엄격한 절차를 따르는 것이 중요한 이점이 있다는 것에 동의한다. 그러나 우리는 이러한 편익을 공식화되고 정적인 사전 등록 프로토콜을 사용하지 않고도 얻을 수 있다고 생각한다. 프로토콜을 preregister하게 되면 잘 수행된 범위 검토의 핵심이 되는 반복적이고 성찰적 접근방식의 잠재적 편익을 minimize시키는 한계가 있기 때문이다.

We agree that there are important benefits to following a rigorous process. However, we feel it is possible to obtain these benefits without using a formalized and static preregistered protocol, which could minimize the potential benefits of the iterative and reflexive approaches at the core of a well-conducted scoping review.

스코핑 리뷰와 관련된 도전들

Challenges Associated With Scoping Reviews

스코핑리뷰 팀은 몇 가지 중요한 과제에 직면해 있다.

Scoping review teams face several important challenges.

방법론적 엄격성에 주의를 기울이다보면, 스코핑리뷰는 특히 다양한 이해관계자와의 협의가 수행될 때 상당히 자원 집약적일 수 있다. 또한 특정 연구 질문에 적합한 용어를 선택하는 것(특히 특정 관심 현상을 설명하기 위해 문헌에서 무수히 많은 용어를 상호 교환하여 사용하는 경우 또는 특정 용어가 구식이 된 경우)은 관련 기사를 검토 대상으로 선정할 때 후속 연구작업에 큰 영향을 미칠 수 있다. 일부 분야에서는 기존 문헌의 이질성이 크고, 규모가 방대해서 효과적이고 의미 있는 종합이나 퀄리티 평가가 어려울 수 있으며, 많은 범위 검토에서 단어수가 많고 표와 그래프 숫자가 많아서 궁극적으로는 일부 저널 게재의 장벽이 될 수 있다.

if conducted with the appropriate attention to methodological rigor, scoping reviews can be considerably resource intensive, particularly when consultations with various stakeholders are undertaken. Furthermore, choosing the appropriate terminology for a given research question—especially when myriad terms are used interchangeably in the literature to describe a particular phenomenon of interest or when certain terms have become outdated—can have downstream consequences when relevant articles are being selected for review. In some fields, the heterogeneity and sheer volume of the existing literature can prohibit effective and meaningful synthesis or quality assessment, and the elevated word count and high number of tables and graphs characteristic of many scoping reviews can ultimately prove to be barriers to publication in some journals.

스코핑리뷰 검토자가 직면하는 또 다른 도전은 HPE는 다양한 학습자 그룹에 대해 다양한 전통 및 임상 교육 환경에서 접근하고 광범위한 기술과 역량을 다루기 때문에, (HPE 연구가) 상당히 이질적인 환경에서 발생하는 경향이 있다는 것이다. 따라서 HPE 연구에서 실험 조건의 표준화는 달성하기 어려우며, (실험 조건의 표준화란) 애초에 여러 HPE 연구 맥락에 적합하지 않은 목적이기도 하다. 이 문제를 해결하기 위해, HPE의 연구원들은 자연적으로 다른 조사 접근법을 이용했다. 이 방법론적으로 잡다한 문헌에서 나온 증거를 종합하는 작업이 낳는 또 다른 곤란함은 [연구가 수행된 환경이 이질적일 뿐만 아니라, 연구에 사용된 방법론이 다양할 때] 스코핑 리뷰의 결과를 보급disseminate하고 적용implement하는 것이다.

Another challenge scoping reviewers face is that HPE research tends to occur in heterogeneous settings, as HPE caters to diverse groups of learners in assorted traditional and clinical educational settings and addresses a wide range of skills and competencies. Thus, standardization of experimental conditions in HPE research is not only hard to achieve but is also an objective that is ill suited to many HPE research contexts. To tackle this problem, researchers in HPE naturally avail themselves of different investigative approaches. Synthesizing evidence from this methodologically motley literature creates a further thorny challenge for scoping reviewers who attempt to disseminate and implement the results of scoping reviews derived from research that not only was conducted in heterogeneous settings but that also used a variety of methodologies.

그러나 검토 범위를 지정하는 데 가장 큰 어려움은 방법론에 대한 일반적인 오해에서 비롯될 수 있다. 범위 검토는 종종 문헌을 검토하는 "빠르고 쉬운" 방법으로 잘못 보고 다른 유형의 검토(예: 체계적 검토)에 비해 과학성이 떨어진다고 본다. 그 결과, 많은 저널들이 평론의 범위를 정한 결과의 발표를 주저할 수 있다.

Perhaps the greatest challenges to scoping reviews, however, arise from prevailing misconceptions about the methodology. Scoping reviews are often mistakenly viewed as “quick and easy” ways to review the literature and as less scientific than other types of reviews (e.g., systematic reviews). As a result, many journals may be hesitant to publish results from scoping reviews.

권고

Practical Recommendations

• 연구자는 연구의 목적과 연구 질문이 범위 지정 방법론의 기본 원리와 일치하는 경우에만 범위 지정 검토를 종합 방법으로 우선적으로 선택해야 한다. 

• 범위 검토가 연구에 포함된 개입의 효과나 품질에 대해 반드시 보고되는 것은 아니라는 점을 감안할 때, 연구자들은 검토의 범위와 목적을 명시하고, 해당 검토가 해당 분야의 다른 연구에 어떻게 추가적으로 기여하는지를 정확하게 명시해야 한다. 

• 연구자들은 또한 적절한 재정 및 인적 자원이 적시에 엄격한 방식으로 검토를 수행할 수 있도록 보장해야 한다; 그렇게 하지 않으면 쓸모없는 논문 세트가 될 수 있고, 다시 검색을 해야 하는 상황이 생길 수 있다(우리가 직접 학습하는 불쾌감을 가지고 있는 교훈).

• Researchers should preferentially select scoping reviews as a synthesis method only if the purpose and research question of the study align with the basic principles of scoping methodology. 

• Given that scoping reviews do not necessarily report on the effectiveness or the quality of the interventions included in their study, researchers should make explicit the scope and purpose of the review, and specify precisely how it adds to other bodies of work in the field. 

• Researchers should also ensure that appropriate financial and human resources are available to conduct the review in a timely and rigorous manner; failure to do so can lead to an obsolete set of papers and the unfortunate need to rerun searches (a lesson we have had the displeasure of learning firsthand).

검토 범위 지정에 전문가가 아닌 경우, (검토가 엄격하게 수행되고 기존의 범위 지정 방법론에 대한 편차가 입증되고 문서화되며 적절한지 확인하기 위해) scoping methodologist 또는 방법론에 대한 전문지식을 갖춘 학술 사서와의 참여를 고려할 수 있다. 심지어 비전문가라도 그 복잡성과 엄격성을 인정하기 위해 정석적 방법론적 논문을 읽고 방법론에 충분히 숙달하는 것을 고려할 수 있다. 이러한 유형의 검토를 시작하기 전에, 잘 수행된 범위 검토의 사례를 익히기 위해 출판된 문헌을 참조하는 것은 범위 지정 방법론에 경험이 부족한 연구자들이 마땅히 해야 할 일이다.

If one is not an expert in scoping reviews, one might consider involving a dedicated scoping methodologist, and perhaps an academic librarian with expertise in the methodology, to ensure that the review is conducted rigorously and that any deviation from traditional scoping methodology is defensible, documented, and appropriate given the research question. Even nonexperts might consider reading the seminal methodological papers9,11,13 and becoming sufficiently well versed in the methodology so as to appreciate its complexity and rigor. Before embarking on this type of review, it might behoove researchers inexperienced in scoping methodology to consult the published literature for examples of well- conducted scoping reviews.

• 범위 검토를 수행할 때, 연구자들은 문서 선택(예: 검색 전략 식별, 기사 선택, 추출 시트 보정)부터 데이터 분석 및 보고에 이르는 모든 단계에 대해 꼼꼼히 문서화된 기록을 제공해야 한다. 

• 비록 공식적인 프로토콜이 현재 스코핑 리뷰의 요건으로 간주되지는 않지만, 우리는 연구팀이 스코핑 리뷰를 수행할 때 프로토콜의 개발을 중요한 첫 단계로 간주할 것을 제안한다; 더욱이, 현재 많은 저널들이 스코핑리뷰 프로토콜을 퍼블리싱하는 경향이 있기 때문에 프로토콜을 가지고 있는 것은 연구팀에게도 도움이 된다. 

• 마지막으로, 연구자들은 문헌 및/또는 이해관계자 협의에 대한 비판적 평가를 수행(또는 수행하지 않음)할 수 있는 정당한 이유와, 관련 이해당사자로 어떤 사람을 간주했는지를 제공할 준비가 되어 있어야 한다.

• When undertaking a scoping review, researchers should provide meticulous documentation of all the steps they take, from article selection (e.g., identifying search strategies, selecting articles, calibrating extraction sheets) to data analysis and reporting. 

• Although a formal protocol is not presently considered to be a requirement of scoping reviews, we do suggest that research teams consider the development of a protocol as an important first step when thinking about conducting a scoping review; moreover, there are benefits to research teams that do have protocols as many journals now tend to publish scoping review protocols. 

• Finally, researchers should be prepared to provide justifiable reasons for undertaking (or for not undertaking) a critical appraisal of the literature and/ or a stakeholder consultation, as well as for who they have considered to be the relevant stakeholders.

결론과 함의

Conclusion and Implications for Academic Medicine

문헌을 종합하기 위한 방법으로서, 범위 검토는 연구팀에게 새로운 학문 분야와 떠오르는 분야에서 광범위하고 이질적이며 종종 진화하는 문헌의 본체를 확인할 기회를 제공한다. 이와 같이 (범위검토는) 증거기반의 빈틈을 해소하고, 향후 연구방향을 안내하며, 체계적인 검토의 필요성을 정당화한다. 이는 특히 증거 기반이 커지고 증거 정보에 입각한 접근방식에 대한 강조가 증가하고 있는 HPE와 같은 분야나 분야와 밀접한 관련이 있다. 범위 검토의 반복적이고 포괄적인 특성은 HPE 연구에서 발견된 방법론, 방법 및 이론적 프레임워크의 다양성에 특히 잘 적응한다.

As a method for synthesizing the literature, scoping reviews afford research teams an opportunity to identify a wide, heterogeneous, and often-evolving body of literature in new and emerging areas of scholarship. As such, it uncovers gaps in the evidence base, guides future research avenues, and justifies the need for systematic reviews. This is particularly germane to fields or disciplines such as HPE in which the evidence base is growing and the emphasis on evidence-informed approaches is mounting.1,18–21 The iterative and inclusive nature of scoping reviews is particularly well adapted to the diversity of methodologies, methods, and theoretical frameworks found in HPE research.

연구자들은 이 방법론이 특정 연구 질문에 적합하고, 최대한 엄격하게 수행되며, 교육 연구 및 실습에 대한 증거 정보에 입각한 시사점을 포함하도록 보장해야 한다.

researchers must ensure that the methodology is appropriate to a specific research question, is conducted with the utmost rigor, and incorporates evidence- informed implications for educational research and practice.

스코핑scoping이 지식 종합의 만병통치약은 아니지만 HPE와 관련된 연구 질문의 특정 부분집합에 대한 해답에 잘 맞는 방법이다.

Scoping is not a panacea for knowledge synthesis, but it is a method that is well suited to answer a specific subset of research questions relevant to HPE.

5 McGaghie WC. Varieties of integrative scholarship: Why rules of evidence, criteria, and standards matter. Acad Med. 2015;90:294–302.

21 van der Vleuten CP, Driessen EW. What would happen to education if we take education evidence seriously? Perspect Med Educ. 2014;3:222–232.

Knowledge Syntheses in Medical Education: Demystifying Scoping Reviews

• PMID: 27782918
 
• DOI: 10.1097/ACM.0000000000001452

우리는 같은 패러다임을 말하고 있는가? 리뷰문헌에서 방법론의 선택 (Med Teach, 2016)

Are we talking the same paradigm? Considering methodological choices in health education systematic review

Morris Gordona,b

배경

Background

지난 20년 동안 의학 교육이 좀 더 근거기반이 되어야 한다는 주장이 있었다(Bligh & Anderson 2000; Carline 2004; Chen et al. 2005; Gordon et al. 2014b).

For the past two decades, there have been calls for medical education to become more evidence-based (Bligh & Anderson 2000; Carline 2004; Chen et al. 2005; Gordon et al. 2014b).

어떤 연구자들은 (결론에 영향을 미치고 잠재적으로 제한을 주는) [교란 변수 때문에 1차 증거 기반이 열악하다]고 생각하는 반면, 다른 연구자들은 이것을 [사회과학 방법론과 결과에 대한 이해 부족]이라고 해석했다(Dornan et al. 2008).

There are researchers in the field who believe that the primary evidence base is poor due to the confounding variables that impact and potentially limit conclusions, whilst others have interpreted this as a lack of understanding of social science methodology and outcomes (Dornan et al. 2008).

BEME 2015는 이러한 요구를 해결하고 의료에서 보이는 혁명을 반영하기 위해 1999년 설립된 개인, 대학 및 전문 기관들의 국제 그룹이다.

The BEST EVIDENCE MEDICAL EDUCATION Collaboration (BEME 2015) is an international group of individuals, universities and professional organizations established in 1999 (Harden et al. 1999) to address these needs and mirroring the revolution seen in healthcare.

작업을 시작하기 전에 설계되고 따라서 투명하며 명확하게 재현 가능한 방식으로 제시되는 방법론 BEME는 이것이 [명성에 기반한 검토]에서 [증거에 기반한 검토]로 옮겨갈 수 있는 열쇠라고 믿는다.

a methodology that is designed prior to works beginning and therefore is transparent and presented in a manner that is clearly reproducible. BEME believe this is the key to move from eminence based reviews to evidence based reviews.

현장에서 체계적인 검토를 완료하는 사람들이 겪는 주된 어려움 중 하나는 연구의 '만화경적' 특성이다. 주어진 문제를 조사하는 다양한 연구 질문과 양식이 있기 때문이다. 쿡 등은 (2008a) 정당성(여부), 설명(무엇) 및 설명(방법 및 이유)에 초점을 맞춘 연구를 고려함으로써 이 문제를 우아하게 조명했다. 앞서, 프레임워크를 활용하여 보다 목적적합한 체계적 검토를 생성하는 핵심이 될 수 있음이 제안되었다(Gordon et al. 2014b).

One of the key challenges for those completing systematic reviews in the field is the kaleidoscopic nature of research in any given area, with a range of research questions and modalities investigating any given issue. Cook et al. (2008a) illumined this issue elegantly by considering studies as focusing on justification (whether), descriptive (what) and clarification (how and why). Previously, it has been proposed that considering this framework is the key in producing more relevant systematic reviews (Gordon et al. 2014b).

그러나 이러한 검토 질문과 목표의 범위가 증가함에 따라 분야 내 synthesis 방식이 기하급수적으로 증가하게 되었다. 그 예로는 내용 분석, 사례 조사, 주제 분석, 메타 분석, 메타 데이터 분석 및 현실주의 검토뿐만 아니라 메타 분석과 같은 보다 전통적인 정량적 건강 합성 기법의 사용이 있다(Sharma et al. 2015). 이것들은 부록 1에서 간략하게 설명되었다.

However, this increased range of review questions and objectives have resulted in an exponential increase in synthesis modalities within the field. Examples include the use of content analysis, case survey, thematic analysis, meta-narrative, metaethnography and realist review, as well as more traditional quantitative health synthesis techniques such as meta-analysis (Sharma et al. 2015). These briefly explained in Appendix 1.

체계적 검토 프레임워크

Systematic review frameworks

증거를 종합하기 위해 데이터 집합에 많은 방법을 적용할 수 있지만, 그러한 작업이 내부에서 고려되고 있는 가장 중요한 맥락은 체계적인 검토다. 이러한 내용은 저자에 의해 "특정 문제와 관련된 모든 고품질 연구 증거를 식별, 선택, 평가, 추출 및 종합"하는 검토로 정의된다.

Whilst many methods can be applied to a dataset to synthesize evidence, the overarching context that such works are being considered within is systematic review. These are defined by the author as reviews that ‘‘identify, select, appraise, extract and synthesize all high-quality research evidence relevant to a given question’’

본 저자는 [체계적인 방법론만이 증거 기반의 건강 교육 모델과 가장 잘 부합할 수 있다]는 BEME의 입장을 전적으로 지지한다. 그러나, 이것은 독자들이 또한 이 alignment 자체가 실증주의 연구 패러다임에서 나온다는 것을 인식하게 된다는 것을 의미한다. 그러한 패러다임에서 권위 있는 진리의 형태의 지식은 경험적 증거에서 파생된다.

This author fully supports the position of BEME that only a systematic methodology can best align with an evidence based health education model. However, this means that readers will also recognize that this alignment itself draws from a positivist research paradigm. In such a paradigm, knowledge in the form of an authoritative truth is derived from empirical evidence.

그러한 검토에는 여러 가지 다른 프레임워크가 있지만, 모아서 보면 그들은 유사성이 뚜렷하다. 이는 최근 발표된 건강교육 체계적 검토를 위한 간행물 표준인 STORIES 성명(Gordon & Gibbs 2014c) 제작 과정에서 강조되었다.

There are a number of different frameworks for such reviews, but when they are considered together they are stark in their similarities. This was emphasized during the production of the recently published publication standards for health education systematic review, the STORIES statement (Gordon & Gibbs 2014c).

이 과정에서 보건교육 검토에 포함시키기 위한 여러 가지 새로운 요소들이 확인되었지만, 이전에 확인된 건강체계적 검토 체계(항목의 70%) 간에 공유된 모든 방대한 수의 요소들이 더 극명하게 나타났다. 이러한 (체계적 문헌고찰의) 동질성은 데이터 식별, 추출 및 품질 평가 요소, 즉 검토 과정에서 암묵적으로 '체계적' 실증주의적 요소에 집중되었다.

During this process, a number of novel elements for inclusion within health education reviews were identified, but starker were the all vast number of elements that were shared between previously identified health systematic review frameworks (70% of items). This homogeneity was focused on the data identification, extraction and quality assessment elements, the implicitly ‘systematic’ positivist elements in the review process.

합성 방법론의 연구 패러다임

Research paradigms of synthesis methodologies

체계적 검토 방법이 정의되면 근거종합evidence synthesis 방법을 선택해야 한다.

Once the method of systematic review has been defined, the method of evidence synthesis must be selected.

내용 분석 및 메타 분석(Bearman & Dawson 2013)과 같은 방법들은 코크란 양적 및 실증주의적 정렬alignment에서 라우팅된 검증 또는 변조 패러다임을 고려한다. 이러한 방법들은 현실주의realism라는 존재론적 렌즈를 통해 가르치는 의학 교육 관점의 맥락에서 (realism에서 이론은 그들 주위의 세계들 내의 실제 특징과 현상을 말한다) 검토에 대한 서술적이고 정당화된 결과, 즉 소위 '무엇what'과 '여부whether' 질문에 답하는 것을 목적으로 한다(Cook et al. 2008a). 이와 같이, 교육적 진리는 관찰 가능하고 측정가능하며, 따라서 (리뷰 결과가) 필요한 다른 곳에서, 다른 사람들에 의해 재생산되어, 교육에 영향을 미칠 수 있는 것으로 보인다.

Methods such as content analysis and meta-analysis (Bearman & Dawson 2013) consider a verification or falsification paradigm, routed in their Cochrane quantitative and positivist alignment. These methods in the context of medical education view teaching through the ontological lens of realism (theories refer to real features and phenomena within the world around them) achieving descriptive and justification outcomes for the review—the so called ‘what’ and ‘whether’ questions (Cook et al. 2008a). As such, educational truth is seen as something that is observable, measurable and therefore hopefully can be reproduced by others where there is a need, achieving impact for the education.

이것은 일부 사람들이 부적절하다고 느낄 수 있는 객관주의와 실증주의적인 입장을 시사한다. 그러나, 이 발견이 그러한 형태의 교육의 효과를 어떤 식으로든 다루지 않기 때문에, 현재의 증거 기반은 교육자들이 고용하는 더 넓은 조직을 제안하는 '무엇'을 정의하는 데 초점을 맞추고 있기 때문에, 이러한 유형의 문헌고찰이 가지는 역할이 분명히 있다.

This suggests an objectivism and positivist standpoint that some may feel is inappropriate. However, as this finding does not in any way address the effectiveness of such a form of education, rather focusing on defining ‘what’ the current evidence base suggests the wider body of educators employ, there is clearly a role for such works.

정당화justification에 초점을 두는 검토가 있으며, 이는 일종의 시뮬레이션 교육이 소생 기술에서 요구되는 역량을 달성할 수 있는 추가 단계로 이어질 수 있다. 이 진술은 이 패러다임과 함께 존재하는 문제와 그러한 패러다임에 맞춰 존재하는 많은 일의 약점을 동시에 강조하기 위한 것이다. 그러한 연구 패러다임을 차지하고 있는 의료교육의 체계적 검토의 문제점은 엄밀히 현실주의적인 관점이 다른 맥락에서 일하는 독자들에게 그러한 연구의 광범위한 사용을 내재적으로 제한한다는 것이다. 이러한 맥락 안에서 (객관주의와 실증주의 입장의) 검토는 내용 및 교육학 분야 내에서 [극단적으로 잘 정의되고 구체적인 범위]에서 활용될 수 있다. 

There are some reviews that will align with a justification focus and this may lead to a further step that a form of simulation education will achieve required competence in resuscitation skills. This statement is intended to simultaneously highlight both the problems that exist with this paradigm and the weakness of much work that exists aligned to such a paradigm. The issue with systematic reviews in medical education that occupy such a research paradigm is that a strictly realist viewpoint innately limits the wider use of such work for readers working in other contexts. It is possible within this context that such a review could occupy an extremely well defined and specific area of scope within a content and pedagogical field. 

이러한 형태의 리뷰에서는, 객관적이고 정의 가능한 기준들이 있다고, 이것은 결과와 연결될 수 있다고 주장할 수 있다. 그러나 많은 리뷰의 초점은 그렇게 맞추어져 있지 않으며, 엄청난 주제와 광범위한 검토가 공통적이다(Cook et al. 2008b). 그러한 검토 내에서 어떤 결과를 얻기 위한 최선의 증거인 보충이나 교육학에 관한 어떤 의미 있는 발견이 이루어질 수 있다고 주장하는 것은 극히 논쟁적인 것이라고 제안된다. 이것은 의학교육의 체계적 검토에 있어서 그러한 많은 정당화연구justification work의 약점과 연결된다. 교육적이든 방법론적이든, (연구의) 이질성은 상당한 장애물이다. 이와 같이, 이는 코크란 방법론에 예시된 메타분석은 매우 조심스럽게 사용되어야 하며, 사용할 경우에는 그 사용이 충분히 정당화되어야 한다는 점을 강조한다.

In this situation, it could be argued that there is an objective and definable set of criteria that can then be linked to an outcome. But this is not the focus for many such reviews, with huge topics and widely scoped reviews common (Cook et al. 2008b). It is proposed that within such reviews it is extremely contentious to argue that any meaningful findings about the make up or pedagogy that are best evidence to achieve a certain outcome can be made. This links to the weaknesses of many such justification works in medical education systematic review. Heterogeneity, both educational and methodological (Sharma et al. 2015) are a significant barrier. As such, this further cements the view that meta-analysis as exemplified within Cochrane methodology should be used sparingly and well justified when used.

메타민족지학 및 주제 분석과 같은 기법은 상호작용 방법론과 일치하며, 종종 명확화clarification을 위한 체계적 검토의 맥락 안에서, 지식 생성에 대한 귀납적 접근을 취한다(Cook et al. 2008a). 이러한 검토는 [연구자의 이해가 이러한 진실에 대한 맥락적 해석을 가능하게 한다는 것]을 수용하면서, 증거기반의 본질을 탐구하고 이 증거기반을 통해 탐구되고 있는 교육적 진리를 보려는 것이다. 

Techniques such as meta-ethnography and thematic analysis are aligned with an interaction methodology, taking an inductive approach to knowledge generation (Bearman & Dawson 2013) often within the context of clarification systematic reviews (Cook et al. 2008a). These reviews seek to explore the nature of the evidence base and view the educational truth that is being explored through this evidence base, accepting that the understanding of the researchers allows a contextual interpretation of this truth. 

체계적 검토의 맥락에서 이러한 발견은 방법론적 객관성의 요소를 보장하면서 명확하게 기술되고 투명한 방법론을 가진 체계적 프로세스에서 도출되었지만, 발견된 증거 기반에 의해 명백하게 기초하고 아마도 제한될 수 있다. 이것은 앞서 강조되었던 것과는 반대되는 연구 전통을 보여준다. 체계적 검토의 실증주의적 경향은 이러한 특정한 합성 방법의 본성과 병행juxtaposed되었다(세상은 인간의 마음으로부터 독립되어 있지만, 세계에 대한 지식은 언제나 인간적이고 사회적인 구성이다).

In the context of a systematic review these findings have been derived from a systematic process with a clearly described and transparent methodology, ensuring an element of methodological objectivity, but obviously grounded in and possibly limited by the evidence base that is discovered. This exemplifies the opposing research traditions previously highlighted. The positivist tendencies of systematic review juxtaposed with the overarching constructivist (the world is independent of human minds, but knowledge of the world is always a human and social constructs) nature of these particular synthesis methods.

증거 기반에서 서로 다른 요소들의 내용과 맥락은 그 자체도 다양하고 실로 다양할 수 있다. 이러한 차이를 수용하고 [상대론적 존재론적 관점]과 일치하면서 다른 설명 체계에 초점을 맞춘 방식으로 그러한 방법론을 적용할 가능성이 존재한다(Green & Britten 1998). 이것은 실증주의적 코크란 형식 체계적 검토에서 민감성과 부분군 분석의 역할에 비견되는 측면도 있지만, (실증주의에 반대되는) 구성주의적 연구 패러다임에서 탄생한 것이다.

The content and context of different elements of the evidence base may themselves be diverse and indeed divergent. There exists a possibility to apply such methodologies in a manner that focuses on different explanatory frameworks, embracing this divergence and aligning with a relativist ontological perspective (Green & Britten 1998). This is in some ways comparable to the role of sensitivity and subgroup analysis in a positivist Cochrane format systematic review, but born out of an opposing constructivist research paradigm.

예를 들면 CPR 기술을 향상시키는 시뮬레이션에 대한 연구를 예로 들어볼 수 있다. 연구는 두 개의 다른 그룹으로 나뉜다는 것이 밝혀질지도 모른다. 첫째는 동질적 학습자 그룹이며, 둘째는 서로 다른 보건 전문가들로 이루어진 이질적 그룹이다. 특정한 교육 테크닉이 효과적이냐, 아니면 그것이 '어떻게' 효과가 있느냐 하는 문제는 이 두 가지 서로 다른 맥락 안에서 완전히 다를 수 있으며 다양한 '진실'이 존재하게 할 수도 있다. 이러한 차이는 연구자와 임상 교사 모두에게 빛을 발하고 있다.

An example would allow us to return to our form of simulation that enhances resuscitation skills. It may be found that studies fall into two different groups. The first involves homogenous groups of learners and the second heterogeneous groups of different health professionals. The question of whether this technique is effective or ‘how’ it is affective may be completely different within these two different contexts and allow diverse ‘truth’ to exist. This divergence is illuminating to both researchers and clinical teachers.

의학 교육 내에서 '어떻게'와 '왜' 질문을 탐구하기 위한 명확화 검토의 목표를 고려할 때, 이러한 방법은 교육을 설계하고 수정하고자 하는 사람뿐만 아니라 인식론적 관점에서 '영향'을 보다 완전하게 이해하고자 하는 사람들에게 깊은 의미 있는 결과를 산출할 수 있는 잠재력을 가지고 있다. 그러한 영향의 관점은 공존할 수 있는 현존하는 최상의 증거와 여러 가지 다른 결과를 고려할 수 있다. 그러나, 그러한 연구들이 반드시 '무엇'을 사용하고, '효과가 있을지 여부'를 정의하지는 않을 수 있으며, 저자들로 하여금 이러한 방법을 사용할 적절한 맥락을 결정하게 남겨놓을 것이다.

When considering the goal of clarification reviews to explore the ‘how’ and ‘why’ questions within medical education, these methods have the potential to yield deeply meaningful results for those looking to design and amend education, as well as those wishing to more fully understand ‘impact’ from an epistemological perspective. Such a view of impact can consider multiple diverging outcomes with co-existing best evidence that can all co-exist. However, such works will not necessarily define ‘‘what’’ to use and ‘‘whether’’ it works, leaving authors to decide on the appropriate context to deploy these methods.

이쯤 되면 현실주의적인realist 평가를 언급할 가치가 있다. 이 요약 안에서 현실주의가 상세하게 논의되었지만, 리얼리스트 리뷰는 본질적으로 실증주의 패러다임인 현실주의의 존재론적 입장과 직접적으로 일치하지는 않는다. 현실주의 리뷰는 (우리 두뇌, 언어, 문화 등을 통해 처리되기 때문에) 직접 측정할 수는 없지만 간접적으로 알 수 있는 [사회적] 현실이 있다고 가정한다. 이와 같이 현실주의적인 현실 세계의 리뷰가 [실증주의('관찰을 통해 직접적으로 파악할 수 있는 것'이 있다)와 구성주의('우리가 알 수 있는 모든 것은 인간의 감각과 인간의 뇌를 통해 해석되었다는 것을 감안할 때, 우리는 현실의 본질이 무엇인지 확실히 알 수 없다') 사이에 존재한다]고 주장한다(원 외. 2013).

At this point, it is worth mentioning realist reviews. Whilst realism has been discussed in detail within this digest, realist reviews are not aligned directly with the ontological stance of realism, which is essentially a positivist paradigm. Realist reviews assumes there is a [social] reality that cannot be measured directly (because it is processed through our brains, language, culture and so on), but can be known indirectly. As such, it is argued that realist real world reviews exist between positivism (‘‘there is a which we can apprehend directly through observation’’) and constructivism (‘‘given that all we can know has been interpreted through human senses and the human brain, we cannot know for sure what the nature of reality is’’) (Wong et al. 2013).

따라서 이 증거 합성 방법이 다른 연구 패러다임을 명확하게 연결하기 때문에 최근 몇 년 동안 현장에서 일하는 사람들로부터 많은 관심을 가져왔다는 것은 충분히 이해할 수 있다. 그러나 일부 상황에서는 특히 이미 논의된 바와 같이 서로 다른 이론적 해결책을 고려할 가능성을 고려할 때 선험적 이론의 사용과 맥락과 메커니즘에 대한 집중이 제한적일 수 있다. 이것은 다시 한 번 잠재적인 작가들에게 그러한 형식성을 정확하고 가장 유용하게 배치해야 하는지의 여부가 아니라 언제가 되어야 하는지에 대한 의문을 남긴다. 본 논문에서 논의된 주요 특성과 논의된 양식의 범위는 그림 1에 설명되어 있다.

It is therefore quite understandable that this evidence synthesis method has had much interest from those working in the field in recent years as it clearly bridges different research paradigms. However, the use of a priori theory and the focus on context and mechanism could be limiting in some situations, particularly when considering the potential to consider divergent theoretical solutions as already discussed. This once again leaves potential authors with the question of not whether but when to correctly and most usefully deploy such a modality. The range of modalities discussed, as well as the key characteristics discussed within this paper are illustrated within Figure 1.

고찰

Discussion

어떤 체계적 문헌고찰 방법을 선택할지에 대해 영향을 주는 핵심 특징은 '어떤 질문을 다룰 것인가'이다. 질문과 기대되는 결과outcome을 명확히 정의한다면, 

• 이 결과를 받을 교육자들에게 alignment가 명백해질 것이다. 

• 그러면 이것은 목적에 맞는 적절한 방법론의 배치를 가능하게 할 것이며, 

• 체계적인 검토를 완료하는 데 필요한 중요한 작업과 그러한 작품을 읽는 데 필요한 상당한 노력을 정당화할 것이다. 

The key characteristic of a systematic review that should impact this choice is the question being addressed. By clearly defining this and the related outcome expected from the review and for educators who will receive this outcome, the alignment will become apparent. This will then allow deployment of an appropriate methodology that is fit for purpose and will indeed justify the significant work needed to complete a systematic review and the significant effort needed to read such a piece. 

또한, 체계적 문헌고찰 연구의 저자들은 그들의 연구 정렬과 선택된 질문, 정렬 및 증거 합성 방법의 연관성을 기술해야 한다. 이로서 독자가 연구결과를 더 잘 이해할 수 있도록 도와주며, 상호 배타적인 질문과 발견이 존재할 수도 있는 동일영역의 중복되는 연구들과 작품을 구별할 수 있게 해준다.

Additionally, it is proposed that authors of such work should describe their research alignment and the link between question, alignment and evidence synthesis method selected. This supports understanding within readers and also differentiates the work from pieces overlapping in the same area that may have mutually exclusive questions and findings.

Modalities의 범위를 탐구하는 과정과 그 정렬은 연구자의 무기고의 차이를 강조한다. 이는 특히 [현실주의 검토만이 현재 존재하는 것으로 보이는] 연구 패러다임의 '중간지대'에서 관련이 있는 것으로 보인다. Realist review는 특히 2차 연구가 [복수의 진리가 존재할 수 있다는 구성주의적 관점]을 수용하면서 [절대적 진리에 대한 실증주의적 관점]의 요소를 둘 다 수용할 수 있는 흥미로운 영역으로 보인다. 이것은 특히 의학교육에서 더 많은 1차 연구들이 특정한 존재론적 입장을 분명히 차지하지 않는 방식으로 검토될 필요가 있는 관련 이론과 체계를 정의하기 시작함에 따라 관련될 수 있다. 이러한 철학적 중심지는 의료교육의 체계적 검토의 미래가 놓여있어야 하는 곳일 수 있으며, 따라서 이 분야에 대한 학문적 의견과 토론이 초대된다.

The process of exploring the range of modalities and their alignment highlights gaps in the researcher’s arsenal. This seems particularly relevant in the research paradigm ‘middle ground’, where only realist review seem to currently reside. This appears to be a particularly interesting area where secondary research can accept an element of both a positivist view of absolute truth, whilst accepting a constructivist perspective that multiple truths may exist. This may be particularly relevant as more primary research works in medical education begin to define relevant theory and frameworks that may themselves need to be reviewed in a manner that will not clearly occupy a specific ontological stance. This philosophical center ground may be where the future of systematic review in medical education must lie and so scholarly input and debate in this area is invited.

기본 콜론 그 이상: 질적연구에서 효과적인 인용문구 사용(Perspect Med Educ, 2019)

Beyond the default colon: Effective use of quotes in qualitative research

Lorelei Lingard

진실성

Authenticity

원고 작성 시점에서 질적 연구원이 자료의 바다에서 헤엄치고 있다.

At the point of manuscript writing, a qualitative researcher is swimming in a sea of data.

그러나, 그들 중 극소수만이 최종 원고를 작성할 것이며, 특히 우리가 건강 연구나 의학 교육 저널에 게재하기 위해 3000~4000단어의 제한을 두고 집필할 경우에는 더욱 그러하다.

However, very few of them will make it into the final manuscript, particularly if we are writing for publication in a health research or medical education journal, with their 3000–4000 word limits.

이 소중한 발췌 중에서 가장 좋은 인용구를 고르는 것은 보기보다 어렵다. 우리는 진정성의 원리에 의해 안내되어야 한다: 이 인용문은 독자들이 자료의 지배적인 패턴에 직접 접근할 수 있도록 제공하는가? 우수하고 진실한 인용구를 고르는 데는 세 가지 부분이 있다: 

• 인용문은 작성자가 데이터에 대해 말하고 있는 요점을 예증illustrative하고, 

• 합리적으로 간결하며, 

• 데이터의 패턴을 대표한다. 이 인용구를 보십시오.

Selecting the best quotes from among these cherished excerpts is harder than it looks. We should be guided by the principle of authenticity: does the quote offer readers first hand access to dominant patterns in the data? There are three parts to selecting a good, authentic quote: 

• the quote is illustrative of the point the writer is making about the data, 

• it is reasonably succinct, and 

• it is representative of the patterns in data. Consider this quote,

의대생들은 훈련을 받으면서 정체성을 바꾸고 있다고 느끼기보다는 여러 정체성을 축적하고 조화시킨 경험을 묘사했다: 내가 이 일을 시작했을 때 내가 있던 '삶의 나'는 아직 여기 있지만, 지금은 일종의 '과학적인 나'와 같은 '의사적인 나'도 있다. 그리고 나는 그 모든 것이 되려고 노력하고 있다(S15).

Rather than feeling they were changing identities as they went through their training, medical students described the experience of accumulating and reconciling multiple identities: ‘the “life me”, who I was whenI started this, is still here, but now there’s also, like, a “scientific me” as well as a sort of “doctor me”. And I’m trying to be all of that’ (S15).

이 인용문은 

• 예증적이며illustrative, 훈련이 전개될수록 학생정체성이 증대되고 있다는 점에 대한 명확한 예를 제공한다. 

• 그것은 간결해서 다른 참가자들은 몇 페이지에 걸쳐서 묘사한 것을 효율적으로 표현한다. 

• 그리고 이 아이디어를 보고하는 많은 참가자들의 전반적인 정서에 충실하면서 대표성이 있다.

This quote is illustrative, providing an explicit example of the point that student identity is multiplying as training unfolds. It is succinct, expressing efficiently what other participants took pages to describe. And it is representative, remaining faithful to the overall sentiments of the many participants reporting this idea.

그 인용문은 예증적인가?

Is the quote illustrative?

흔히 겪는 어려움은 인용문구가 작가의 주장을 '암묵적'으로 보여주는 경우이다. 다음 예를 고려하십시오.

A common challenge is the quote that illustrates the writer’s point implicitly, but not explicitly. Consider this example:

의대생들은 '항상 너무 많이 배우고 있다. 그리고 그 중 일부는 과학적인 것이고 일부는 전문적이거나 실용적인 윤리적인 것들인데, 우리는 그 모든 것을 알아내야 한다.' (S2)

Medical students are undergoing aprocess of identity-negotiation: we’re ‘learning so much all the time, and some of it is the science stuff and some of it is professional or, like, practical ethical things, and we have to figure all that out’ (S2).

이 인용문이 정체성-협상 포인트의 증거로 쓰이려면 독자가 'figure all that out'이라는 표현이 저자가 말하는 것에 대한 refernece라고 추론할 수 있어야 한다. 그러나 독자들은 인용문구의 의미를 디컨텍스트화된 대본 추출물에 읽게 된다. 간결함을 희생하더라도 명시적인 것이 낫다. 사실, 이것은 올바른 인용문이지만, 우리는 '정체성 구성'이 명시적으로 언급된 첫 세 문장을 줄였다. 인용문은 이러한 문장들을 포함하도록 길어질 수도 있고, 간결함을 보존하기 위해 인용된 문구만 인용문의 도입부에 삽입할 수도 있다.

For this quote to serve as evidence for the point of identity-negotiation, the reader must infer that ‘figure all that out’ is a reference to this process. But readers may read their own meaning into decontextualized transcript extracts. Explicit is better, even if it sacrifices succinctness. In fact, this is the right quote, but we had trimmed away the first three sentences where ‘figuring out identity’ got explicit mention. The quote could be lengthened to include these sentences, or, to preserve succinctness, just that quoted phrase can be inserted into the introduction to the quote:

의대생들은 '정체성'을 형성하고 있는데, '항상 그렇게 많이 배우고, 그 중 일부는 과학적인 것이고 일부는 전문적이거나 실용적인 윤리적인 것으로, 우리는 그 모든 것을 알아내야 한다'(S2)는 협상 과정이다.

Medical students are ‘figuring out identity’, a process of negotiation in which they are ‘learning so much all the time, and some of it is the science stuff and some of it is professional or, like, practical ethical things, and we have to figure all that out’ (S2).

인용문이 간결하니?

Is the quote succinct?

인터뷰 녹취록은 어눌하거나 생략적이거나 불완전한 특징이 있다. 따라서 부지런히 뒤져도, 10단어짜리 요점을 보여주기 위해서 200단어에 걸친 인용구를 찾는데 그치고 말 수도 있다. 때때로 긴 인용문이 완벽해서, 당신은 그것을 포함해야만 하는 상황도 있다. 하지만, 종종 당신은 그것을 더 줄일 필요가 있다. '간결함'을 진위 원칙authenticity principle의 일부로 포함시킴으로써, 저자들에게 그들의 축약tightening up이 인용문의 요지를 유지하는지 여부를 명시적으로 고려하도록 상기시키고자 한다.

Interview transcripts are characterized by meandering and elliptical or incomplete speech. Therefore, you can search diligently and still come up with a 200-word quote to illustrate your 10 word point. Sometimes the long quote is perfect and you should include it. Often, however, you need to tighten it up. By including succinctness as part of the authenticity principle, my aim is to remind writers to explicitly consider whether their tightening up retains the gist of the quote.

또 다른 해결책은 줄임표를 사용하여 인용문의 일부를 잘라냈음을 알리는 것이다.

Another solution is to use the ellipsis to signal that you have cut part of the quote out:

줄임표를 사용할 때는 인용문의 의미와 무관한 자료만 제거하고, 인용문의 의미를 중요시 하는 관련 자료는 제거하면 안 된다. 인용문을 잘라낼 때, 목표는 '내가 원하는 것을 참가자들이 말한 것처럼 보이도록' 아주 작은 조각들을 자르고 붙여넣는 브리콜라지를 만드는 것이 아니다; 줄임표 사용의 목적은 참가자가 의도한 의미에 충실한 간결한 표현을 보여주는 것이다.

When using an ellipsis, only remove material that is irrelevant to the meaning of the quote, not relevant material that importantly nuances the meaning of the quote. The goal is not a bricolage which cuts and pastes tiny bits so that participants say what you want them to; it is a succinct-enough representation that remains faithful to the participant’s intended meaning.

인용문의 표현을 바꾸면 항상 진위 원칙을 위반할 위험이 있기 때문에 작가들은 신중하게 해야 한다. 그러나, 두 가지 다른 상황이 이러한 접근법을 요구할 수 있다: [문법적 일관성 유지]하고 [구술 연설을 깔끔하게 정리]하는 것이다. 첫째는 보통 문제되지 않는데, 특히 여러분이 일관된 시제나 동사와 주제, 대명사와 선행의 일치나 대명사를 대체하거나 대명사를 그 참조로 대체하는 경우에 그렇다. 대괄호(square bracket)는 다음과 같은 변경 사항을 표시한다.

Changing the wording of a quotation always risks violating the authenticity principle, so writers must do it thoughtfully. Two other situations, however, may call for this approach: to maintain the grammatical integrity of your sentence and to tidy up oral speech1. The first is usually not problematic, particularly if you are altering for consistent tense or for agreement of verb and subject or pronoun and antecedent, or replacing a pronoun with its referent. Square brackets signal such changes:

그러나 지역 병원 시설 참가자들은 '교사를 평가할 때 익명성의 가정에 이의를 제기했다'고 말했다. (현재에서 과거로 시제가 변경됨)

Participants from the community hospital setting, however, ‘[challenged] the assumption of anonymity when evaluating teachers’. (verb tense changed from present to past)

두 번째 상황은 더 까다로울 수 있다: 대화 중에 발생한 '지저분함'을 언제 정리해야 하는가? 인터뷰 녹취록에는 언어학자들이 '필러' 또는 '말더듬기'라고 부르는 말, '아/어/음/좋다/알고/맞다'[1]와 같은 소리와 단어들로 가득하다. 질적 학자들 사이에서는 인용문은 가능한 한 실체적으로 제시되어야 한다는 데 일반적인 동의가 있으며, 담론과 서술 분석에 종사하는 사람들은 그러한 망설임들을 의미의 일부로 반드시 분석할 것이다. 그러나 다른 응용 사회 연구 방법론에서 작가들은 가독성과 윤리적적 이유 모두를 위해 약간의 '다듬기light tidying up'를 할 수 있다[2]. 

• 윤리적 문제는 [참가자의 말 습관 '엄' '아' 등을 다 보여주는 것이 참가자에게 해를 끼칠 수도 있다는 것]을 방지하려는 욕구가 있다. 또는 사투리나 특수한 억양이 있는 것과 같이 개개인을 식별할 수 있는 언어적 특징을 제거함으로써 참가자의 익명성을 보호하려는 목적도 포함된다.

The second situation can be trickier: when should you tidy up the messiness of conversational discourse? Interview transcripts are replete with what linguists refer to as ‘fillers’ or ‘hesitation markers’, sounds and words such as ‘ah/uh/um/like/you know/right’[1]. There is general agreement among qualitative scholars that quotes should be presented verbatim as much as possible, and those engaged in discourse and narrative analysis will necessarily analyze such hesitations as part of the meaning. In other applied social research methodologies, however, writers might do some ‘light tidying up’ both for readability and for ethical reasons, as long as they do not undermine authenticity in doing so [2]. 

• Ethical issues include the desire not to do a disservice to participants by representing the um’s and ah’s of their natural speech, and the concern to protect participant anonymity by removing identifiable linguistic features such as regional or accented speech.

마지막으로, 간결함을 위한 새로운 전략은 인용문을 표에 넣는 것이다. 많은 질적 연구자들은 표 형식의 제약이 정량적 영역으로부터의 침입이라고 분개한다. 그러나, 신중하게 사용되어, 복잡한 결과를 효율적으로 제시할 수 있는 수단을 제공할 수 있다. 이 예제에서 Goldszmidt 등은 내과 교수팀의 사례 검토 과정에서 관찰된 5가지 주요 유형의 감독자 업무 중단을 정의하고 설명한다(탭 1;[3]).

Finally, an emerging strategy for succinctness is to put the quotes into a table. Many qualitative researchers resent the constraints of the table format as an incursion from the quantitative realm. However, used thoughtfully, it can offer a means of presenting complex results efficiently. In this example, Goldszmidt et al. name, define and illustrate five main types of supervisor interruptions that they observed during their study of case reviewon internal medicine teaching teams (Tab. 1;[3]).

인용이 대표성이 있는가?

Is the quote representative?

우리 모두는 매우 자극적인 인용문(테이프에서 누군가가 말한 것을 믿을 수 없는 것)을 포함시키고 싶은 유혹을 받아왔다. 다만 세 번째 초안에 의해 그것이 데이터를 잘못 표현하고 포기해야 한다는 것을 깨달았다. 인용문 선택은 데이터의 강력한 패턴을 반영해야 한다. 불일치하는 예는 중요한 목적에 기여하지만, 인용문 선택은 목적적이고 명시적이어야 한다. 데이터 세트를 나타내기 위해 견적 선택 항목도 참가자 간에 분산되어야 한다. 이는 동일한 한두 명의 고도로 명확한 개인을 계속 인용하기 보다는 두 번째 또는 세 번째 모범 사례를 사용하는 것을 의미할 수 있다.

We have all been tempted to include the highly provocative quote (that thing we cannot believe someone said on tape), only to realize by the third draft that it misrepresents the data and must be relinquished. Quote selection should reflect strong patterns in the data; while discrepant examples serve an important purpose, their use should be purposeful and explicit. Your quote selection should also be distributed across participants, in order that you represent the data set. This may mean using the second- or third-best example rather than continuing to quote the same one or two highly articulate individuals.

독자들이 인용문의 의미를 정확하게 추론할 수 있는 충분한 맥락을 제공해야 한다. 때때로 이것은 면접관의 질문과 참가자의 대답을 포함하는 것을 의미한다. 그룹 토론이 강조되는 포커스 그룹 연구에서는 개별 의견을 추출하기보다는 참가자 간의 교환을 인용할 필요가 있을 수 있다. 이 예는 이 기법을 설명한다.

You must provide sufficient context that readers can accurately infer the meaning of the quote. Sometimes this means including the interviewer’s question as well as the participant’s answer. In focus group research, where the emphasis is on the group discussion, it might be necessary to quote an exchange among participants rather than extracting individual comments. This example illustrates this technique:

물론 긴 발췌가 간결함의 목표를 위협한다. 또는 인용을 위해서 여러 개의 발췌문을 자기가 만든 하나의 문장에서 사용할 수 있다.

Of course, a long excerpt threatens the goal of succinctness. Alternatively, you could use multiple quotes from this excerpt in a single sentence of your own:

이 그룹의 일부 표준화된 환자들은 그들의 평가자 역할이 '학생들에게 정말 중요하고, 그들은 우리가 그들의 성과에 대해 말하는 것을 듣는다'고 믿었고, 다른 환자들은 '우리는 아마도 그들에게 소품에 더 가깝기 때문에 그들이 얼마나 잘 했다고 생각하는지, 나는 그것이 중요한지 잘 모르겠다'고 주장했다. (FG2)

Some standardized patients in the group believed that their assessor role was ‘really important to the students, they listen to what we say about their performance’, while others argued that ‘we’re probably more like props to them, so how well we think they did, I’m not sure that matters’. (FG2)

때때로 어떤 인용문은 대표성이 있지만, 그 결과, (개개인을) 식별할 수 있으며 기밀성을 위태롭게 한다.

Sometimes a quote is representative but also, therefore, identifiable, jeopardizing confidentiality:

이 경우, 인용시에 범례(임상 역량 위원회 4, 참가자 2)를 사용하는 관습만으로는 익명성을 보호하기에 불충분할 수 있다. 연구에 프로그램이 거의 없고, 방법이 이를 식별하고(예: 소아과 및 의학) 기관(예: 웨스턴 대학교) 이름을 지정하는 경우, 일부 독자는 화자를 식별할 수 있다.

In this case, the convention of using a legend (Clinical Competency Committee 4, participant 2) to attribute the quote may be insufficient to protect anonymity. If the study involves few programs and the methods identify them (e.g., Paediatrics and Medicine) and name the institution (e.g., Western University), the speaker may be identifiable to some readers, as may the resident.

주장

Argument

인용된 자료는 그 자체로 의미를 가지지 않는다: 우리는 문법적으로나 수사학적으로 그것을 우리의 본문에 포함시켜야 한다. 문법적 통합은 비교적 간단하며, 하나의 핵심 규칙을 명심해야 한다: 인용된 자료는 인용되지 않은 자료와 문법과 구두점에 대한 문장 수준의 규약을 따른다. 이 예제를 크게 읽어 보십시오.

Quoted material does not stand on its own: we must incorporate it into our texts, both grammatically and rhetorically. Grammatical incorporation is relatively straightforward, with one main rule to keep in mind: quoted material is subject to the same sentence-level conventions for grammar and punctuation as nonquoted material. Read this example aloud:

예체능과 인문학교육은 교수진이 의대생들과 서로 다른 수준에서 연결될 수 있는 기회를 제공한다. '우리는 돌봄의 일에 대해 어떻게 느끼고, 어떤 대가를 치르는지, 인간으로서 우리에게 어떤 보상을 주는지 공유할 수 있다.'(F9).

Arts and humanities teaching offers an opportunity for faculty to connect with medical students on a different level, ‘we can share how we feel about the work of caring, what it costs us, how it rewards us, as human beings’ (F9).

아마도 이 문장은 (하나가 아니라) 두 문장으로 나뉘어야 한다고 느껴질 것이다. 그러나 인용 부호는 이것으로부터 우리를 산만하게 하는 것 같으며, 우리는 문장 사이에 쉼표를 넣어 런온 문장을 만든다. 간편한 수정 방법은 콤마를 콜론으로 대체하는 것이다.

Your ear likely hears that this should be two sentences. But quotation marks seemto distract us from this, and we create a run-on sentence by putting a comma between the sentences. An easy correction is to replace the comma with a colon.

예체능과 인문학교육은 교수진이 의대생들과 서로 다른 수준에서 연결될 수 있는 기회를 제공한다: '돌봄의 일에 대한 우리의 느낌, 그것이 우리에게 어떤 대가를 주는지, 그것이 우리에게 어떤 보상을 주는지, 인간으로서.

Arts and humanities teaching offers an opportunity for faculty to connect with medical students on a different level: ‘we can share how we feel about the work of caring, what it costs us, how it rewards us, as human beings’ (F9).

많은 작가들은 인용된 자료를 통합하기 위한 그들의 기본 메커니즘으로 콜론을 사용한다. 그러나 콜론을 사용하는 것이 문법적으로 정확한 경우가 많지만, 항상 수사학적으로 충분한 것은 아니다. 즉, 콜론은 인용문을 맥락화시켜주지 않으며, 해석도 하지 않는다. 대신에, 이런 방식의 인용은 인용문을 '떨어뜨리고drop', 독자 스스로 인용된 자료가 어떻게 주장을 설명하거나 진전시키는지를 유추하게 남겨둔다. 이것은 질적 결과를 제시할 때 해석의 적절성에 대한 요건을 충족하지 못하기 때문에 문제가 있다.

Many writers rely on the colon as their default mechanism for integrating quoted material. However, while it is often grammatically accurate, it is not always rhetorically sufficient. That is, the colon doesn’t contextualize, it doesn’t interpret. Instead, it ‘drops’ the quote in and leaves the reader to infer how the quoted material illustrates or advances the argument. This is problematic because it does not fulfil the requirement for adequacy of interpretation in presenting qualitative results.

Morrow의 주장대로, 작가들은 그들의 [해석]과 [supporting quotation]의 균형을 목표로 해야 한다: '참가자의 인용문을 희생하여 연구자의 해석에 대한 지나친 강조하면 그 해석이 어디에서 왔는지 의심하게 할 것이다; 반대로 인용문이 너무 많으면 독자들이 이야기의 난국에서 길을 잃게 될 것이다.' [4] (p. 256).

As Morrow argues, writers should aim for a balance of their interpretations and supporting quotations: ‘an overemphasis on the researcher’s interpretations at the cost of participant quotes will leave the reader in doubt as to just where the interpretations came from; an excess of quotes will cause the reader to become lost in the morass of stories’ [4]. (p. 256).

연구자 해석과 지지 인용문 사이에는 이러한 균형을 이루기 위한 많은 기법이 있다. 일부 기법은 기본 콜론을 유지하지만 그 앞에 있는 문장에 주의하는 것이다. 다음 예를 고려하십시오.

There are many techniques for achieving this balance between researcher interpretations and supporting quotations. Some techniques retain the default colon but attend carefully to the material that precedes it. Consider the following examples:

한 임상의는 '위탁은 결정이 아니라 관계'라고 말했다. (F21)

One clinician said: ‘Entrustment isn’t a decision, it’s a relationship’. (F21)

한 임상의는 '위탁은 결정이 아니라 관계'라고 주장했다. (F21)

One clinician argued: ‘Entrustment isn’t a decision, it’s a relationship’. (F21)

포커스 그룹의 한 임상의는 위탁이 연수생 진척 상황을 결정하는 것이라는 생각에 동의하지 않았다. '위탁은 결정이 아니라 관계다.' (F21)

One clinician in the focus group disagreed with the idea that entrustment was about deciding trainee progress: ‘Entrustment isn’t a decision, it’s a relationship’. (F21)

포커스 그룹 참가자들은 위탁의 의미에 대해 토론했다. 많은 이들이 '연습생이 진척해야 할지를 결정하기 위해 사용하는 과정'이라고 사실상 기술했고, 몇몇은 '위탁은 결정이 아니라 관계'라고 주장했다. (F21)

Focus group participants debated the meaning of entrustment. Many described it matter-of-factly as ‘the process we use to decide whether the trainee should progress’, while a few argued that ‘entrustment isn’t a decision, it’s a relationship’. (F21)

이러한 예들은 점차적으로 인용에 대한 맥락적 표현을 제공한다. 

• 첫 번째 예는 단순히 '말했다'라는 비첨자 동사를 따라 인용구를 떨어뜨려 해석적인 광택을 주지 않고 따라서 독자에게 최소한의 수사적 통제력을 발휘한다. 

• 두 번째는 참가자의 위치나 어조를 해석하는 동사 '논쟁'을 통해 어느 정도 맥락을 제공한다. 

• 세 번째는 포커스 그룹 토론의 맥락에서 인용문을 배치함으로써 인용의 의미를 더욱 해석한다. 그리고 

• 네 번째는 디폴트 콜론을 완전히 폐지하고, 두 개의 인용문을 저자의 문장의 서술 구조로 통합하여 이 FGI에서 위임에 대한 지배적인 위치와 불일치하는 입장을 설명한다.

These examples offer progressively more contextualization for the quote. The first example simply drops the quote in following the nondescript verb, ‘said’, offering no interpretive gloss and therefore exerting minimal rhetorical control over the reader. The second offers some context via the verb ‘argued’, which interprets the participant’s positioning or tone. The third interprets the meaning of the quote even more by situating it in the context of a focus group debate. And the fourth eschews the default colon entirely, integrating two quotes into the narrative structure of the author’s sentence to illustrate the dominant and the discrepant positions on entrustment in this focus group debate.

인용문을 마지막 예와 같이 문장의 서술 구조에 통합하는 것은 작가에게 두 가지 장점을 제공한다. 

• 첫째, 독자에 대해 [인용문을 해석하고 따라서 인용문의 의미에 대한 강력한 수사적 통제]를 행사한다. 

• 둘째, 다양성과 스타일을 제공한다. 만약 여러분의 목표가 설득력 있는 산문이라면, 다양성과 문체를 과소평가해서는 안 된다. 우리 모두는 기계적으로 진행되는 결과 섹션(점-콜론-쿼터, 점-콜론-쿼터, 점-콜론-쿼터 등)을 읽어본 경험이 있다. 독자의 경험을 더 즐겁게 하기 위해서라면, 당신의 수정 과정은 이것들 중 일부를 통합적 내레이션으로 변환하는 것을 포함해야 한다.

Integrating quotes into the narrative structure of your sentence, like the last example, offers two advantages to the writer. 

• First, it interprets the quote for the reader and therefore exerts strong rhetorical control over the quote’s meaning. 

• Second, it offers variety and style. If your goal is compelling prose, variety and style should not be underestimated. We have all had the experience of reading Results sections that proceed robotically: point-colon-quote, point-colon-quote, point-colon-quote .... If only to make the reader’s experience more enjoyable, your revision process should involve converting some of these to integrated narration.

간결함의 목표에도 불구하고, 때때로 당신은 더 긴 인용문을 포함할 것이다. 왜냐하면 그것은 요점을 아름답게 묘사하기 때문이다. 그러나, 긴 인용문은 독자들로 하여금 당신이 의도한 것 이외의 이미지나 문구에 초점을 맞출 수 있게 만들 수 있으며, 따라서 당신이 하고 있는 주장에는 일관성이 없는 것처럼 보이게 만들 수 있다. 이를 방지하기 위해 [인용문의 맥락을 설정하는 소개 문구]와 [인용 뒤에 요약 문장을 넣는]의 '인용 샌드위치' 기법[5]을 사용해 보십시오.

Notwithstanding the goal of succinctness, sometimes you will include a longer quote because it beautifully illustrates the point. However, a long quote may offer opportunities for readers to focus on images or phrases other than those you intended, therefore creating incoherence in the argument you are making about your results. To guard against this, you might try the ‘quotation sandwich’ technique [5]of both an introductory phrase that sets up the context of the quote and a summary statement following it emphasizing why you consider it important and what you are using it to illustrate.

마지막으로, 자신의 주장을 뒷받침하기 위해 몇 개의 인용문이 필요하십니까? 더 많은 것이 반드시 더 나은 것은 아니다. 당신의 요점을 설명하기에 하나의 인용문으로 충분할 것이다. 당신의 주장에서 일부 요점은 인용된 발췌문을 전혀 요구하지 않을 수도 있다.

Finally, how many quotes do you need to support your point? More is not necessarily better. One quote should be sufficient to illustrate your point. Some points in your argument may not require a quoted excerpt at all.

레지던트가 항상 피곤하다는 사실은 굳이 인용문이 필요하지 않다. 그것은 쉽게 이해할 수 있고 아무도 놀라게 하지 않을 것이다.

The finding that residents are always tired does not require illustration. It is readily understandable and will not surprise anyone;

만약 당신이 당신의 주장에서 하나의 요점을 설명하기 위해 여러 개의 인용구를 사용한다면, 당신은 독자를 위해 그들 사이의 관계를 설정해야 한다. 인용된 발췌문 사이에 또는 인용문 뒤에, 점진적으로 더 강한 인용문 문맥화를 설명하기 위해 사용된 네 가지 예를 사용하여 모델링한 대로 이 작업을 수행할 수 있다.

If you do use multiple quotes to illustrate a point in your argument, then you must establish the relations between them for the reader. You can do this between the quoted excerpts or after them, as modelled above with the four examples used to illustrate progressively stronger quote contextualization.

결론적으로, 인용문은 당신의 질적 연구 논문의 피blood가 될 수 있다. 하지만, 인용문은 주장이 아니라 증거들이다. 그들은 스스로를 대변하지 않으며 독자들은 당신이 그들이 무엇을 설명하고자 하는지를 추측할 수 없다. 

• 진위 원리Authenticity principle는 설명적이고 간결하며 대표성이 있는 인용구를 선택하는 데 도움을 줄 수 있는 반면, 

• 주장 원리Argument principle는 당신이 연구에 대해 말하고 있는 이야기에 인용문을 통합하는 문법과 수사적인 측면에 주의를 기울이도록 상기시킬 수 있다.

In conclusion, quotes can be the life’s blood of your qualitative research paper. However, they are the evidence, not the argument. They do not speak for themselves and readers cannot infer what you intend them to illustrate. The authenticity principle can help you select a quote that is illustrative, succinct and representative, while the argument principle can remind you to attend to the grammatical and the rhetorical aspects of integrating the quote into the story you are telling about your research.

6.Helmich E, Cristancho S, Diachun L, et al. ‘How would you call this in English?’ Being reflective about translations in international, cross-cultural qualitative research. Perspect Med Educ. 2017;6:127.

질적연구에서 양적정보의 보고: 저자와 리뷰어를 위한 가이드(Addiction, 2014)

Reporting quantitative information in qualitative research: guidance for authors and reviewers

숫자의 부재는 종종 질적 연구를 정의하는 특징으로 보인다[1]. 그럼에도 불구하고, 질적 연구자들은 그들의 데이터를 작성할 때 숫자나 반정량화(예: '많이' 또는 '가장 많이'와 같은 용어)를 자주 사용한다. 우리는 서로 다른 질적 연구자들이 본질적으로 [질적 연구에서 양적 정보가 표현되어야 하는지]에 대해 강한 (하지만 서로 상충되는) 신념을 가지고 있음을 발견했다. (질적 연구란 즉, 인터뷰, 그룹 토론 또는 기타 언어 자료에서 발생하는 보고 개념, 주제 및 아이디어를 말한다)

The absence of numbers is often seen as a defining feature of qualitative research [1]. Despite this, qualitative researchers frequently use numbers or semi-quantification (e.g. terms such as ‘many’ or ‘most’) when writing up their data. We have found that different qualitative researchers can have strongly held, but opposing, views on whether and how quantitative information should be expressed in what are essentially qualitative studies (that is, studies reporting concepts, themes and ideas arising from interviews, group discussions or other linguistic material).

첫째, 왜 연구자들이 정성적 연구의 보고서에 양적 또는 반양적 정보를 전달하고자 하는지를 생각해 보자. 표본 특성(예: 참가자 수 및 주요 인구 통계)을 설명하기 위한 숫자의 사용은 필수적이며 논란의 여지가 없다. 그 외에도, 정량화 또는 반정량화는 데이터 분석의 투명성을 향상시킬 수 있고, [2], 진술[3]에 정밀성을 부여하며, 데이터의 패턴이 보다 명확하게 나타날 수 있도록 [4], 그리고 초점을 제공함으로써 주요 발견의 의미를 증가시킬 수 있다는 주장이 제기되었다[5].

First, let us consider why researchers might want to convey quantitative or semi-quantitative information in reports from qualitative studies. The use of numbers to describe sample characteristics (e.g. number of participants and key demographics) is essential and uncontroversial. Beyond that, it has been argued that quantification or semi-quantification can improve the transparency of data analysis [2], give precision to statements [3], enable patterns in the data to emerge with greater clarity [4] and increase the meaning of key findings by providing focus [5].

그러나 정량화 또는 반정량화는 문제가 될 수 있다. 예를 들어, 모든 사람에게 동일한 방식으로 정확히 동일한 질문을 하지 않았다면, 주어진 응답이나 떠오른emergent 테마의 빈도를 보고하거나 암시하면, 연구된 샘플 내에서조차 데이터가 잘못 전달될 수 있다. 또한, 숫자의 사용은 질적 작업에서 수집되는 보다 가치 있고 상세하며 미묘한 데이터로부터 주의를 다른 곳으로 돌리게 만드는 경향이 있다[6]. 한편, 보다 개념적인 우려는 숫자를 제시하면 질적 연구의 목표와 양립할 수 없는 '객관적이고 측정 가능한 현실'을 의미한다는 것이다[3]. 마지막으로, 숫자를 제시하면 무의식적으로나마 저자와 독자가 연구발견finding에 대해 부적절한 일반화를 할 수 있다[3,6].

Quantification or semi-quantification can, however, be problematic. For example, if not everyone has been asked exactly the same questions in the same way, reporting or alluding to the frequency of a given response or emergent theme will probably misrepresent the data, even within the sample studied. In addition, the use of numbers tends to detract from the more valuable, detailed and nuanced data that are collected in qualitative work [6]. A more conceptual concern, meanwhile, is that presenting numbers implies an ‘objective’ and measurable reality that is incompatible with the goals of qualitative research [3]. Finally, presenting numbers can sometimes lead both the author and the reader to make inappropriate generalizations about the findings, albeit unconsciously [3,6].

Ritchie & Lewis는 '질적 연구에 권장되는 규모와 설계의 연구'인 경우, 연구참여자 집단에 한정되며, 그 밖의 어떤 집단에 대해서도 prevalence나 distribution에 대한 어떠한 진술도 서포트하지 않는다'고 주장한다. 여기서 '연구참여자 집단에 한정'이라는 문구가 결정적이다.

Ritchie & Lewis argue that if the study ‘is of the scale and design recommended for qualitative research, it will not support any statements about prevalence or distribution other than within the sample itself ’ ([6], p. 311). Here, the phrase ‘within the sample itself ’ is crucial.

패턴 인식은 정성적 데이터 분석의 중요한 측면이 될 수 있다. 질적 연구자들이 사건, 경험 또는 테마 등의 형태로 패턴을 식별하기 위해 데이터를 코드화하거나 분류할 때, 그들은 실제로 계산의 형태를 취한다[5]. 연구자들이 '몇 개', '일부', '몇몇', '다수'(참가자를 지칭) 또는 '레어', 'occasional', '공통', '일반' 또는 '일반적'(사건, 경험 또는 주제를 지칭)과 같은 단어를 사용하여 모호하게 정의된 범위의 숫자를 암시하는 경우에 발생하기 때문에, 이것을 '반정량화'라고 부를 수도 있다. 신중하게 사용될 경우, 이러한 유형의 반정량화는 연구자가 데이터의 규칙성, 특이성 및 특이성에 주의를 기울일 수 있게 할 수 있지만, 연구 모집단을 넘어 일반성을 전달하기 위한 것은 아니다[7].

Pattern recognition can be an important aspect of qualitative data analysis. When qualitative researchers code or categorize their data to identify patterns in the form of events, experiences or themes, etc. they are, in practice, undertaking a form of counting [5]. We might refer to this as ‘semi-quantification’, as it occurs when researchers imply a vaguely defined range of numbers by using words such as ‘a few’, ‘some’, ‘several’ or ‘many’ (to refer to participants) or ‘rare’, ‘occasional’, ‘common’ or ‘typical’ (to refer to events, experiences or themes) [5]. This type of semi-quantification, when performed judiciously, can enable the researcher to draw attention to regularities, peculiarities and idiosyncrasies in the data; but it is not meant to convey generalizability beyond the study population [7].

우리 Addiction 저널에서는 저자들에게 다음과 같은 접근법을 제시한다.

Addiction suggests the following approach to authors

1 연구대상자 외의 집단에서는, 관찰된 현상의 유병성에 대해 어떠한 추론도 도출할 수 없음을 독자들에게 상기시키는 명확한 진술을 포함시킨다. 이것이 불필요하게 보일 수도 있지만, 이 저널은 매우 다양한 독자층을 가지고 있으며, 그들 중 다수는 학문적 연구자가 될 수 없을 것이며, 어떤 경우든 저자들이 이러한 한계를 충분히 인식하고 있다는 것을 전달하는 것이 유용하다.

1 Include a clear statement reminding readers that no inferences can be drawn about the prevalence of phenomena observed beyond the sample. While this might seem unnecessary, the journal has a very diverse readership, many of whom will not be academic researchers and, in any event, it is useful for authors to convey that they are fully aware of this limitation.

2 모든 참가자에 대해 비교가 가능한 방식으로 보여질 수 있는 raw number의 보고는 지양하라. 예를 들어 10명을 인터뷰하는 과정에서 3명이 특정 관점을 보고했지만, 모든 참가자가 (인터뷰의 흐름상) 그런 관점을 보고할 기회를 갖지 못했다면, 이 숫자(3명)은 차라리 열거하지 않는 것이 좋다.

2 By and large, limit reporting of raw numbers to features that have been assessed for all the participants in a manner that allows for comparison. If, for example, in the course of interviews with 10 people, three reported a particular point of view but not all the participants had an opportunity—because of the flow of the interviews—to report such a view, it is better not to enumerate this.

3 검사의 표본 크기가 50 또는 그 근처가 아닌 경우 백분율을 피한다. 일부 질적 연구자들은 그러한 표본 크기가 질적 연구가 될 수 없다고 주장하지만, 중독은 질적 연구에는 여러 가지 유형이 있으며 이들 중 일부에 대해서는 비교적 큰 표본이 적절하다고 인식하고 있다.

3 Avoid percentages unless the study has a sample size greater than 50 or thereabouts. Some qualitative researchers argue that such a sample size cannot be a qualitative study, but Addiction recognizes that there are many different types of qualitative study and relatively large samples are appropriate for some of these.

4 왜 적절한지에 대한 구체적인 정당성이 없다면, 특정 용어('대다수', '소수', '가장' 등)과 같은 특정한 양적 의미를 갖는 용어를 사용하지 마십시오. 우리는 이런 종류의 언어가 적절하지 않을 것이라고 믿는다.

4 Do not use terms that have a specific quantitative meaning, e.g. ‘majority’, ‘minority’, ‘most’, without providing a specific justification for why such language is appropriate. We believe this kind of language will rarely be appropriate.

5 어떤 형태의 반정량화가 필요한 경우, '약간의', '몇몇', '일부', '다수' 등과 같은 비특이적인 용어를 적절하게 사용하는 편이 낫다. 그러나 여전히, 위의 4와 마찬가지로, 항상 명확한 정당성이 제공되어야 한다.

5 If some form of semi-quantification is required, it is often better to use appropriately non-specific terms such as: ‘a few’, ‘several’, ‘some’, ‘many’ etc. As with point 4, explicit justification should always be given.

Reporting Quantitative Information in Qualitative Research: Guidance for Authors and Reviewers

• PMID: 24422609
 
• DOI: 10.1111/add.12408

프로그램평가 데이터를 질적연구에 활용하기 (J Grad Med Educ, 2016)

Using Data From Program Evaluations for Qualitative Research

Dorene F. Balmer, PhD Jennifer A. Rama, MD, MEd Maria Athina (Tina) Martimianakis, PhD Terese Stenfors-Hayes, PhD

도전

The Challenge

질적 연구자들에게 제기되는 일반적인 질문은 ''우리 프로그램의 평가에서 수집한 자유 텍스트 항목으로 질적 연구를 할 수 있는가? 거기에는 좋은 피드백이 있다!'라고 말했다. 하지만, 과정 종료 또는 로테이션 종료 평가에 자유 텍스트 항목으로서 풍부하고 건설적인 데이터가 있을 수 있지만, 그 텍스트를 연구를 위한 데이터로 사용하는 것은 프로그램 평가 목적으로 수집될 때 문제를 일으킬 수 있다.

A common question posed to qualitative researchers is, ‘‘Can I do qualitative research with the free-text entries from our program’s evaluations? There’s good feedback in there!’’ While there may be rich, constructive data as free-text entries on end-of-course or end-of-rotation evaluations, using that text as data for research can present problems when it is collected for program evaluation purposes.

알려진 내용(또는 토론된 내용)

What Is Known (or Debated)

연구와 프로그램 평가 모두 철저하고 체계적인 질의지만, 다음과 같은 오랜 논쟁이 있다. 연구와 프로그램 평가는 이론적으로 구별되는가, 실질적으로 구별되는가, 아니면 같은 것인가? 이 둘의 구분은, (만약 이 둘의 구분이 존재한다면) 프로그램 평가를 위한 설문조사에 대한 주관식 서술 항목과 같이 질적인 데이터를 이용가능한 상황에서 이 둘의 구별은 덜 명확해진다. 교육 프로그램은 일반적으로 동적 구성요소로 구성되며 복잡하고 예측 불가능한 맥락에서 펼쳐지기 때문에, 프로그램 평가는 프로그램 목표가 명확해지거나 개입이 새로운 학습에 길을 내줄 때 시간이 지남에 따라 적응해야 할 수 있다.2,3

Although research and program evaluation are both thorough, systematic inquiries, there is a long-standing debate: Are research and program evaluation theoretically distinct, practically distinct, or one-and-the-same?1 The distinction, if it exists, becomes less clear when available data are qualitative in nature, as when the data are free-text entries on surveys intended for program evaluation. Because educational programs typically consist of dynamic components and unfold in complex, unpredictable contexts, program evaluation may have to adapt over time as program goals are clarified or as interventions give way to new learning.2,3

그러나 연구와 프로그램 평가 사이에는 핵심적인 차이가 있다. 이 글에서 우리는 이러한 질의는 

(1) 이 둘이 다루는 문제, 

(2) 의도된 범위, 

(3) 일반적으로 Work의 질을 판단하기 위해 사용하는 표준(특히 데이터)

However, there are key differences between research and program evaluation. In this article, we propose that these inquiries are distinct in (1) the issues they address; (2) their intended scope; and (3) the standards they use to judge the quality of the work in general, and the data in particular.

이슈와 스콥

Issues and Scope

질적 연구는 대개 이론적인 문제를 다루며 "왜 이런 일이 생기는가?"와 같은 질문을 던진다.

Qualitative research usually addresses theoretical issues, asking questions such as, ‘‘Why is this happening?’’

반대로, 프로그램 평가는 대개 실제적인 문제를 다루고 "실제로 무슨 일이 일어나고 있는가?" 또는 "무슨 일이 일어나야 하는가?"와 같은 질문을 던진다. 이러한 질문에 대한 답은 [(연구 결과를) 다른 맥락으로 transfer할 수 있다는 엄격한 주장보다는], 프로그램 개선전략이나 프로그램의 가치에 대한 판단을 로컬하게 알리는 것을 목표로 한다.

Conversely, program evaluation usually addresses practical issues and asks questions such as, ‘‘What is actually happening’’ or ‘‘What should be happening?’’ Answers to these questions aim to inform strategies for program improvement or judgments about the worth of a program locally, without stringent claims for transferability to other contexts.

질적 연구에서도 때때로 "무슨 일이 일어나야 하는가?"라고 질문할 수 있고 프로그램 평가에서도 "왜 이런 일이 일어나는가?"를 다룰 수 있다. 그러나, 일반적인 문제들과 프로젝트의 범위는 다르다.

Qualitative research may occasionally ask, ‘‘What should be happening?’’ and program evaluation may address, ‘‘Why is this happening?’’ However, the general issues addressed and the project’s scope are different (TABLE).

품질판단기준

Standards for Judging Quality

정성적 연구의 방법론적 엄격성에 대한 표준은 다음을 포함한다. 

• 신뢰할 수 있는 데이터(내부 타당성을 위한 프록시), 

• 양도 가능한 데이터(외부 타당성을 위한 프록시), 

• 신뢰할 수 있는 데이터(신뢰성을 위한 프록시), 

• 확인 가능한 데이터(객관성을 위한 프록시)가 있는가?5

Standards for methodological rigor in qualitative research include the following: Are the data 

• credible (a proxy for internal validity), 

• transferable (a proxy for external validity), 

• dependable (a proxy for reliability), and 

• confirmable (a proxy for objectivity)?5

프로그램 평가(의 질 판단)를 위한 표준은 실제 관심사에 대한 방법론적 초점이 다르다. 데이터가 의사결정에 유용한가?, 데이터를 수집할 수 있는가?, 이해관계자 관점을 정확히 대표하고 있는가?6

Standards for program evaluation have a different methodological focus on practical concerns: Are the data useful for informing decisions, feasible to collect, and accurate representations of stakeholder perspectives?6

연구에서 차이가 중요한 이유

Why Differences Matter in Scholarship

의학 교육자들은 프로그램 평가를 위해 수집된 자유 텍스트 질문에 대한 응답을 후향적으로 질적 연구 기준에 맞추려고 애쓸 수 있다. 이것은 보통 학술지에 논문을 출판하고자 하는 욕구와 함께 일어날 수 있다.

Medical educators may try, inadvisably, to retrospectively fit responses to free-text questions collected for program evaluation into rigorous standards for qualitative research. This may occur with the desire to disseminate their work in academic journals.

예를 들어, 로테이션 평가에 대한 자유 텍스트 항목의 정보가 교육 프로그램을 refine하기 위해 어떻게 사용되었는지 설명하기 보다는(프로그램 평가자가 관심이 있음), 그들은 데이터의 풍부함과 신뢰성에 초점을 맞춘다(연구자가 관심이 있음). 마찬가지로, 교수진과의 인터뷰를 통해 수집된 데이터가 평가자에게 중요한 온라인 CME 프로그램의 국지적local 가치를 확립하는 데 어떻게 도움이 되었는지에 대해 걱정하기보다는, 편의 샘플링 전략을 사용한 것이 다른 연구자들에게 어떻게 보여질지에 대해 걱정한다.

For example, rather than describing how information in free-text entries on end-of-rotation evaluations was used to refine an educational program, which would be of interest to evaluators, they focus instead on abundance and credibility of data, of interest to researchers. Similarly, rather than discussing how data collected from interviews with faculty members helped establish the local worth of an online continuing medical education program, which would be of concern to evaluators, they fret about their convenience sampling strategy, of concern to researchers.

그렇다고 해서 프로그램 평가가 연구보다 체계적이거나 생각적으로 덜 진행되어야 한다는 뜻은 아니다. 오히려, 요점은 각 프로젝트에 대한 초기 결정은 (비록 유일하진 않지만) 서로 다르다는 점이다: 주로 이론적인 문제를 다룰 것이냐(연구)나 실제적인 문제를 다룰 것이냐(프로그램 평가)

This is not to say that program evaluation should be conducted less systematically or thoughtfully than research. Rather, the point is that initial decisions about each project will be guided differently: primarily, although not solely, by theoretical issues (research) or by practical issues (program evaluation).

선을 흐리게 하는 것으로 돌아가기

Back to Blurring the Lines

최근 일부 의학 교육 학자들은 (학습자가 배우는 방법과 같은) 교육 과정을 뒷받침하는 메커니즘을 이해하는 것이 프로그램 평가와 유사하다고 제안했다.2 이러한 관점에서, 인간의 작용 과정human process을 이해하기 위해서는 연구의 방법론적 엄격성이 요구된다.

Recently, some medical education scholars have proposed that understanding mechanisms underpinning educational processes, such as how learners learn, is akin to program evaluation.2 From this point of view, methodological rigor of research is required to understand the human processes at play.

오늘 시작할 수 있는 것

How You Can Start TODAY

1. 프로젝트 시작 시 질적 데이터가 관련될 때(예: 자유 텍스트 항목) 그 목적에 대해 명확히 하십시오. 질적 연구를 위한 표준과 프로그램 평가를 위한 표준 중 어떤 표준을 제시하는가?

1. Be clear at the start of your project about its purpose when qualitative data are involved (eg, free-text entries). Which standards are indicated: those for qualitative research or those for program evaluation?

2. 프로젝트의 목적이 명확해지면 적절한 기준에 따르십시오.

2. Once the purpose of your project is clear, attend to the appropriate standards.

3. 질적 연구와 프로그램 평가가 충족시켜야 할 기준의 세트가 서로 다르다는 것을 안다.

3. Expect qualitative research to meet one set of standards and program evaluation to meet another.

장기적으로 할 수 있는 것

What You Can Do LONG TERM

1. 활용 중심의 평가, 개발 평가, 현실주의 평가 등 질적탐구에 잘 맞는 프로그램 평가 모델을 숙지한다.1–3

1. Become familiar with models of program evaluation that fit well with qualitative inquiry such as utilization-focused evaluation, developmental evaluation, or realist evaluation.1–3

2. 프로그램 평가 작업을 배포할 때, 청중에게 데이터의 품질을 판단하는 데 사용한 표준을 알려야 한다. 이 기준은 질적 연구와는 다르지만 여전히 중요하다.

2. When disseminating your program evaluation work, inform your audience of the standards you used to judge the quality of your data, standards which are as important as, but different from, qualitative research.

3. 의학교육에서 표준적합성 질적 연구와 표준적합성 프로그램 평가를 모두 보급할 수 있는 추가 장소를 지지한다.

3. Advocate for additional venues in which to disseminate both standard-conforming qualitative research and standard-conforming program evaluation in medical education.

Using Data From Program Evaluations for Qualitative Research

• PMID: 28018547
 
• PMCID: PMC5180537
 
• DOI: 10.4300/JGME-D-16-00540.1

신뢰, 논리, 감정에 어필하여 설득력을 높이기 위하여 레토릭을 사용하기(Perspect Med Educ, 2018)

Using rhetorical appeals to credibility, logic, and emotions to increase your persuasiveness

Lara Varpio1

뜻이 있는 곳이면 어디든지 설득이 있다.—케네스 버크[1]

Wherever there is meaning there is persuasion.—Kenneth Burke [1]

과학적 연구는 많은 사람들에게 객관성과 합리성의 전형이다. 하지만 버크가 우리에게 상기시켜주듯이, 우리의 연구의 의미를 다른 사람들에게 전달하는 것은 설득을 포함한다. 즉, 연구논문을 쓸 때는 독자가 나의 합리성을 받아들이도록 설득할 수 있는 주장을 구성해야 한다.

Scientific research is, for many, the epitome of objectivity and rationality. But, as Burke reminds us, conveying the meaning of our research to others involves persuasion. In other words, when I write a research manuscript, I must construct an argument to persuade the reader to accept my rationality.

과학 연구는 도전적인 질문에 대답하는 것에 초점을 맞춘 사회 활동이다. 이러한 질문에 답할 때, 우리가 제안하는 해결책은 단지 제안일 뿐이다. 우리의 해결책은 [더 설득력 있는 설명을 제공하는 더 나은 제안이 나타날 때까지만] 공동체에 의해 받아들여진다. 즉 우리가 알고 있는 모든 것은 일단 받아들여지지만, 영원히 받아들여지지는 않는 것이다.

Scientific research is a social activity centred on answering challenging questions. When these questions are answered, the solutions we propose are just that—propositions. Our solutions are accepted by the community until another, better proposition offers a more compelling explanation. In other words, everything we know is accepted for now but not forever.

연구 결과를 작성할 때 설득력이 필요하다는 얘기다. 우리는 독자들이 우리의 발견과 그것들로부터 우리가 도출한 결론을 받아들이도록 설득해야 한다. 우리의 결론을 수용하려면 이미 널리 채택된 관점을 철회해야 할 수도 있다. 혹은 독자들에게 어떤 현상에 대한 새로운 사고방식을 채택하도록 요구할 수도 있다.

This means that when we write up our research findings, we need to be persuasive. We must convince readers to accept our findings and the conclusions we draw from them. That acceptance may require dethroning widely held perspectives. It may require having the reader adopt new ways of thinking about a phenomenon.

아리스토텔레스 모든 설득 행위에서 세 가지 호소, 즉 에토스, 로고스, 파토스를 확인했다. 

첫째는 저자에, 

둘째는 주장에, 

셋째는 독자에 초점을 맞춘다.

Aristotle. identified three appeals at play in all acts of persuasion: ethos, logos and pathos. The first is focused on the author, the second on the argument, the third on the reader.

에토스

Ethos

에토스는 저자에 대한 것이다. 에토스는 저자의 신뢰성과 신뢰감을 포함하여, 작가의 성격을 가리킨다. 독자는 저자의 권위를 확신해야 하며, 저자에게 주의를 기울여야 한다. 과학연구에서 저자는 엄격하고 전문적인 연구자로서의 신빙성을 확립해야 한다. 그렇다면 에토스의 상당 부분은 이성과 정당성을 갖춘 연구 방법론과 방법을 사용하는 데 있다. 그러나, 저자에 대한 신뢰는 유사성과 경의와 같은 수사적 기법을 사용하여 강화될 수 있다.

Ethos is the appeal focused on the writer. It refers to the character of the writer, including her credibility and trustworthiness. The reader must be convinced that the author is an authority and merits attention. In scientific research, the author must establish her credibility as a rigorous and expert researcher. Much of an author’s ethos, then, lies in using well-reasoned and justified research methodologies and methods. But, a writer’s credibility can be bolstered using a number of rhetorical techniques including similitude and deference.

[시밀리튜드]는 저자와 독자의 유사성에 호소하여 상호 정체성을 형성한다. 'we'나 'us'와 같은 대명사를 사용하여 작가는 독자와의 공통성을 강화하여 결속감과 공동체 의식을 북돋운다.

Similitude appeals to similarities between the author and the reader to create a sense of mutual identification. Using pronouns like we and us, the writer reinforces commonality with the reader and so encourages a sense of cohesion and community.

번아웃이 우리 전공의들을 계속 괴롭히고 있지만, 의학 교육자들은 아직 이 문제의 근본 원인을 규명하지 못하고 있다. 우리는 전공의에게 이 영역을 탐구해야 할 빚을 지고 있다. 이로서 임상서비스를 하는 기간 동안 전공의들이 안녕을 보장해주어야 한다.

While burnout continues to plague our residents,medical educators have yet to identify the root causes of this problem. We owe it to our residents to delve into this area of inquiry to secure their wellbeing over their lifetime of clinical service.

대:

versus:

번아웃이 계속해서 주민들을 괴롭히고 있지만, 의학 교육자들은 아직 이 문제의 근본 원인을 규명하지 못하고 있다. 의료 교육자들은 전공의에게 빚을 지고 있으며, 평생 동안 그들의 복지를 보장하기 위해 이 조사 영역을 탐구해야 한다.

While burnout continues to plague residents,medical educators have yet to identify the root causes of this problem. Medical educators owe it to their residents to delve into this area of inquiry to secure their wellbeing over their lifetime of clinical service.

첫 번째 문장에서 저자는 레지던트 교육에 관련된 의학 교육자들의 커뮤니티와 자신을 일치시킨다. 저자는 전공의를 부양해야 하는 'we'의 일부분이다. 그녀는 그 소모적인 문제를 그녀와 독자가 함께 해결하도록 요청받은 어떤 것으로 만든다. 두 번째 문장에서, 저자는 자신을 교육자들의 이 공동체로부터 분리시킨다. 그녀는 자신과 독자 사이에 사회적 거리를 만들어 내고, 따라서 이 문제를 해결해야 하는 부담을 자기 자신이 아니라 독자의 어깨에 지운다.

In the first sentence, the author aligns herself with the community of medical educators involved in residency education. The writer is part of the we who has to support residents. She makes the burnout problem something she and the reader are both called upon to address. In the second sentence, the author separates herself from this community of educators. She creates social distance between herself and the reader, and thus places the burden of resolving the problem more squarely on the shoulders of the reader than herself.

두 표현 모두 문법적으로 똑같이 정확하다. 하나는 사회적 연결고리를 만들고, 다른 하나는 사회적 거리를 만든다.

Both phrasings are equally correct, grammatically. One creates social connection, the other social distance.

[경의를 표하는 것]은 저자가 타인에 대한 존경과 개인적인 겸손함을 나타내는 방법이다. 글쓴이는 내 의견과 같은 문구를 사용하거나 형용사(예: 스미스)나 부사(예: 존스의 중요한 저작)를 사용하여 경의를 표할 수 있다. 예를 들어:

Deference is a way for the author to signal respect for others, and personal humility. The writer can demonstrate deference by using phrases such as in my opinion, or through the use of adjectives (e.g., Smith rigorously studied) or adverbs (e.g., the important work by Jones). For example:

Jane Doe 등에 의해 행해진 사려깊은 연구는, 의사들이 체면을 구긴 학습자들 사이에서 거주자의 소진이 더 흔하다는 것을 암시한다. 다른 사람들의 요구를 반영하여[1], 우리는 이 작업이 화상 경험의 잠재적 기여자로서 동료 학습자의 역할도 고려하도록 확장되어야 한다고 주장한다.

The thoughtful research conducted by Jane Doe et al. suggests that resident burnout is more prevalent among those learners who were shamed by attending physicians. Echoing the calls of others [1], we contend that this work should be extended to also consider the role of fellow learners as potential contributors to resident experiences of burnout.

이 문장은 연구자들의 연구의 질과 그들의 발견이 제공하는 기초 위에 건설하려는 의지를 인정함으로써 이 연구원들에 대한 존경심을 보여준다.

this sentence, shows deference to these researchers by acknowledging the quality of their research and a willingness to build on the foundation provided by their findings.

우리의 글에서 무례하거나 불친절하게 구는 것은 저자를 부정적으로 비추어주는 것 외에는 아무것도 성취하지 못한다.

Being rude or unkind in our writing rarely achieves anything except reflecting poorly on the writer.

할머니가 말하셨듯이, '자갈보다 꿀 위에서 더 멀리 미끄러질 것이다.' 직관성을 확립하고 경의를 표하는 것은 작가로서의 기풍을 확립하는 데 도움이 된다. 그들은 작가가 자갈이 아닌 꿀을 만들게끔 돕는다.

as my grandmother used to say: ‘You’ll slide farther on honey than gravel.’ Establishing similitude and showing deference helps to establish your ethos as an author. They help the writer make honey, not gravel.

로고스

Logos

로고스는 저자가 제시하는 주장에 초점을 맞춘 수사적 호소력이다. 주장의 명확성과 논리적 무결성을 언급하면서 합리성에 호소하는 것이다. 따라서 로고스는 저자의 주장 중 서로 다른 요소들을 하나로 묶는 추론에 일차적으로 뿌리를 두고 있다.

Logos is the rhetorical appeal that focuses on the argument being presented by the author. It is an appeal to rationality, referring to the clarity and logical integrity of the argument. Logos is, therefore, primarily rooted in the reasoning that holds different elements of the manuscript’s argument together.

저자들은 추론의 일반적인 오류를 피하면서 그들의 주장과 그들이 논리적으로 어떻게 결론들을 이끌어내는지에 대한 지도를 작성하는데 시간을 할애하는 것이 좋다(정의와 예시로 완성되는 가장 일반적인 논리적 오류 중 12개는 퍼듀의 온라인 글쓰기 연구실[2] 참조).

Authors are well advised to spend time mapping out the premises of their arguments and how they logically lead to the conclusions being drawn, avoiding common errors in reasoning (see Purdue’s on-line writing lab [2] for 12 of the most common logical fallacies that plague authors, complete with definitions and examples).

그러나 로고스는 주장 자체의 논리에만 담겨 있는 것은 아니다. 로고는 독자가 작가의 논리를 따를 수 있어야만 달성된다. 원고에 제시된 논리적인 주장을 처리하는 독자의 능력을 뒷받침하기 위해 저자들은 표지판을 사용할 수 있다. 기표란 흔히 단어(예: 첫째, 다음, 특히, 결과적, 결과적 등)와 구(예: 결과적으로, 그리고 결론적 등)가 원고를 통과하는 동안 독자가 추리의 선을 따르도록 도와준다. 표지판은 독자에게 [다가올 논쟁의 구조], [현재 그들이 논쟁 중에 있는 장소], 그리고 [다음에 올 것을 기대할 수 있는 것]을 나타낸다.

However, logos is not merely contained in the logic of the argument itself. Logos is only achieved if the reader is able to follow the author’s logic. To support the reader’s ability to process the logical argument presented in the manuscript, authors can use signposting. Signposting is often accomplished via words (e.g., first, next, specifically, alternatively, also, consequently, etc.) and phrases (e.g., as a result, and yet, for example, in conclusion, etc.) that help the reader to follow the line of reasoning as it moves through the manuscript. Signposts indicate to the reader the structure of the argument to come, where they are in the argument at the moment, and/or what they can expect to come next.

이것이 나 자신의 원고 소개의 마지막 문장이다.

This is the last sentence in the Introduction of my own manuscripts.

본 연구는 다음 질문을 조사하여 이러한 격차를 해소한다.

This study addresses these gaps by investigating the following questions:

1. 거주자는 의료 환경에서 의사와 간호사에게 비공식적으로 얼마나 자주 교육을 받는가?

1. How often are residents taught informally by physicians and nurses in clinical settings?

2. 의사와 간호사가 거주자에게 비공식적으로 가르치는 역량은 무엇인가?

2. What competencies are informally taught to residents by physicians and nurses?

3. 의사와 간호사가 비공식 교육을 실시하기 위해 사용하는 교육 기법은 무엇인가?

3. What teaching techniques are used by physicians and nurses to deliver informal education?

서론의 마지막에, 이 문장은 독자들에게 신문의 주장이 어떻게 전개될 것인지에 대한 지도를 제공한다. 이제 독자는 원고가 이 순서대로 이 질문들을 하나하나 다 다룰 것이라고 예상할 수 있다. 또한 결과의 하위 제목과 같은 대규모 표지판을 사용할 수 있다.

At the end of the Introduction, this sentence offers a map to the reader of how the paper’s argument will develop. The reader can now expect that the manuscript will address each of these questions, in this order. I could also use large-scale signposting, such as sub-headings in the Results,

고찰에서, 나는 작은 표지판 용어와 구를 사용할 수 있다(단, 대조적으로, 추가, 최종 등).

In the Discussion, I can use small-scale signpost terms and phrases (i.e., however, in contrast, in addition, finally, etc.)

나는 여기서 한 마디 주의할 것을 제안한다: 당신의 표지판을 정확하게 사용하라. 그렇지 않으면, 당신의 글은 논리적으로 develop되지 않을 것이고 당신은 원고의 직장에서 로고스를 약화시킬 것이다.

I must offer one word of caution here: be sure to use your signposts precisely. If not, your writing will not be logically developed and you will weaken the logos at work in the manuscript.

명확하고 정확한 표지판으로 독자는 원고를 가로지르는 당신의 주장을 쉽게 따를 것이다.

With clear and precise signposting, the reader will easily follow your argument across the manuscript.

파토스

Pathos

파토스는 독자에게 초점을 맞춘 수사적 호소력이다. 파토스는 원고를 읽으면서 독자에게서 동요되는 감정을 말한다. 작가는 그들의 글에서 특정한 감정적 반응을 유발하는 것을 추구해야 한다. 그리고, 그렇다, 과학 연구 논문에도 감정의 여지가 있다.

Pathos is the rhetorical appeal that focuses on the reader. Pathos refers to the emotions that are stirred in the reader while reading the manuscript. The author should seek to trigger specific emotional reactions in their writing. And, yes, there is room for emotions in scientific research articles.

예를 들어, 대화에 참여하기: 문제/갭/후크 휴리스틱에서, 링가드는 청중들을 '흥분'시키는 것의 중요성을 강조한다. 이 고리는 '독자들에게 [현재의 문헌에서] 이 차이가 중요한 것임을 확신시킨다'[4]. 저자는 그 주장이 중요하고 독자의 관심을 끌 만한 가치가 있다고 독자를 설득해야 한다. 이것은 독자들의 감정에 호소하는 것이다.

For instance, in Joining the conversation: the problem/gap/hook heuristic Lingard highlights the importance of ‘hooking’ your audience. The hook ‘convinces readers that this gap [in the current literature] is of consequence’ [4]. The author must persuade the reader that the argument is important and worthy of the reader’s attention. This is an appeal to the readers’ emotions.

또 다른 예는 모닥불 빨간 제목에서 찾아볼 수 있다. 링가드의 설명대로, 당신의 원고의 제목은 '연구논문 안에 있는 것에 대한 광고'이다[5]. 그 제목은 독자들의 관심을 끌어야 하고 그 안에서 당신의 원고를 읽고 싶은 욕구를 불러일으켜야 한다. 여기서 다시, 파토스는 과학 연구 논문에 있다; 바로 제목 첫마디에서 독자들의 관심을 끄는 것이다.

Another example is found in Bonfire red titles. As Lingard explains, the title of your manuscript is ‘advertising for what is inside your research paper’ [5]. The title must attract the readers’ attention and create a desire within them to read your manuscript. Here, again, is pathos in action in a scientific research paper: grab the reader’s attention from the very first word of the title.

독자의 감정에 호소하는 또 다른 수사적 기법은 god term의 전략적 사용이다[1]. 버크는 god-term을 '궁극의 동기부여'가 되는 단어나 구절이라고 정의하고, 사람이 근본적으로 중시하는 특성을 구체화한 것이라고 말했다. 카드 게임(예: 브릿지 또는 유크레)에 비유하자면, god-term은 감성적인 트럼프 카드와 같다. 자유, 정의, 의무와 같은 god term은 모순된 감정을 물리치고 인간의 가치를 공유하도록 촉구한다. 우리의 연구에서 god term을 암시함으로써, 우리는 우리 글의 감정적 매력을 증가시킨다.

another rhetorical technique that appeals to the emotions of the reader is the strategic use of God-terms [1]. Burke defined God-terms as words or phrases that are ‘the ultimates of motivation,’ embodying characteristics that are fundamentally valued by humans. To use an analogy from card games (e.g., bridge or euchre), God-terms are like emotional trump cards. God-terms like freedom, justice, and duty call on shared human values, trumping contradictory feelings. By alluding to God-terms in our research, we increase the emotional appeal of our writing.

번아웃이 우리 레지던트들을 계속 괴롭히고 있지만, 의학 교육자들은 아직 이 문제의 근본 원인을 규명하지 못하고 있다. 우리는 그들의 평생 동안의 임상 서비스를 통해 그들의 행복을 확보하기 위해 이 조사 영역을 탐구하는 것이 우리 레지던트 덕분이다.

While burnout continues to plague our residents, medical educators have yet to identify the root causes of this problem. We owe i t to our residents to delve into this area of inquiry to secure their wellbeing over their lifetime of clinical service.

여기서 저자는 독자들에게 전공의들이 평생 의사로서 봉사하게 될 것이며, 우리는 그들을 대중의 건강관리 욕구를 충족시키기 위해 그들을 지원할 의무가 있다는 것을 상기시킨다. 작가는 봉사나 의무의 신념을 불러일으키는 방식으로 전공의라는 학습자들을 지지하는 것에 대한 독자의 책임감을 자극한다. 

Here, the author reminds the reader that residents will be in service as physicians for their lifetime, and that we have a duty (i.e., we owe it) to support them in that calling to meet the public’s healthcare needs. Invoking the God-terms of service and duty, the writer taps into the reader’s sense of responsibility to support these learners. 

과학 연구 논문에서 파토스를 과대평가하지 않는 것이 중요하다. 즉 독자들은 감정적 과장을 쉽게 확인할 수 있는 예리하게 지적인 학자들이다.

It is important not to overplay pathos in a scientific research paper—i.e., readers are keenly intelligent scholars who will easily identify emotional exaggeration.

요약

In summary

Peter Gould는 '데이터는 결코 스스로를 대변할 수 없다'고 명문화했다[6].

Peter Gould famously stated: ‘data can never speak for themselves’ [6].

2. Purdue Online Writing Lab. West Lafayette, IN: Purdue University. 1995. 2018. https://owl.english.purdue.edu/owl/resource/659/03/. Accessed 3 Mar 2018.

Using Rhetorical Appeals to Credibility, Logic, and Emotions to Increase Your Persuasiveness

실패의 유용성: 연구와 학문을 위한 분류학(Perspect Med Educ, 2019)

The utility of failure: a taxonomy for research and scholarship

Meredith Young

아마도 인류의 오류의 역사는, 모든 것을 고려했을 때, 그들의 발견의 역사보다 더 가치 있고 흥미로울 것이다. 진실은 균일하고, 좁다[. . ] 그러나 오류는 끝없이 다양하다1. (벤자민 프랭클린)

Perhaps the history of the errors of mankind, all things considered, is more valuable and interesting than that of their discoveries. Truth is uniform, and narrow[. . . ] But error is endlessly diversified1. (Benjamin Franklin)

우리 모두는 [위대한 학자 또는 과학자]에 대한 친밀한 전형들을 가지고 있다.

We all have our own closely-held archetypes of a great scholar or scientist

우리는 훌륭하고 성공적인 스칼라십이란 어떤 모습인지에 대해 조심스럽게 단면적인 견해를 가지고 있다[1].

We have a carefully crafted one-sided view of what good and successful scholarship looks like [1].

학자 공동체로서 우리는 또한 연구비 확보가 얼마나 어려운지를 알고 있다(내 맥락에서 성공률 16–47%) [2, 3], 그리고 특정 저널에 게재되는 논문의 낮은 비율(상위 HPE(Health Professions Education) 저널에 대한 수용률)이 약 13–30%를 맴돌고 있다[4].

As a scholarly community we are also aware of how challenging it is to secure funding (success rates in my context range from 16–47%) [2, 3], and the low percentages of papers that see publication in a given journal (acceptance rates for top Health Professions Education (HPE) journals hover around 13–30%) [4].

이러한 지표는 이종 학자들의 공동체를 위한 총체적인 성공 척도로, 프로젝트가 자금을 지원받지 못하거나 출판되지 못하는 다양한 이유가 있을 수 있다[4–11].

Those metrics are aggregate measures of success for a heterogeneous community of scholars, and a project may not receive funding or be accepted for publication for a variety of reasons[4–11]—

'피칭', 즉 프로젝트를 다른 사람에게 설명할 때, 우리는

• 문헌의 gap을 식별하지 못할 수도 있고

• 우리의 목표를 명확히 설명하지 못하거나, 일관된 이론 또는 개념 체계를 설명하지 못할 수도 있고

• 데이터 수집 또는 분석에 대한 접근 방식을 효과적으로 설명하지 못할 수도 있고

• 이 연구가 HPE 커뮤니티에 미치는 영향을 명확히 설명하지 못할 수도 있다.

In ‘pitching’ or describing a project we may have failed to identify the gap in the literature [12], failed to clearly articulate our objectives, failed to describe a coherent theoretical or conceptual framework [13, 14], failed to describe our approach to data collection or analysis effectively, or failed to articulate the impact of this piece of scholarship on the HPE community.

여기서, 나는 분명히 잘 적응하고, 잘 설계되고, 심사숙고하며, 잘 실행되지 않는 학문적 프로젝트에 초점을 맞추고 싶다. 간단히 말해 [기대되는 연구결과를 생성하지 못했거나] [가정이나 이론을 뒷받침하지 못하거나 완전히 놀랍고 종종 곤혹스러운 결과를 낳은] '좋은 연구' 에 초점을 맞출 것이다. 즉, 기대했던 결과나 지식, 영향을 일으키지 못한 이러한 수준 높은 연구 노력을 탐구하고, 학술 프로젝트의 건전한 실패는 사실 HPE에서의 성공적인 학술활동의 중요한 요소라고 주장하고 싶다.

Here, I would like to focus explicitly on the well-situated, well-designed, well-considered, and well-executed scholarly project that fails—

the ‘good study’ that simply 

fails to generate the expected learning outcomes, 

fails to support an assumption or theory, or generates entirely surprising and often puzzling results. 

In other words, I wish to explore these high-quality research endeavours that have failed to generate the findings, knowledge, or impact that were anticipated, and argue that the failure of a sound scholarly project is actually a critical component of successful scholarship in HPE.

실패는 성공의 결여로 정의될 수 있지만, 또한 '기대, 요구 또는 예상된 무언가의 비발생'으로 정의될 수 있다[16]. 연구, 프로젝트 또는 일련의 탐구 실패가 모든 과학 또는 학술 분야에서 중요한 역할을 했다[1, 17, 18]. 실패가 없다면 발견도, 새로운 이론도, 사상에서의 새로운 혁명도 있을 수 없다[17]. 가설과 이론의 반증falsification은 현재의 과학적 관행[18–20]의 특징이며, 이러한 관행은 언제 특정 아이디어가 실패하는지를 발견하는 데 의존한다. 변칙적이거나 예상치 못한 발견의 축적은 현상에 대한 [현재의 사고방식의 실패]의 표시로, 쿤은 이것이 종종 패러다임 변화의 시작을 의미한다고 제안한다[17].

Failure can be defined as a lack of success, but also as a ‘nonoccurrence of something due, required or expected’ [16]. The failure of a study, project, or line of inquiry to generate expected findings has had a critical role in every domain of science or scholarship [1, 17, 18]. Without failure there can be no discovery, no new theories, no new revolutions in thought [17]. Falsification of hypotheses, and theories have been a hallmark of current scientific practices [18–20], and these practices rest on discovering when an idea fails. The accumulation of anomalous or unexpected findings is a marker of the failure of a current way of thinking about a phenomenon, and Kuhn suggests that this often marks the beginning of a paradigm shift [17].

실패는 학술연구의 중요한 요소 중 하나이며, 우리의 사고가 진보하도록 돕기 위해 필요하다. 그러나, 과학 공동체가 크게 쓰이면서, 우리는 실패의 빈도, 실패의 이익, 실패의 직접적인 결과로 가능한 성장을 제대로 전달하지 못했다[1]. 우리는 일반 대중에게 연구에는 일정 빈도의 실패가 필요하다는 것을 인정하지 않았으며, 대신에 마치 작업한 프로그램을 의도적으로 논리적이고 선형적이며 실패가 없는 것으로 정교하게 큐레이션하고 홍보하는 것을 선택했다[1]. 우리의 실패를 조용히 정리함으로써 우리는 중요한 무의미하거나 예상치 못한 발견을 집단적으로 놓쳐왔으며, 그 결과 연습생, 동료, 그리고 종종 우리 자신으로부터 배울 수 있는 중요한 기회를 숨기거나 최소화하게 되었다.

Failure is one important component of scholarship, and is necessary to help our thinking progress. But, as a scientific community writ large, we have done a poor job of communicating the frequency of failure, the benefits of failure, and the growth that is possible as a direct result of failure [1]. We have failed to admit the frequency of failure necessary in scholarship to the general public, instead choosing to promote our carefully curated programs of work as intentionally logical, linear, and failure-free [1]. By quietly filing away our failures we are collectively missing out on important null or unexpected findings and hiding or minimizing important opportunities for learning from our trainees, peers, and often ourselves.

실패의 형태 분류법 생성

Generation of the taxonomy of forms of failure

스튜어트 파이어스타인의 저서 '실패:과학이 그렇게 성공적인 이유'[1]. 

Stuart Firestein’s book ‘Failure:Why Science is So Successful’ [1]. 

이 책에서 저자는 두 개의 인용구, 즉 에디슨과 아인슈타인의 분류법 내에서 내가 그렸던 인용구들을 그리고 있는데, 이 두 인용구들을 대조한 그의 작품은 내가 학문적인 실패의 유형에 대해 생각하는 데 기초를 두었다.

In this book, the author draws on two quotes—the ones I have drawn on as examples within the taxonomy from Edison and Einstein—and his work contrasting these two quotes laid the foundations in my thinking about the types of scholarly failure.

표1

Tab. 1.

실패의 형태

Forms of failure

혁신 지향적 실패

Innovation-oriented failure

HPE는 깊은 이론과 완전히 실용적인 분야를 연결하는 분야다. Albert는 HPE연구를 [생산자(즉, 연구자 및 학자)를 위해 생산한 작업]과 [사용자(즉, 교육자 및 교사)를 위해 생산한 작업]의 스펙트럼으로 설명했으며[37], [서비스 지향 연구]와 [발견 지향 연구] 사이의 긴장을 논의하였다[38]. HPE 연구에 존재하는 스펙트럼을 존중하는 한편, 이 분야는 최대한의 환자 관리를 지원하기 위한 최선의 교육을 보장한다는 실용적 목표에 초점을 맞춘 것으로 묘사되어 왔다. 즉, '의학교육의 1차 목표는 환자진료를 개선하는 것이다' [39, 페이지 6].

HPE is a field that bridges the deeply theoretical and the entirely pragmatic. Albert describes HPE scholarship on a spectrum of work produced for producers (i.e. researchers and scholars) to work produced for users (i.e. educators and teachers) [37], and has discussed the tension between service-oriented research and discovery-oriented research [38]. While respecting the spectrum of work present in HPE scholarship, the field has been described as centring on the pragmatic goal of ensuring the best education to support the best possible patient care. In other words, ‘The primary goal of medical education is to improve patient care’ [39, p. 6].

우리의 첫 번째 실패는 혁신적 사고방식과 강하게 연관되어 있다. 종종 혁신은 어떤 것을 '이렇게 해야 한다' 또는 '이렇게 되어야 한다'는 생각, 즉 커리큘럼을 어떻게 구성해야 하는지, 콘텐츠가 어떻게 전달되어야 하는지, 또는 역량에 대한 추론이나 판단이 어떻게 이루어져야 하는지에 대한 생각에서 시작된다. 현상을 유지하는 것에서 '해야 하는 방식'으로 바꾸려는 시도가 이루어지며, 어떤 일을 하는 새로운 방식을 혁신하고 구현하기 위한 시도가 이루어진다. 때로는 효과가 있고, 때로는 효과가 없다.

Our first kind of failure is strongly associated with an innovation mindset. Often innovations begin with an idea of how something ‘should be’ or ‘should be done’—a particular way a curriculum should be structured, how content should be delivered, or how inferences or judgments of competence should be made. Attempts are made to change from a status quo to what ‘should be’—attempts are made to innovate and implement a new way of doing something. Sometimes it works, and sometimes it doesn’t.

토마스 에디슨의 것으로 유명한 '나는 실패한 적이 없다, 단지 그것이 작동하지 않는 10,000가지 방법을 발견했다'는 인용문은 혁신 지향적인 실패의 본질을 포착하고 있다. 이런 종류의 실패는 체계적이고 진보적이며 목표 지향적인 실패다. 왜 혁신이 실패했는지에 대한 세심한 고찰과 함께 당신이 생각해야만 하는 것을 향한 느린 진군이다. 왜 기술혁신이 의도한 목표에 도달하지 못했는지에 대한 세심한 분석을 통해, 다시 한 번 시도를 할 때 기술혁신의 [프로세스나 내용을 수정]하도록 만든다. - 어떤 것을 '해야 하는' 방법에 더 가까이 다가가도록 한다.

The quote ‘I have never failed, just found 10,000 ways it doesn’t work2’, famously attributed to Thomas Edison, captures the essence of innovation-oriented failure. This kind of failure is systematic, progressive, goal-oriented failure. The slow march towards what you think should be, with careful consideration for why an innovation may have failed. Careful analysis of why an innovation failed to reach its intended goal leads to modification of process or content of the innovation often in order to try it again—to try to get closer to how things ‘should be’.

혁신지향적 실패는 가고 싶은 곳을 알 때 일어나지만, 거듭되는 시도와 실패는 어떻게 가야 하는지 알아내는 데 도움이 된다.

Innovation-oriented failure occurs when you know where you want to go, but repeated attempts and failures help you figure out how to get there.

발견 지향적 실패

Discovery-oriented failure

과학적인 사고가 어떻게 변해왔는가를 논할 때, 우리는 종종 물리학의 역사를 그린다. 중요한 예는 우리가 태양계의 중심이라는 개념을 어떻게 포기했는가 하는 것이다. 이것들은 패러다임 변화의 전형적인 예로서, 우리의 '전형적인' 이해방식이 새로운 이론, 새로운 가정, 그리고 세계의 새로운 이해로 대체될 때 나타난다. 새로운 발견, 새로운 이론, 사상에서의 새로운 혁명은 현상에 대한 현재의 이해가 실패하는 것에 달려 있다.

When discussing how scientific thought has changed, we often draw on the history of physics—a key example being how we abandoned the notion of the earth being the centre of the solar system. These are classic examples of paradigm shifts [17]—when our ‘typical’ way of understanding something is replaced by a new theory, new set of assumptions, and new understandings of the world. New discovery, new theories, new revolutions in thought are dependent on the failure of our current understanding in the face of phenomena.

우리의 두 번째 유형의 실패는 발견 지향적인 실패다. 이러한 종류의 실패는 우리가 알고 있는 것(또는 우리가 알고 있다고 생각하는 것)[40]의 경계에서 발생한다—이러한 종류의 실패는 우리가 이론을 개발하거나 시험하고 있을 때, 가설을 반증하려고 시도하거나, 어떤 사상의 일반성 또는 새로운 맥락으로의 전달 가능성을 비판적으로 검토할 때 일어난다[13, 41]. 발견지향적 실패의 전형은 아인슈타인의 '실패는 진행중인 성공이다3'라는 말로 대변될 수 있다. 이런 종류의 실패는 이론, 아이디어, 가설을 깨질 때까지 밀어붙이는 큰 규모의 실패다. 그것을 향상시키기 위해서, 혹은 언제 그것을 포기해야 하는지를 알기 위해서 그것을 더 잘 이해하기 위해서 그것이 실패할 때까지 밀어붙이는 것이다. 발견 지향적인 실패는 통념에 도전하고, 사고의 변화 가능성을 열어두고, 낡은 문제나 현상에 대한 새로운 설명을 탐구하며, 우리가 알고 있다고 생각하는 것의 한계를 시험하는 것이다.

Our second type of failure is discovery-oriented failure. This kind of failure occurs at the periphery of what we know (or think we know)[40]—this kind of failure happens when we are developing or testing a theory [32], attempting to falsify a hypothesis, or critically examine the generalizability or transferability of an idea to a new context [13, 41]. Our archetype of discovery-oriented failure is none other than Einstein for whom ‘Failure is success in progress3’. This kind of failure is purposeful failing on a grand scale—pushing a theory, an idea, a hypothesis until it breaks. Pushing it until it fails in order to understand it better in order to improve it, or to know when to abandon it. Discovery-oriented failure is what challenges conventional wisdom, opens up the possibility of changes in thought, explores new explanations for old problems or phenomena, and tests the limits of what we think we know.

어떻게 보면 발견 중심의 실패는 엔지니어링 및 제조에서 파괴 시험의 원리와 유사하다. 파괴 시험에서 물체, 물질 또는 최종 제품은 세밀한 감시 하에 다양한 조건(예: 압력, 온도, 진동)을 받는다. 그 물체는 실패할 때까지 점점 더 많은 스트레스를 받는다. 그 실패는 면밀하게 분석된다. 어떤 조건에서 실패했는가? 어떻게 실패했지? 그리고 때때로 파괴적인 테스트는 치명적인 결함을 제거하고 그 대상, 물질 또는 제품은 재설계, 재설계 및 재시험된다.

In a way, discovery-oriented failure is analogous to the engineering and manufacturing principle of destructive testing. In destructive testing, an object, material, or final product is subjected to a variety of conditions (e.g. pressure, temperature, vibration) under close monitoring. The object is subjected to increasing stress until it fails. The failure is analyzed closely—under what conditions did it fail? How did it fail? And occasionally, destructive testing uncovers a fatal flaw and that object, material, or product is re-engineered, re-designed, and re-tested.

발견 지향적 실패와 파괴 실험은 아이디어나 물체가 강하게 남아 있는 상황과 실패하는 상황을 이해하기 위해 기대한 한계를 뛰어넘는다. 이런 종류의 실패는 덜 빈번하고 덜 자주 출판된다.

Discovery-oriented failure and destructive testing both push beyond anticipated limits in order to understand the circumstances under which an idea or object remains strong, and where it fails. this kind of failure is a less frequent, less frequently published,

우연적 실패

Serendipitous failure

그리고 때때로 그저 일이 계획대로 되지 않는다. 우리는 기술혁신이나 연구를 설계하는 것은 건전한 교육 및 연구 실천에 의존하고 이론 및 개념적 프레임워크를 세심하게 만들고 연구나 개입을 시작하기 전에 가용한 작업을 도출하는 것이라는 것을 배우고 싶다. 우리는 (일반적으로) 연구가 어떻게 진행될 것 같은지, 우리가 기여하고자 하는 문헌의 어떤 이론과 토론이 어떤 것인지에 대한 감각을 가지고 있으며, 어쩌면 특정한 가설을 의도적으로 시험하고 있는지도 모른다.

And sometimes things just don’t go as planned. We are taught (and hopefully role model) that crafting an innovation or designing a study are dependent on engaging sound educational and research practices, carefully crafting theoretical and conceptual frameworks [13, 14], and drawing on available work prior to launching a study or intervention. We (generally) have a sense of how the study is likely going to progress, what theories and discussions in the literature we are intending to contribute to, and perhaps are even purposefully testing a specific hypothesis.

하지만, 어떤 때는 계획대로 되지 않는다. 아이작 아시모프가 말했다.'과학에서 들을 수 있는 가장 흥미진진한 구절, 새로운 발견을 예고하는 구절은 "유레카!"가 아니라 "그것 참 재미있군" ...'4이다. 이러한 우연한 실패는 연구와 학술활동의 실패에서 더 흔한 유형 중 하나일 수 있다.

But, some-times things don’t go as planned. Isaac Asimov said‘The most exciting phrase to hear in science, the one that heralds new discoveries, is not “Eureka!” (I found it!) but “That’s funny” ...’4. This serendipitous failure may be one of more common types of failure in research and scholarship—

이러한 기회주의적 실패는 발견의 패턴 뒤에 숨겨진 '왜'를 이해하기 위해 예상치 못한 발견과 연관시키고 추적하는 데 초점을 맞춘다[42].

This opportunistic failure focuses on engaging with and chasing the unexpected finding to try to understand the ‘why’ behind the pattern of findings [42].

일반적으로 과학철학의 핵심 사상가로 여겨지지는 않지만, 우리의 우연한 실패의 전형은 '실수라는 것은 없다. 그저 행복한 작은 사고들만 있을 뿐이다'이라고 말한 미국의 공공 화가 밥 로스다. 아시모프와 로스 둘 다 예상치 못한 사건의 가치를 인식하고, 실패를 전통적인 관념으로 보기보다는, [새로운 이해를 창조하거나 발견하기 위한 기회를 수용하기 위한 기회로 인식 전환을 가능캐해주는 통찰력과 진보]로 바라본다. 이러한 종류의 실패는 반직관적인 발견, 전형적인 접근법이나 틀에 대한 질문, 그리고 전통적인 사고방식에 대한 생산적인 조사방식의 발견을 가능하게 한다. 이런 종류의 실패를 이용하기 위해서는, 우리는 우연한 발견과 예기치 못한 발견 뒤에 있는 메커니즘을 탐구하는 데 열려 있어야 한다.

While not typically considered a key thinker in the philosophy of science, our archetype for serendipitous failure is American public painter Bob Ross, who said ‘there are no mistakes, just happy little accidents’. Asimov and Ross both recognize the value of unexpected events—and suggest the insights and progress possible in shifting perception from traditional notions of failure to opportunities to embrace the unexpected to create, or uncover, new understanding. This kind of failure allows for the circumstantial discovery of counter-intuitive findings, of questioning typical approaches or frames, and of productive lines of inquiry counter to traditional pathways of thinking. In order to harness the benefits of this kind of failure, we must be open to exploring the mechanisms behind our serendipitous and unexpected findings.

고찰

Discussion

첫째, 실패가 의도성이 있는지, 혁신 지향적이었는지, 발견 지향적이었는지, 예상치 못한 뜻밖의 실패였는지는 연구와 학술활동의의 필수적인 요소라는 것이다. '과학은 어리둥절한 어리둥절함, 회의론, 실험의 난해함 속에서 성장한다'[1,p.59], 우리는 일반적으로 의미 있는 실패 뒤에 행해진 종종 어리둥절하고, 예상치 못한, 도전적인 작업을 감추고, 따라서 다소 정리된 형태의 학문적 과정을 영속시켜 왔다[1]. 우리는 실패의 가치를 과소평가해왔고, 이것은 좋은 연구가 선형적이라는 편견, 성공 중심성에 대한 편향된 관점을 형성하게 기여했을 가능성이 높다[1]. 우리가 현대 과학을 논리적이고 선형적인 방법으로 서서히 증거를 축적하는 것으로 생각하는 경향이 있는 반면, 포퍼는 성공 가능성이 높은 작고 안전한 가설들이 지식을 쌓는 데 기여하지만, 이해를 진전시키는 데는 도움이 되지 않는다고 제안했다. 오히려, 앞으로 나아가는 위대한 발걸음은 크고 위험한 아이디어에서 나온다. 실패 가능성이 높은 아이디어는 우리의 사고 진전에 도움을 주는 아이디어들이다[18].

The first is that failure is an integral component of research and scholarship—whether that failure was purposeful and innovation-oriented, discovery-oriented, or unanticipated serendipitous failure. ‘Science grows in the mulch of puzzled bewilderment, scepticism, and experiment’ [1,p.59],and we have typically hidden the often puzzling, unanticipated, and challenging work done following a meaningful failure, and so have perpetuated a rather tidiedup version of the scholarly process [1]. We have underrepresented the value of failure, and this has likely contributed to a skewed perspective of the linearity and success-focused nature of good scholarship [1]. While we tend to think of modern science as slowly accumulating evidence in a logical, linear way, Popper has suggested that small, safe hypotheses with a high likelihood of success contribute to building knowledge, but don’t help advance understanding. Rather, great steps forward come from big, risky ideas—ideas that have a high likelihood of failure are the ones that help our thinking progress [18].

두 가지 결과가 있을 수 있다: 

만약 결과가 가설이 옳았다면, 당신은 측정을 한 것이다. 

만약 결과가 가설에 반하는 것으로 나왔다면, 당신은 발견을 한 것이다.5

There are two possible outcomes: if the result confirms the hypothesis, you’ve made a measurement. If the result is contrary to the hypothesis, then you’ve made a discovery.5

과학에서 실패가 중요한 역할을 한다는 것을 인정하면서, 우리는 실패가 제공하는 기회를 의도적으로 이용해야 한다(표 2의 특정 권고사항). 이 작품 전체에 걸쳐 짜여진 암묵적인 주장은 실패한 프로젝트가 실패한 연구는 아니라는 것이다. 그러나, 왜 특정한 혁신이 실패했는지 또는 왜 실패한 프로젝트를 성공적인 장학금으로 바꾸기 위해 특정한 결과의 패턴이 생성되었는지 이해하기 위해 많은 노력이 필요하다.

Acknowledging that failure has an important role to play in science is an important first step, we must also purposefully engage with the opportunities that failure provide (specific recommendations in Tab. 2). An implicit argument woven throughout this piece is that a failed project is not failed scholarship. However, hard work is needed to understand why a particular innovation failed, or why a particular pattern of results were generated in order to turn a failed project into a successful piece of scholarship.

실패를 교훈으로 삼아야 한다.

engage with the failure in order to learn from it.

• 왜 혁신이나 개입이 문제를 해결하지 못했는지, 

• 왜 어떤 특정한 조건에서 이론이 실패하는지, 

• 왜 깨끗하게 설계된 연구가 예상치 못한 방향으로 진행되었는지.

why an innovation or intervention failed to solve a problem, 

why a theory fails under certain conditions, or 

why a cleanly designed study went in an unanticipated direction.

그러나, 이러한 목적적 참여는 시간이 걸리고, 종종 후속 연구를 위한 자원이 필요하며, 때때로 새로운 이론적 렌즈를 배우고 채택하는 것을 포함하며, 때로는 주어진 장학금 전체에 내재된 자신의 가정을 비판적으로 재고하는 것을 포함한다. 실패한 프로젝트를 제쳐놓거나 서랍 바닥에 집어넣어버리는 것이 더 쉬울 수 있지만, 실패에 관여하지 않는 것을 선택하는 것은 학문적으로 성장하기 위한 기회를 놓치는 것이다

But, this purposeful engagement takes time, often requires resources for follow-up studies, occasionally involves learning and adopting a new theoretical lens, and sometimes involves critically reconsidering your own assumptions embedded throughout a given piece of scholarship. It may be easier to put a failed project aside, or tuck it into the bottom of a file drawer, but choosing not to engage with a failure is a missed opportunity for scholarly growth.

의도적으로 실패에 관여하는 것은 연구팀에 유익할 수 있지만, 연구란 근본적으로 사회적 노력이다. 우리 공동체는 사회적으로 배운다. 우리는 다른 사람들의 일을 통해 배운다. 생산적 실패가 제공하는 기회를 공동체적으로 활용하기 위해서는 공개적으로 실패와 협력해야 한다. 공개적으로 실패를 공유하는 것은 쉽지 않다.

While purposefully engaging with failure can be informative to a research team, scholarship is a fundamentally social endeavour. Our community learns socially—we learn from the work of others. In order to capitalize as a community on the opportunities provided by productive failure, we must publically engage with failure. Sharing failure publically is not easy.

과학은 외부인들이 상상하는 직설적인 논리적인 방식으로 진행되지 않는다. 대신에 한 발 앞으로 (그리고 때로는 뒤로) 가는 경우는 종종 매우 인간적인 사건이다.

Science seldom proceeds in the straightforward logical manner imagined by outsiders. Instead its steps forwards (and sometimes backward) are often very human events6.

실패에 대한 공개와 실패한 프로젝트를 이해함으로써 도출된 중요한 통찰력은 우리의 건강직업 교육(HPE) 학계 커뮤니티에서 가치 있는 것으로 볼 필요가 있다.

Public disclosure of failure, and important insights drawn from understanding a failed project, need to be seen as valuable by our Health Professions Education (HPE) scholarly community.

공동체로서, 우리는 우리의 집단적 지식 기반을 키우기 위해 생산적인 실패와 그것으로부터 비롯되는 우리의 통찰에 대해 더 편안하게 토론할 필요가 있다. 다른 것이 아니라면, 실패한 프로젝트에 대한 고의적인 공개 토론은 제한된 연구와 교육 자원을 더 효과적으로 사용하게 할 수 있다. 만약 우리가 누군가가 시도하고 실패했다는 것을 안다면, 우리는 같은 것을 다시 시도함으로써 이득을 얻을 것 같지 않다.

As a community, we need to become more comfortable discussing productive failures and our insights that have resulted from them in order to grow our collective knowledge base. If nothing else, deliberate public discussion of failed projects could lead to more effective use of limited research and educational resources—if we know that someone has tried and failed, we are unlikely to benefit from trying the same thing again.

실패에 의도적으로 관여하고, 실패한 일을 공개적으로 논하는 것은 적절한 학술 자원 관리 및 성공적인 혁신의 더 나은 translation에 기여할 수 있다[45]. 또한, 의도적으로 실패에 관여하는 것은 커뮤니티 전체의 성장형 마음가짐을 가져올 수 있다[46]. 여기서 우리는 실패에 관여하는 것을 학문적 공동체로서 성장과 발전의 기회로 평가할 것이다.

Purposefully engaging with failure, publicly discussing failed work, could contribute to appropriate scholarship resource stewardship and better translation of successful innovations (if we know why/how they have failed) [45]. Further, purposefully engaging with failure could embed a community wide growth mindset [46]—where we would value engaging with failures as opportunities for growth and development as a scholarly community.

커뮤니티 전체의 성장 사고방식의 가능성 외에도, 광범위한 교육 문헌에서의 연구는 생산적 실패의 이점을 문서화했다[47].

In addition to the possibility of a community-wide growth mindset, work in the broader educational literature has documented the benefits of productive failure [47].

집단으로 일하는 학생들이 능력 밖의 문제를 해결하기 위해 창의적으로 문제를 해결하려고 노력하지만, 그렇지 않다면 그렇게 하는 경우는 드물다. 그러나 이러한 '생산적인 실패'의 효과는 학생들이 개별적으로 문제를 풀어나갈 때 나타난다. 문제를 해결하는 데 실패하도록 설계된 그룹에서 작업한 사람들은 후속 작업에 더 잘 수행한다. 그들은 잘 정의되지 않은 문제와 잘 정의되지 않은 문제를 모두 해결할 수 있다. 해결할 수 없는 문제를 해결하기 위해 고군분투하는 후유증은 나중에 문제를 더 잘 풀 수 있다는 것이다.

For the students who work in groups to solve problems outside of their abilities, they engage creatively trying to solve the problem, but rarely, if ever, do. But the effects of this ‘productive failure’ are seen when the students go on to solve problems individually. Those who worked in groups designed to fail to solve the problem perform better on the subsequent tasks—they are better able to solve both well- and ill-defined problems. The aftereffects of struggling to solve an unsolvable problem are that you are better able to later solve problems.

생산적 실패의 현상은 고등교육의 맥락[48]에 적용되었고, 계속 다듬고 토론되고 있지지만, 기초적인 개념은 연구와 학술활동에서 실패의 가치에 대한 논의에 여전히 도움이 된다. 실패한 학문적 프로젝트에 관여하는 것 자체가 통찰력이나 해결책으로 이어지지 않을 수도 있지만, 그럼에도 불구하고 그것은 우리의 다음 문제나 프로젝트에 더 효과적으로 관여하는 것을 촉진할 수 있다. 한 프로젝트에 실패하는 것을 감수하는 것은 다음 학문적 프로젝트에 도움이 될 수 있다.

The phenomena of productive failure has been applied in higher education contexts [48], and continues to be refined [49] and debated, however the underlying notion remains helpful for a discussion of the value of failure in research and scholarship. While engaging with our failed scholarly projects may not in itself lead to insight or solution, it may nevertheless facilitate engaging with our next problem or project more effectively—engaging with the failure on this project may support our next scholarly project.

마지막으로, 과학의 실패를 성찰하는 것은 실패의 배후에 있는 과학자, 학자, 연구원들에 대한 인정을 필요로 한다. 공동체로서 실패를 인정하고, 받아들이고, 실패로부터 배우는 것은 실패한 프로젝트의 경험을 인간화하고 정상화하는데 도움이 될 수 있다. 즉, 우리 모두는 실패하고, 모두 실패하고, 그리고 계속 실패할 것이다. 만약 우리가 실패하지 않는다면, 우리는 우리의 분야를 발전시키지 못하고 있는 것이다[18]. 결론적으로, 나는 Neil Gaiman7에 동의한다. "가서, 흥미로운 실수를 하십시오. 영광스럽고 환상적인 실수를 하십시오." 그런 다음 그것들을 공유하십시오.

Finally, reflecting on failure in science necessitates an acknowledgement of the scientists, scholars, and researchers behind the failures. Acknowledging, engaging with, and learning from failures as a community may help to humanize and normalize the experience of a failed project—we all fail, have all failed, and will continue to fail. If we aren’t failing, we aren’t helping our field move forward [18]. In conclusion, I echo Neil Gaiman7 and encourage us to “Go, and make interesting mistakes, make glorious and fantastic mistakes”. And then be sure to share them.

42. Young M, LaDonna K, Varpio L, Balmer D. Focal length fluidity: research questions in medical education research and scholarship. Acad Med. 2019;94(11S):S1–S4.

근거이론(When I say…) (Med Educ, 2014)

When I say… grounded theory

Lorelei Lingard

84세의 어머니는 심장마비와 뇌졸중으로 지난 봄에 병원에 입원하셨다.

My 84-year-old mother was hospitalised this past spring following a heart attack and stroke.

내가 '근거 이론'이라고 말할 때, 나는 [설명 이론을 발전시키는 것을 목표]로 한 [사회 현상에 대한 조사]를 의미한다. 

• 내가 '이론'이라는 말을 쓰는 것은, 소문자 t를 의미한다. 뇌졸중 재활치료실에서의 진료전달 관행에서 '평범한' 역할과 같은 중간의 설명을 의미한다. 나는 인간의 인식에서 패턴 인식의 역할과 같은 웅대한 설명, 대문자 'T'를 의미하는 것이 아니다. 

• 내가 '근거'라고 말할 때, 나는 [경험적 자료로부터 귀납적으로 파생된 것]을 의미하지만, 사전 지식으로 도색되지 않은 발견의 과정을 암시하는 것은 아니다. 

• 그러므로 내가 '구성주의자'라고 말할 때, 나는 밝혀지기를 기다리고 있는 세상에 이미 '저기 어디 존재하는' 이론보다는, 오리엔테이션을 가진 사람들(나의 경우 의학교육 연구원과 연약한 노인 환자의 딸)이 만들어 내는 [이론 형성의 해석적 성격]을 인정할 생각이다.

When I say ‘grounded theory’, I mean inquiry into a social phenomenon with the goal of developing an explanatory theory. 

• By ‘theory’, I mean small ‘t’, middle-range explanations, such as the role of ‘the usual’ in care delivery practices on a stroke rehabilitation unit. I do not mean capital ‘T’, grand explanations, such as the role of pattern recognition in human cognition. 

• When I say ‘grounded’, I mean inductively derived from empirical data, but I don’t intend to imply a process of discovery untainted by prior knowledge. 

• Therefore, when I say ‘constructivist’, I intend to acknowledge the interpretive nature of theory generation,1 which is created by people with orientations (in my case, those of a medical education researcher and the daughter of a frail elderly patient), rather than a theory that is already ‘out there’ in the world waiting to be revealed.

근거이론은 반복, 지속적인 비교, 이론적 샘플링의 세 가지 상호 지지적 특징으로 다른 질적 접근법과 구별할 수 있다.2

Grounded theory is distinguishable from other qualitative approaches by three mutually supportive features: 

• iteration; 

• constant comparison, and 

• theoretical sampling.2

반복은 [후속 데이터 수집을 세분화하기 위해 수집되는 즉시 새로운 데이터를 분석에 종속시키는 관행]이다. 반복하려면 연구를 사전에 설계하고 재진입re-entry을 수용할 수 있도록 설정해야 한다.

Iteration is the practice of subjecting new data to analysis as soon as they are collected in order to refine subsequent data collection. Iteration requires a study to be proactively designed and its setting to accommodate re-entry.

나는 의대생들의 새로운 전문가간 협업 스테이션 경험에 대한 기초 이론 연구를 객관적인 구조 임상 시험에서 수행할 수 없었다. 왜냐하면 연구 타임프레임상 반복할 여유가 없기 때문이다.

I could not conduct a grounded theory study of medical students’ experiences of a new interprofessional collaboration station in an objective structured clinical examination because the study timeframe would not afford iteration.

근거 이론 분석의 중심은 '끊임없는 비교'이다. 진술은 진술, 스토리와 이야기, 참여자와 참여자, 주제와 함께 주제와 비교된다. 지속적인 비교과정의 중심은 유도적 추론과 연역적 추론의 균형이다. 이 추론은 기초 이론 연구자가 데이터의 새로운 패턴에 대한 추측을 형성하고, 이러한 추측들을 들어오는 데이터로부터 체계적으로 확인함으로써 이를 조정하고 정교하게 한다.

The backbone of grounded theory analysis is ‘constant comparison’: statement is compared with statement, story with story, participant with participant, theme with theme.1 Central to the constant comparative process is the balance of inductive and deductive reasoning, in which the grounded theory researcher formulates conjectures regarding emerging patterns in the data, and refines and elaborates these conjectures by systematically checking them against incoming data.

'평범한'에 대한 나의 연구에서는, 끊임없이 비교하는 것은 새로운 패턴과 불일치를 파악하고 예비적인 추측을 형성하기 위해, 내가 이전 방문visit에서 보고 들은 것을 고려하여 매일의 관찰과 대화를 고려하는considering 것을 포함할 수 있다.

In my study of ‘the usual’, constant comparison might involve considering each day’s observations and conversations in light of what I’ve seen and heard on previous visits, in order to identify emerging patterns and discrepancies and to formulate preliminary conjectures.

후속 데이터 수집을 통해 이러한 추측을 탐구하고 구체화하기 위해, 나는 간호원 중 한 명에게, 간호원들의 업무의 많은 부분을 명시적인 프로토콜을 참조하는 것처럼 보이는, 그들이 어떻게 나의 어머니를 돌보는 데 이러한 표준 프로토콜을 적용하는지에 대해 물어볼 수도 있다.

In order to explore and refine this conjecture through subsequent data collection, I might ask one of the student nurses, who appear to reference explicit protocols for much of their work, how they apply these standard protocols in their care of my mother.

이론적 샘플링에서 데이터 수집 절차는 분석에서 나타나는 주요 주제에 점점 더 날카롭게 초점을 맞출 수 있도록 진화한다. 이는 병동에서 다른 활동, 면접 참가자에게서 추구되는 특정 특성 또는 인터뷰 프로토콜에 추가된 새로운 프로브가 모두 포화 주장을 뒷받침하기에 충분한 핵심 차원에 대한 이해 또는 핵심 주제의 철저한 이해를 목적으로 관찰된다는 것을 의미할 수 있다.

In theoretical sampling, data collection procedures evolve to allow an increasingly sharp focus on key themes emerging in the analysis. This may mean that different activities are observed on the ward, specific characteristics sought in interview participants, or new probes added to the interview protocol, all with the aim of achieving an understanding of key dimensions sufficient to support a claim of saturation – or thorough understanding – of key themes.

물론 표본 추출 전략에 대한 모든 refinement는 연구자의 주의를 select하기도 하고 deflect하기도 한다. 이는 이론적 표본 추출이 조사의 범위를 좁히고, 통찰의 일부 영역을 잘라내기도 하고, 다른 영역을 무심코 닫는 과정임을 의미한다. [연역적 추측]과 [이론적 샘플링]의 보다 미세한 지점은 근거이론에서 논쟁의 원천이다; 이러한 절차는 이론을 특정 방향으로 '강제'하지 않도록 주의하여 다루어야 한다.3

Of course, every refinement to the sampling strategy both selects and deflects the researcher’s attention, meaning that theoretical sampling is a process of narrowing the line of inquiry, rounding out some areas of insight and inadvertently closing off others. The finer points of deductive conjecturing and theoretical sampling are a source of debate in grounded theory circles; these procedures need to be handled with care to avoid ‘forcing’ the theory prematurely in a particular direction.3

When I Say…grounded Theory

• PMID: 25039730
 
• DOI: 10.1111/medu.12394

질적연구 실행가이드 파트3. 샘플링, 데이터수집, 분석(Eur J Gen Pract, 2018)

Series: Practical guidance to qualitative research. Part 3: Sampling, data collection and analysis

Albine Mosera,b and Irene Korstjensc

도입

Introduction

샘플링

Sampling

표집 계획이란 무엇인가?

What is a sampling plan?

표본 추출 계획은 표본 추출 방법, 표본 크기, 참가자 모집 절차(상자 1)[3]를 명시한 공식 계획이다. 정성적 표본 추출 계획은 연구 결과가 풍부한 데이터를 제공하도록 보장하기 위해 얼마나 많은 관찰, 인터뷰, 초점 그룹 토론 또는 사례가 필요한지를 설명한다.

A sampling plan is a formal plan specifying a sampling method, a sample size, and procedure for recruiting participants (Box 1)[3]. A qualitative sampling plan describes how many observations, interviews, focus group discussions or cases are needed to ensure that the findings will contribute rich data.

양적 연구에서는 표본 크기를 포함한 표본 추출 계획이 사전에 상세하게 결정되지만 

질적 연구 프로젝트는 광범위하게 정의된 표본 추출 계획으로 시작한다.

In quantitative studies, the sampling plan, including sample size, is determined in detail in beforehand but qualitative research projects start with a broadly defined sampling plan.

질적 표본 추출 계획의 주요 특징은 다음과 같다. 

• 첫째, 참가자들은 항상 의도적으로 표본추출을 받는다. 

• 둘째, 표본 크기는 각 연구에 따라 다르며 작다. 

• 셋째, 표본이 연구 중에 나타날 것이다: 데이터 수집 및 분석 과정에서 제기된 추가 질문에 기초하여, 포함 및 제외 기준이 변경되거나 표본 추출 장소가 변경될 수 있다. 

• 마지막으로, 표본은 주로 대표성에 의해서가 아니라 개념적 요건에 의해 결정된다.

The key features of a qualitative sampling plan are as follows. 

• First, participants are always sampled deliberately. 

• Second, sample size differs for each study and is small. 

• Third, the sample will emerge during the study: based on further questions raised in the process of data collection and analysis, inclusion and exclusion criteria might be altered, or the sampling sites might be changed. 

• Finally, the sample is determined by conceptual requirements and not primarily by representativeness.

표본 추출 계획은 [선택된 참가자와 설정이 연구 중인 현상을 완전히 이해하는 데 필요한 정보를 제공할 수 있을 때] 적절하다.

The sampling plan is appropriate when the selected participants and settings are sufficient to provide the information needed for a full understanding of the phenomenon under study.

몇 가지 실용성: 

• 중요한 첫 번째 단계는 잠재적 참가자에게 접근할 수 있는 설정과 상황을 선택하는 것이다. 

• 이후, [가장 풍부한 정보를 제공할 수 있는 참가자를 모집하는 것]이 최선의 지원 전략이다. 그러한 참여자들은 현상에 대해 잘 알고 있어야 하고, 분명하게 말하고 성찰할 수 있어야 하며, 여러분과 길고도 깊이 있게 소통할 수 있도록 동기를 부여받아야 한다. 

• 마지막으로 샘플링 계획을 정기적으로 검토하고, 필요에 따라 adapt해야 한다.

Some practicalities: a critical first step is to select settings and situations where you have access to potential participants. Subsequently, the best strategy to apply is to recruit participants who can provide the richest information. Such participants have to be knowledgeable on the phenomenon and can articulate and reflect, and are motivated to communicate at length and in depth with you. Finally, you should review the sampling plan regularly and adapt when necessary.

어떤 샘플링 전략을 사용할 수 있는가?

What sampling strategies can I use?

샘플링은 관심 현상에 대한 풍부한 데이터를 제공하는 상황, 맥락, 참여자를 선택하거나 검색하는 과정이다[3]. 질적 연구에서는 무작위가 아니라 의도적으로 표본을 추출한다.

Sampling is the process of selecting or searching for situations, context and/or participants who provide rich data of the phenomenon of interest [3]. In qualitative research, you sample deliberately, not at random.

[핵심 정보 제공자]들은 현상에 대해 특별하고 전문적인 지식을 보유하고 있으며, 기꺼이 연구했으며, 연구자로서 여러분과 정보 통찰력을 공유해야 한다[3].

Key informants hold special and be expert knowledge about the phenomenon to and studied willing and are to share information insights with you as the researcher [3].

샘플링 유형과 질적 설계 사이의 연관성은 무엇인가?

What is the connection between sampling types and qualitative designs?

민족지학에서 주요 전략은 문화에 대해 가장 잘 알고 있고 문화를 공개하고 해석하는 데 있어 대표자로서 활동할 수 있고 의지가 있는 다양한 주요 정보원들의 자발적인 표본추출이다.

In ethnography, the main strategy is purposive sampling of a variety of key informants, who are most knowledgeable about a culture and are able and willing to act as representatives in revealing and interpreting the culture.