의학교육연구에 일반화가능성과 편향의 적용가능성 (Med Educ, 2020)

의학교육연구에 일반화가능성과 편향의 적용가능성 (Med Educ, 2020)

The applicability of generalisability and bias to health professions education's research

Lara Varpio1 | Bridget O'Brien2 | Charlotte E. Rees3,4 | Lynn Monrouxe5 | Rola Ajjawi6 | Elise Paradis7

1 도입 

1 | INTRODUCTION

HPE의 초기의 학자들은 객관적인 데이터 수집과 분석에 착수하면서 전형적으로 포스트 포시티브 패러다임에 의존했다(이 원고에 사용된 주요 용어의 정의는 표 1 참조). 다른 패러다임(예: 구성주의)에서 일하는 연구자들은 그들의 방법론과 방법의 정당성을 도입하고 옹호함으로써 이러한 조상에 직면해야 했다.1 그럼에도 불구하고, 이 유산의 영향은 여전히 널리 감지되고 있다.

HPE's founding scholars typically relied on the post-positivist paradigm, setting out to engage in objective data collection and analysis (see Table 1 for definitions of key terms used in this manuscript). Researchers working from other paradigms (e.g., constructivism) have had to confront this ancestry by introducing and defending the legitimacy of their methodologies and methods.1 And yet, the influence of this heritage is still widely felt.

구성주의 

구성주의에서, 인간은 외부 현실에 대한 진실을 발견하거나 발견하는 것으로 생각되지 않고 대신, 사람들은 스스로 지식을 쌓거나 만든다. 사람들은 세상과 그들의 경험을 이해하기 위해 개념, 모델, 그리고 스키마를 만든다. 이 건축은 타인을 격리하여 이루어지는 것이 아니라, 개인이 타인과 공유되는 언어, 관행, 문화 등을 배경으로 의미를 구성한다.24

Constructivism Constructivism is a paradigm wherein humans are not conceived of as discovering or finding truths about external reality; instead, people build or make knowledge. People construct concepts, models and schemas to understand the world and their experiences. This construction does not happen in isolation of others; instead, individuals construct meaning against a backdrop of the languages, practices, cultures, etc. that are shared with others.24

인식론

인식론은 지식의 발달과 관련이 있다. 패러다임의 인식론을 이해하려면 '우리는 진짜가 무엇인지 어떻게 알까?' '지식의 본질은 무엇인가?'와 같은 질문에 대답할 수 있어야 한다. 인식론학은 '연구자들이 합법적이고 가치 있는 것으로 여겨질 지식을 개발하기 위해 연구에 어떻게 참여해야 하는지에 대해 성찰할 것을 요구한다.'2

Epistemology Epistemology is concerned with the development of knowledge. To understand a paradigm's epistemology, we must be able to answer questions like: ‘How do we know what is real?’ and ‘What is the nature of knowledge?’ Epistemology ‘requires us to reflect on how researchers should engage in inquiry to develop knowledge that will be considered legitimate and valuable’.2

방법론

방법론은 연구가 어떻게 수행되어야 하는지를 구체화하는 일련의 지침과 원칙이다. 그것은 '탐구inquiry에 대한 특정 접근방법의 가정, 원칙 및 절차에 대한 분석'.24(페이지 193)

Methodology Methodology is a set of guidelines and principles that shape how research should be carried out. It ‘involves analysis of the assumptions, principles, and procedures in a particular approach to inquiry’.24(pg. 193)

객관주의 

객관주의는 단일의 외부 현실이 존재하며, 연구는 [중립적이고 분리된 방식으로 질문에 답하여, 개인 및 사회 현상에 대한 우리의 이해]에 기여하도록 노력해야 한다는 가정으로부터 작용한다.3,4

Objectivism Objectivism works from the assumption that a single, external reality exists and that research should strive to answer questions in a neutral and detached manner to contribute to our understanding of individual and social phenomena that exist.3,4

온톨로지 

온톨로지(Ontology Ontology)는 현실 자체의 본질과 관련이 있다. 패러다임의 온톨로지(Ontology)를 이해하려면 '현실의 본질은 무엇인가?' '존재의 본질은 무엇인가?'와 같은 질문에 대답할 수 있어야 한다.2

Ontology Ontology is concerned with the nature of reality itself. To understand a paradigm's ontology, we must be able to answer questions like: ‘What is the nature of reality?’ and ‘What is the nature of being?’2

패러다임 

쿤은 패러다임을 [과학자들이 문제를 어떻게 이해하고 연구해야 하는지에 대해 공유하는 믿음과 합의]로 정의했다.30 패러다임은 '과학에 대한 특정 접근방식을 정의하는 개념, 관행 및 언어'로 구성된다.2(pg. 687)

Paradigm Kuhn defined a paradigm as the beliefs and agreements that scientists share about how problems should be understood and studied.30 A paradigm consists of ‘the concepts, practices, and language that define a particular approach to science’.2(pg. 687)

후기실증주의 

후기실증주의는 [인간이 지식을 발견하는 것]으로 착상되는 패러다임이다. 이 패러다임에서는 하나의 객관적 현실이 존재한다고 믿으며, 연구자들은 외부 현실의 진리를 알기 위해 노력한다. 포스트 실증주의는 연구자들이 그러한 진실을 포착하고 완전히 이해할 수 없다는 것을 인정한다; 대신에, 연구자들은 그들의 서술이 항상 불완전하다는 것을 알면서, 이 진실을 묘사하기 위해 끊임없이 노력한다.

Post-positivism Post-positivism is a paradigm in which humans are conceived of as discovering knowledge. In this paradigm, a single, objective reality is believed to exist, and researchers strive to know the truth of the external reality. Post-positivism acknowledges that researchers cannot capture and fully understand such truth; instead, researchers continually strive to describe this truth, knowing that their descriptions are always incomplete.

주관주의 

주관주의는 사람들이 신념, 인식, 경험을 바탕으로 스스로 현실을 구축한다는 전제에서 작용한다. 연구자들은 사람들이 형성하는 개별적이고 특정한 현실에 대한 이해를 탐구하고 구성하고자 한다. 5,6

Subjectivism Subjectivism works from the premise that people build reality for themselves based on beliefs, perceptions, and experiences. Researchers seek to explore and compose understandings of the individual and particular realities that people build.5,6

저널 편집자와 리뷰어로서, 우리는 엄격한 정성적 연구 논문에서, 연구에 참여한 참가자가 소수임을 한탄하는 부분이 포함되어 있는 것을 보아왔다. 이러한 이해의 차이를 메우기 위해 많은 작업이 이루어졌지만, 이러한 브리징(다리놓기)은 각 연구 접근방식과 관련된 품질 측정에 대해 무심코 혼란을 야기했다. HPE 연구의 독자들은 각각의 원고를 면밀히 검토하여 패러다임 기반(즉, 온톨로지, 인식론, 방법론)2를 추론할 필요가 있다. 왜냐하면 어떤 특정한 연구에 대한 엄격함의 marker는 그들의 근본적인 철학적 가정에 따라 크게 다르기 때문이다. 요컨대, 한 HPE 연구에서 엄격함이 입증되는 방식이 반드시 다른 HPE 연구에서 미러링되는 것은 아니다.

As journal editors and reviewers, we have seen rigorous qualitative research papers include limitation sections lamenting the small number of participants engaged in the studies. Much work has been done to bridge such differences in understanding, but this bridging inadvertently generated confusion about the measures of quality associated with each research approach. Readers of HPE research are required to closely examine each manuscript to deduce its paradigmatic underpinnings (i.e., ontology, epistemology, methodology)2 because markers of rigour for any particular study vary greatly depending on their underlying philosophical assumptions. In short, the way rigour is demonstrated in one HPE study will not necessarily be mirrored in another;

우리는 지식과 연구에 대한 두 가지 다른 지향점 즉 객관주의와 주관주의를 중심으로 이 토론을 구성한다.

We construct this discussion around two different orientations towards knowledge and research—objectivist and subjectivist.

[객관주의 지향]은 단일의 외부 현실이 존재하고, 연구가 중립적이고 분리된 방식으로 질문에 답하여 현상에 대한 우리의 이해에 기여하도록 노력해야 한다는 전제하에 있다.3,4 객관주의 지향으로부터, 연구 과정은 [현실을 공정하게 이해하는 연구자의 능력을 모호하게 만드는] 내적 요인과 외적 요인을 측정하거나 설명할 수 있어야 한다. 

An objectivist orientation rests on the premise that a single, external reality exists and that research should strive to answer questions in a neutral and detached manner to contribute to our understanding of phenomena.3,4 From the objectivist orientation, the research process must be able to measure or account for intrinsic and extrinsic factors that obscure a researcher's ability to understand reality impartially.

이와는 대조적으로 [주관주의 지향]은 사람들이 신념, 인식, 경험에 기초하여 스스로 현실을 구성한다는 전제에서 출발한다. 주관주의적 지향의 연구는 사람들이 형성하는 개별적이고 특정한 현실에 대한 이해를 탐구하고 구성하는 것을 목표로 한다.5,6 이에 상응하여, 개인과 사회 현상은 시간, 장소, 사람, 문화 등에 위치한situated 것으로 이해되어야 한다. 즉 내적 요인과 외적 요인은 진리를 이해하는 데 결정적이며 더 깊이 또는 보편적으로 경험하는 진리에 도달하기 위해 제거되거나 통제될 수 없다.

In contrast, a subjectivist orientation starts from the premise that people construct reality for themselves based on beliefs, perceptions, and experiences. Research from a subjectivist orientation aims to explore and compose understandings of the individual and particular realities that people build.5,6 Correspondingly, individual and social phenomena must be understood as situated in time, place, persons, cultures, etc. In other words, intrinsic and extrinsic factors are crucial to understanding truth and cannot be removed or controlled to reach a deeper or universally experienced truth.

우리는 일반성과 편견의 개념이 모든 HPE 연구의 엄격함을 확립하는 데 보편적으로 적용될 수 없다고 주장한다. 첫째, 우리는 객관주의 지향과 관련하여 일반성을 정의하며, 주관주의적 지향의 연구에 적용되었을 때 그것이 어떻게 다시 개념화되어야 하는지를 기술한다. 다음으로, 우리는 객관주의자들이 어떻게 편견에 대해 연구자의 주관성이 데이터를 오염시키는 사례로 생각하나 주관주의자들이 데이터의 구성 요소이기 때문에 편견을 수용하는 방법에 주목함으로써 편향을 다룬다. 이러한 주제를 설명하기 위해 박스 1에 사례 시나리오를 포함시키고 객관주의와 주관주의 지향성이 일반성과 편향성의 문제를 어떻게 다르게 다루는지 강조한다.

We argue that the concepts of generalisability and bias are not universally applicable to establish the rigour of all HPE research. First, we define generalisability in relation to an objectivist orientation, and we describe how it must be re-conceptualised when applied to research from a subjectivist orientation. Next, we address bias by attending to how objectivists conceive of bias as instances when researchers' subjectivities contaminate data but how subjectivists embrace bias because subjectivities are constitutive elements of data. To illustrate these topics, we include a case scenario in Box 1 and highlight how objectivist and subjectivist orientations would handle issues of generalisability and bias differently.

2 | 객관주의 및 주관주의 연구 접근법

2 | OBJECTIVIST AND SUBJECTIVIST RESEARCH APPROACHES

객관주의 대 주관주의 지향성이 일반성과 편향성에 미치는 영향을 설명하기 위해, 우리는 이러한 입장을 HPE 연구에서 일반적으로 사용되는 두 가지 패러다임인 [후기 실증주의]와 [구성주의]의 근본 요소로서 설명한다.

To illustrate the impact of an objectivist vs subjectivist orientation on generalisability and bias, we explain these positions as foundational elements of post-positivism and constructivism, two paradigms commonly used in HPE research.

1. 후기실증주의가 채택하는 존재론(즉, 연구자들이 무엇이 진짜인지 어떻게 이해하는가)2는 [객관주의]적인 것이다. 후기실증주의는 '단일한, 객관적이고, 외적인, 유형적이고, 측정할 수 있는 현실'7이 존재하며, 이 현실은 한 명의 인간의 바깥에 존재하고, 영속된다persist고 주장한다. 

2. 이러한 존재론은 특정한 인식론(즉, 연구자들이 지식의 본질과 알 수 있는 것을 어떻게 상상하는지)을 낳는다.2 사후 추정론자들은 외부 현실의 진리를 아는 것이 가능하다고 주장하지만, 그러한 진리를 포착하고 이해하는 연구자들의 능력은 절대적이지 않다는 것을 인정한다.7 연구자들은 이 진리를 명확하게 설명하기 위해 끊임없이 노력하지만, 그것을 완전히 아는 것은 불가능하다는 것을 알고 있다.

3. 7 이러한 인식론을 고려할 때, 사후 포시티브론자들은 현실의 근사치를 돕는 구체적인 방법론(즉, 현실을 알고 지식을 쌓는 방법)2을 고수하지만, 이러한 연구자들은 그들이 질문하는 방식, 즉 그 방법들을 인정한다. 그들이 설계하는 연구와 그들이 개발한 발견에 대한 해석은 그들의 사전 지식, 가치, 신념에 의해 영향을 받을 위험이 있다.7 그러므로 포스트 포시티브리스트들은 그들의 연구에 대한 주관성의 영향을 완화시키기 위해 노력한다. 후기실증주의적 연구의 엄격성은 주관성의 영향력을 최소화하고, 그럼으로써 객관성이 뒷받침되고 유지되는 정도에 의해 평가된다.7

1. The ontology (i.e., how researchers understand what is real)2 that post-positivism adopts is an objectivist one. Post-positivism maintains that there is ‘a single, objective, external, tangible, measurable reality’7 that exists outside of, and persists beyond, any single human. 

2. This ontology gives rise to a specific epistemology (i.e., how researchers conceive of the nature of knowledge and what can be known).2 Post-positivists maintain that it is possible to know the truth of the external reality; however, they acknowledge that researchers' abilities to capture and understand such truth are not absolute.7 Researchers continually strive to articulate this truth, but know that it is impossible to ever fully know it.7 

3. Given this epistemology, post-positivists adhere to specific methodologies (i.e., ways of knowing reality and building knowledge)2 that help them approximate reality, but these researchers acknowledge that the way they ask questions, the studies they design, and the interpretations of findings they develop are at risk of being influenced by their prior knowledge, values, and beliefs.7 Therefore, post-positivists work to mitigate the influence of their subjectivities on their research. The rigour of a post-positivist study is assessed by the extent to which that influence is diminished and that objectivity is supported and maintained.7

이와는 대조적으로, 구성주의자들의 주관주의적 지향은 극명하게 다른 개념화를 유지한다. 

1. 그들의 온톨로지(Ontology)는 '여러가지 정신구축, 사회적이고 경험적으로 기초하고, 지역적이고 구체적이며, 그들을 안고 있는 사람에 대한 그들의 형태와 내용에 의존한다'는 형태로 다중적인 현실multiple realities이 존재한다고 주장한다.8(pg 27) 현실은 개인이 살아 있는 경험을 통해, 그리고 그들의 사회적 맥락에서 다른 사람들과 연계하여 자신을 위해 건설하는 것이다. 

2. 무엇이 진짜인지 알고 현실을 구성하기 위해 구성주의자들은 주관성을 수용한다; 연구자들과 참여자들은 함께 연구되고 있는 현상을 이해하기 위해 의미와 데이터를 공동 구성한다.9 이 인식론은 '궁극적인 또는 "정확한" 알 수 있는 방법은 하나도 없다'고 주장한다.10 대신, 모든 개인은 현실에 대한 그들만의 독특한 이해를 가지고 있다. 

3. 이러한 관점을 고려할 때, 방법론적으로 구성주의자들은 종종 관찰과 인터뷰와 같은 질적인 방법에 의존하여 개인의 경험 설명과 현실구성을 이끌어낸다. 주관성은 구성론적 연구의 기본 요소이기 때문에, 그것을 제거하려는 어떠한 노력도 연구에는 반대antithetical되는 것이다. 왜냐하면, 이 패러다임에서 주관성은 현실과 그 현실에 대한 지식의 초석이기 때문이다. 따라서, 구성주의 연구의 엄격성은 [저자가 자신의 주관성에 대해 성찰하고 데이터를 성공적으로 사용하여 이러한 데이터로부터 창출한 설명을 서포트하는 정도]에 의해 평가된다.11

In contrast, constructivists' subjectivist orientation maintains starkly different conceptualisations. 

1. Their ontology asserts that multiple realities exist in the form of ‘multiple mental constructions, socially and experientially based, local and specific, dependent for their form and content on the persons who hold them’.8(pg. 27) Reality is something that individuals construct for themselves through lived experiences and in conjunction with others in their social contexts. 

2. To know what is real and to construct reality, constructivists embrace subjectivity; the researchers and participants co-construct meaning and data to make sense of the phenomenon being studied together.9 This epistemology asserts that ‘there is no one ultimate or “correct” way of knowing’.10 Instead, every individual holds their own unique understanding of reality. 

3. Given these perspectives, methodologically, constructivists often rely on qualitative methods, such as observations and interviews, to elicit individuals' descriptions of experiences and their constructions of reality. Since subjectivity is a foundational component of constructivist research, any effort to remove it is antithetical to the research enterprise because, in this paradigm, subjectivity is the cornerstone of reality and knowledge of that reality. Therefore, the rigour of a constructivist study is assessed by the extent to which authors reflect on their own subjectivity and successfully use data to support the account that they have created from these data.11

요약하자면, 

• 포스트 포시티브 연구자들은 보편적 진리가 바깥 세상에 존재하며(즉, 인간 사상과는 무관) 연구의 목적은 그 현실의 패턴(예: 일관성, 규칙성, 법칙)을 설명하는 것이라고 믿는다. 포스트 포시티브는 객관성을 인정하고 연구 샘플을 넘어 더 넓은 인구로 확장될 수 있는 연구 결과를 개발하기 위해 노력한다. 

• 반면에 구성주의자들은 복수의 진리가 존재하며(즉, 인간구조에 의존함) 연구의 목적은 개별적인 사례(예: 특이성, 특수성)를 깊이 이해하는 것이라고 주장한다. 그러므로, 구성주의자들은 주관성에 특권을 부여하고 어떤 현상에 대한 다중적이고 다양한 해석을 옹호한다.12

To summarise, 

• post-positivist researchers believe that a universal truth exists out there (i.e., independent of human thought) and that the purpose of research is to explain patterns (e.g., consistencies, regularities, and laws) of that reality. Post-positivists prize objectivity and strive to develop research findings that can extend beyond a study sample to the broader population. 

• Constructivists, on the other hand, maintain that multiple truths exist (i.e., dependent on human constructions) and that the purpose of research is to deeply understand individual cases (e.g., idiosyncrasies, particularities). Therefore, constructivists privilege subjectivity and champion multiple, diverse interpretations of a phenomenon.12

3 일반화가능성

3 | GENERALISABILITY

[특정 효과를 적용할 수 있는 모집단, 설정, 치료 변수 및 측정 변수]로 정의되는 일반화가능성은 종종 엄격함의 필수적인 표시로 간주된다. 그러나 1993년의 획기적인 기사에서 파이어스톤은 연구자들을 초청하여 일반성에 대한 세 가지 다른 주장에 대해 생각해 보게 했다. 그는 이러한 주장이 연구자들이 불완전한 자료에서 확실한 결론으로 나아갈 수 있도록 하는 것이라고 주장했다. 이 세 가지 일반성 주장은 '

• (a) 표본에서 모집단으로의 외삽, 

• (b) 이론을 이용한 분석 일반화 또는 외삽, 

• (c) 사례 대 사례 중개translation'이다.14

Defined as the populations, settings, treatment variables, and measurement variables to which particular effects can be applied,13 generalisability is often considered an essential marker of rigour. In a landmark 1993 article, however, Firestone invited researchers to think about three different claims to generalisability. These claims, he argued, are what allow researchers to go from imperfect data to solid conclusions. These three generalisability claims are ‘

• (a) extrapolation from sample to population, 

• (b) analytic generalisation or extrapolation using a theory, and 

• (c) case-to-case translation’.14

• 표본에서 모집단으로의 확장인 첫 번째 주장은 통계적 일반성과 관련이 있다. 이러한 형태의 일반성은 특히 포스트 실증주의와 관련된 객관주의적 가정과 관련이 있지만, 구성주의적 연구의 주관주의적 가정과는 무관하다. 대부분의 구성주의적 방법론(종종 질적 연구와 관련됨)의 주관주의적 토대를 고려할 때, 통계적 일반성을 달성하는 것은 가능하지도 바람직하지도 않다.

The first argument—extrapolation from sample to population—relates to statistical generalisability. This form of generalisability is particularly relevant to the objectivist assumptions associated with postpositivism, but it is irrelevant for the subjectivist assumptions of constructivist research. Given the subjectivist foundations of most constructivist methodologies (often associated with qualitative research), achieving statistical generalisability is neither possible nor desirable.

• 두 번째 주장은 분석적 또는 이론적 일반화가능성이며, 여기서 연구자들은 [이론을 개발하거나 기존 이론에 기여함으로써 국소적인 발견을 일반화하는 것]을 목표로 한다.14,15 일반성에 대한 이러한 접근방식에서, 연구자들은 많은 연구 참여자들과 관련된 고차원적 추상화를 생성하기 위해 유도적이고 심층적인 데이터 분석에 참여한다. 이러한 추상화(연구 노력에 의해 개발되고 있는 이론이나 개념)는 일반화가능한 결과이다. 따라서, 연구 설계가 통계적 일반성의 표준을 허용하지 않거나 도달하지 못함에도 불구하고, 연구는 이론적 또는 개념적 일반성을 달성할 수 있다. 많은 주관주의적 연구는 일반성의 개념화와 상당히 관련이 있다고 생각하지만, 연구자들은 그들의 지식 생산 노력을 지원하기 위해 [이론적 일반화가능성theoretical generalisability]이라는 용어를 거의 동원하지 않는다. 이론적 일반성은 '연구가 수행되는 조건과 다양한 이론multiple theories과의 관련성을 명시'함으로써 촉진될 수 있고, 이 작업은 많은 구성주의적 연구를 단단하게 뒷받침해주는 심층 분석적 작업deep analytic work와 유사한 과정이다.

The second argument is analytic or theoretical generalisability, where researchers aim to generalise local findings by developing theories or contributing to pre-existing theories.14,15 In this approach to generalisability, researchers engage in inductive, in-depth data analysis to generate higher-order abstractions relevant to many of their research participants. These abstractions—the theories or concepts being developed by the research effort—are the outcomes that are generalisable. Thus, despite research designs not allowing for—or reaching—the standards of statistical generalisability, research can achieve theoretical or conceptual generalisability. While much subjectivist research would find this conceptualisation of generalisability quite relevant, researchers seldom mobilise the language of theoretical generalisability in support of their knowledge production efforts. Theoretical generalisability can be facilitated by ‘specifying the conditions under which a study is done and their relevance to multiple theories’,14 a process akin to the deep analytic work undergirding much constructivist research.

• 마지막으로, Firestone의 세 번째 주장은 독자나 자연주의적 일반성과 유사하게 사례 대 사례 번역이다.16 Firestone은 이러한 종류의 일반성을 '한 세팅에 있는 사람이 다른 세팅에서 프로그램이나 아이디어를 채택하는 것을 고려하는 것'.을 의미한다14 이것은 링컨과 구바의 전달 가능성transferability 개념과 유사하다.17 Firestone의 case-to-case translation은 연구자들을 그들의 원고에 사례에 대한 두꺼운 설명thick description을 제공하도록 초청하여 다른 사람들이 연구의 통찰력이 그들 자신의 사례에 적용되는지 여부를 결정하는 데 필요한 정보를 얻도록 한다. 폴리트와 벡이 분명히 말했듯이, 이 노력은 저자와 독자에 의해 실현된 '협업적 사업collaborative enterprise'으로 가장 잘 이해된다.

Finally, Firestone's third argument is case-to-case translation, akin to reader or naturalistic generalisability.16 Firestone describes this kind of generalisability as instances when ‘a person in one setting considers adopting a program or idea from another one’.14 This is similar to Lincoln and Guba's concept of transferability.17 Firestone's case-to-case translation invites researchers to offer thick descriptions of cases in their manuscripts so that others have the necessary information to decide whether insights from research apply to their own cases. As Polit and Beck articulated, this effort is best understood as a ‘collaborative enterprise’,15 realised by author and reader.

우리가 이런 방식으로 일반성을 재구성할 때, 우리는 명확한 패러다임 차이를 볼 수 있다. 

When we reframe generalisability in this manner, we can see clear paradigmatic differences. 

• 객관주의적 성향과 추론 통계에 의존하는 포스트 실증주의 연구자들은 [개별 표본에서 더 큰 모집단으로 추론을 이끌어내기 위해 노력한다]. 이러한 추론에 대한 방어 가능한 주장을 구축하기 위해, 연구자들은 표본이 무작위로 선택되었고, 더 큰 모집단을 합리적으로 대표하며, 분석적 주장을 뒷받침할 만큼 충분히 검정력power이 크다는 것을 확인하려고 한다. 본질적으로, 표본으로부터 도출된 모집단에 대한 추론이 일반화된다는 가정은 현상이 다른 맥락에 복제될 수 있다는 것을 의미한다. 후기실증주의적 연구자들 또한 이론적 일반성과 사례 대 사례 번역에 도달하기 위해 노력할 수 있지만, 통계적 일반성이 객관주의적 기초의 핵심이다.

Post-positivist researchers relying on an objectivist orientation and inferential statistics endeavour to draw inferences from samples of individuals to larger populations. To build defensible arguments for these inferences, researchers seek to ensure that samples have been randomly selected, are reasonably representative of larger populations, and are sufficiently large to support, or ‘power’,18 analytic claims. In essence, the assumption that inferences made from samples generalise to the populations from which they are drawn means that phenomena are replicable to other contexts. Post-positivist researchers can also strive to reach theoretical generalisability and case-to-case translation, but statistical generalisability is a linchpin of their objectivist underpinnings.

• 이와는 대조적으로 주관주의적 지향성이 지배하는 구성주의적 패러다임에서 수행된 연구는 이론적 또는 자연주의적 일반성에 도달하기 위해 노력할 것이다. 위에서 논의한 바와 같이, 구성론적 연구와 같은 주관주의적 사고에 기반을 둔 연구는 일반적으로 개별 사례의 특수성에 초점을 맞추고, 관련 연구 참여자의 선별된 수를 식별하기 위해 목적적 샘플링을 채택한다. 그러한 목적적 표본의 결과의 목적은 더 넓은 집단에 일반화하는 것이 아니다. 그 대신, 그러한 연구는 [이론에 기여하는 통찰력을 제공하거나, 이론을 통한 다른 사례와 관련되거나, 전이성을 통해 다른 영역의 경험을 반영하는 것]을 목적으로 한다. 더욱이, 다중적 주관성multiple subjectivities에 특권을 주고서는privileging, 참가자들의 현실이 연구 표본 밖의 다른 사람들의 현실에 반드시 외삽가능하다고 주장하는 것은 이치에 맞지 않는다.19

In contrast, research carried out from a constructivist paradigm— where subjectivist orientations hold sway—might endeavour to reach theoretical and/or naturalistic generalisability. As discussed above, research grounded in subjectivist thinking—like constructivist research— typically focuses on the particularities of individual cases and employs purposive sampling to identify select numbers of relevant study participants. The aim of results from such purposive samples is not to generalise to broader populations. Instead, such research aims to provide insights contributing to theory, relating to other cases through theory, or echoing experiences in other domains through transferability. Furthermore, with a privileging of multiple subjectivities, it does not make sense that participants' realities would necessarily extrapolate to the realities of others outside of the research sample.19

후기실증주의적 사고의 잔재가 HPE에서 우위를 점할 때, 일반 가능성(특히 통계적 일반성)은 연구의 패러다임과 관계없이 모든 연구에서 예상되는 엄격성의 기준이 된다. 결과적으로, 구성주의 내 접근방식에서 수행된 것을 포함하여 주관적 연구에 대한 많은 HPE 원고 보고가 [이러한 형태의 일반성이 그들의 연구 설계에 대한 적절한 기대치가 아님에도 불구하고] 통계적 일반성의 결여를 한탄하는 '내 탓이로소이다' 식의 진술을 제공한다. (예를 들어, 본 연구의 결과는 모든 건강관리 학생을 대표할 수 없는 견해를 가진 한 의과대학의 소수의 의대생을 기반으로 한다. ) 

When remnants of post-positivist thinking hold sway in HPE, generalisability—particularly statistical generalisability—becomes an expected criterion of rigour for all research, regardless of a study's paradigm. Consequently, many HPE manuscripts reporting on subjectivist research, including those conducted from within constructivist approaches, offer mea culpa statements lamenting the lack of statistical generalisability (e.g., findings from this study are based on a small number of medical students from one medical school whose views may not be representative of all healthcare students), despite the fact that this form of generalisability is not an appropriate expectation for their research designs.19 

따라서 일부 구성주의 연구자들은 연구목표로서의 일반성을 노골적으로 거부하며, 대신에 질적 데이터의 논리, 구조 및 의미에 대한 깊은 해석을 선호한다. 다른 (Firestone 포함)은 주관주의적 지향에 부합하는 적절한 개념으로 전달 가능성transferability(자연주의적 일반성에 대한 개념과 유사)으로 구별했다.17

Some constructivist researchers therefore reject generalisability as a research goal outright, instead favouring deep interpretations of the logic, structure, and meaning of qualitative data.20 Others (including Firestone) have identified transferability (akin to naturalistic generalisability) as a suitable concept aligning with subjectivist orientations.17

궁극적으로 어떤 종류의—일반성이 관련성이 있는지 결정하기 위해서는 연구의 존재론적 뿌리에 대한 세심한 고려가 필요하다. 

• 연구가 객관적 현실과 관련된 보편적 진리를 설명하고자 하는 경우 통계적 일반성이 핵심이고, 

• 연구가 개인이 구성한 주관적 현실을 사회적 상호작용을 통해 이해하고자 하는 경우 이론적 일반성 또는 자연주의적 일반성이 필요할 수 있다.

Ultimately, to decide what kind of—generalisability is relevant, careful consideration of a study's ontological roots is required. 

• If an investigation seeks to explain a universal truth associated with an objective reality, then statistical generalisability is key; 

• if a study seeks to understand subjective realities constructed by individuals and through social interactions, then theoretical and/or naturalistic generalisability may be necessary.

따라서, 주관적 HPE 연구(예: 구성주의적 연구)의 연구자와 독자들은 (통계적 일반성의 결여를 한탄하기보다는) 일반성의 다양한 형태를 더 잘 이해하고 연구의 패러다임적 토대를 바탕으로 그 타당성을 평가할 필요가 있다. 그들은 또한 그들의 연구를 ['사소하고, 대수롭지 않으며, 거의 가치가 없는' 것으로 변질시키거나, 그들 자신의 합법화 노력을 훼손하지 않도록] 보다 뉘앙스를 가지고 일반성의 개념에 관여해야 한다. 21

Therefore, instead of lamenting a lack of statistical generalisability, researchers and readers of subjectivist HPE research (eg, constructivist research) need to better understand the varied forms of generalisability and evaluate their appropriateness based on the paradigmatic underpinnings of the research. They also should engage with the concept of generalisability with more nuance lest they undermine their own legitimation efforts, turning their research into something that ‘is of little use, insignificant, and hardly worth doing’. 21

좀 더 구체적으로, 파이어스톤의 세 가지 주장 측면에서 일반성에 대해 생각하는 것은 HPE 연구자들이 그들의 발견의 중요성과 도달 범위를 더 잘 정당화할 수 있게 할 수 있다. 주관주의적 지향성을 가진 대부분의 프로젝트는 통계적 일반성을 달성할 수 없고, 달성하려고 노력해서는 안 되지만, 데이터와 이론과의 깊은 관계를 통해 분석적 기여와 전달 가능성 잠재력을 설명해야 한다.15

More concretely, thinking about generalisability in terms of Firestone's three arguments can enable HPE researchers to better justify the importance and reach of their findings. While most projects with subjectivist orientations will not be able to— and should not strive to—achieve statistical generalisability, they should describe their analytic contributions and transferability potential through deep engagement with their data and theory.15

4 편향 4 | BIAS

질적 연구의 Sage 사전에는 편향의 두 가지 정의가 나열되어 있다.24 

• 첫째는 연구자가 데이터 수집이나 해석에 영향을 미침으로써 [연구 결정, 데이터 출처 및 판단을 편견을 갖게 하는] 견제받지 않는 관행이나 행동이라고 정의한다. 예를 들어, 연구자들이 연구 목적에 대해 참가자들에게 너무 많은 것을 드러내면, 참가자들의 반응은 연구자들을 기쁘게 하는 것을 목표로 하기 때문에 편향될 수 있다( 이른바 '사회적 만족도 편견')

• 두 번째 정의는 편견을 '개인의 선호, 성향 또는 중립성과 객관성을 막는 성향'으로 특징짓는다. 예를 들어, 연구자가 특정 요인이 특정 현상의 발현에 영향을 미친다고 가정할 경우(예: 계층 구조는 안전성 우려의 목소리를 내는 의지에 영향을 미친다), 그러면 그들은 다른 영향력 있는 요소(예: 불확실성, 문화적 규범)를 무시하거나 전체 참여자 관점을 도출하는 질문을 하지 않을 수 있다.

The Sage Dictionary of Qualitative Research lists two definitions of bias.24 

• The first defines bias as unchecked practices or actions where researchers influence data collection or interpretation and thus prejudice research decisions, data sources, and judgements.24 For example, when researchers reveal too much about a study's purpose to participants, participants' responses can be biased as they aim to please researchers (the so-called ‘social desirability bias’).25 

• The second definition characterises bias as ‘individual preferences, predispositions, or predilections that prevent neutrality and objectivity’.24 For example, if researchers assume that certain factors impact the manifestation of a particular phenomenon (e.g., hierarchy influences willingness to voice safety concerns), then they may ignore other influential factors (e.g., uncertainty, cultural norms) or fail to ask questions eliciting the full range of participant perspectives.

이 두 가지 정의는 연구의 편견이 [이원론]과 [객관주의]라는 두 가지 원칙의 위반을 구성한다는 주장과 일치한다.26 

• 이원론은 연구에 관여하는 연구자와 연구 참여자를 분리하여 편견을 최소화해야 한다는 믿음(후기 실증주의 연구에서의 공통점)이다.7 

• 객관주의는 앞에서 서술한 바와 같이 [연구자의 가치, 신념 또는 가정으로부터 야기될 수 있는 편견]이 연구에 없는 것을 말한다.7

These two definitions align with the claim that bias in research constitutes the violation of two principles: dualism and objectivism.26 

• Dualism is the belief (common in post-positivist research) that researcher and research participants involved in a study should be separated to minimise bias.7 

• Objectivism, as previously articulated, refers to the absence of bias in a study that could result from researchers' values, beliefs or assumptions.7

• 객관주의적 지향에서 일하는 사람들은 편견을 주관성과 부정적으로 동일시하는 경향이 있는 반면, 

• 구성주의적 패러다임 내에서 일하는 사람은 일반적으로 연구자들의 행동, 선호도 및 성향은 연구 과정과 제품과 불가분하게 연관되어 있으며, 편견은 그 과정에서 제거될 수 없다는 것을 인식한다. 

주관주의적 지향으로부터, 구성주의 연구자들의 주관성은 현실 자체의 본질과 그것으로부터 우리가 개발할 수 있는 지식에 기초하기 때문에 연구 과정 내내 그들의 학문적 노력을 알려준다. 간단히 말해서, 연구자들은 그들의 연구 과정을 통해 그들이 이해하는apprehending 현실을 구성한다.

• While those working from an objectivist orientation tend to negatively equate bias with subjectivity,27 

• those working within a constructivist paradigm typically recognise that researchers' actions, preferences, and predispositions are inextricably linked with research processes and products; they cannot be removed from the process. 

From a subjectivist orientation, constructivist researchers' subjectivities inform their scholarly efforts throughout the research process because subjectivity is foundational to the nature of reality itself and the knowledge we can develop from it. Put simply: the researchers construct the reality that they are apprehending through their research processes.

[구성주의 연구자들의 주관성]은 연구가 어떻게 설계되고, 데이터가 수집되고, 연구 결과가 분석되는지를 형성할 뿐만 아니라, 원고에 그들의 연구 결과를 어떻게 나타내는지에도 영향을 미친다. 예를 들어, 구성주의 연구자들은 종종 발췌한 데이터를 참여자의 목소리로 해석하는 근거에 포함시킨다. 이는 연구의 엄격함rigour을 보여주기 위해 권장되는 접근법이다. 11 면접, 초점 그룹 또는 관찰을 통해 생성된 데이터는 참여자와 연구자 간에 공동 구성된 것으로 보인다. 이 경우에 데이터는 참가자의 목소리를 엄격하게 반영하지 않는다. 그보다, 이런 데이터는 연구자들에 의해 도출되고, 형성되고, 해석된 참가자의 목소리를 반영한다. 이러한 고려를 고려할 때, HPE의 구성주의적 연구의 많은 부분이 이원론자와 객관주의자가 보기에는 변명의 여지가 없을 정도로 주관적이거나 '편향적'이라는 것은 분명하다.

Constructivist researchers' subjectivities not only shape how research is designed, data are collected, and findings are analysed, but their subjectivities also affect how they represent their findings in manuscripts. For example, constructivist researchers often incorporate data excerpts into the findings of articles to ground their interpretations in participants' voices—an approach encouraged to show rigour.11 The data generated through interviews, focus groups, or observations are seen as co-constructed between participants and researchers. In this way, data do not strictly mirror the voices of participants; rather, data reflect the voices of participants as they were elicited, shaped, and interpreted by researchers. Given these considerations, it is clear that much of HPE's constructivist research is unapologetically subjective—or ‘biased’ in both the dualist and objectivist senses.

그러나 구성주의적 접근법을 통해 생성된 데이터가 주관적이라면, 어떻게 독자는 발견이 그들 자신의 맥락에서 추가적인 고려나 구현을 할 가치가 있는지 알 수 있는가? 주관주의적 연구 결과와 통찰력을 평가하기 위해, 우리는 엄격함에 대한 객관주의적 수단을 사용할 수 없다. 사실, 주관성을 수용하게 되면 [편견이 없는 연구]에 대한 어떠한 기대도 터무니없는 것으로 만든다.

But if data generated through constructivist approaches are subjective, how then does the reader know if findings merit further consideration or implementation in their own context? To evaluate subjectivist research findings and insights, we cannot use objectivist measures of rigour. In fact, embracing subjectivity makes any expectation of bias-free research nonsensical.

한 가지 진일보한 방법은 연구자 자신의 개인적 존재론적 및 인식론적 입장과 연구 과정에 미치는 영향을 탐구하는 것을 목표로 하는 성찰적 실천reflexive practices을 통해 연구 중 작용하는 역동dynamics을 탐구하고 문서화하는 것이다.28 이를 위해 롤스턴과 쉘튼27은 세 가지 기법을 제안한다. 

• 첫 번째 기법(주제론적 연구와 객관주의적 연구에 모두 적용됨)에서 조사자들은 연구의 이론적 기초와 연구 설계, 방법 및 행동 사이에 명확한 일치를 보장하기 위해 연구 설계를 성찰한다. 

• 두 번째 기법은 연구자들에게 질문의 작성, 샘플링 선택, 연구 참여자와의 상호작용, 데이터 분석, 연구 결과의 제시를 포함한 연구 과정의 모든 단계에서 그들의 역할과 위치positioning를 검토examine하도록 요구한다. 

• 세 번째 기법은 한 걸음 더 나아가 연구자들을 자신의 연구에 대해서 분석하는 것이다. 예를 들어, 연구 참가자들에게 제시된 질문을 체계적으로 검토하거나, 이런 질문에 연구자들의 관점을 어떻게 반영되었는지 검토하거나, 그 질문들이 어떻게 특정 유형의 반응을 고무시키거나 다른 사람들을 배제시켰는지를 고려한다.

One way forward is to explore and document the dynamics at play during research through reflexive practices aimed at exploring the researcher's own personal ontological and epistemological positions and their influence on the research process.28 To do this, Roulston and Shelton27 propose three techniques. 

• In the first technique (applicable to both subjectivist and objectivist research), investigators reflect on study designs to ensure clear alignment between studies' theoretical underpinnings, and their research designs, methods, and conduct. 

• The second technique asks researchers to examine their roles and positioning within every stage of the research process including crafting of questions, sampling choices, interaction with study participants, analysis of data, and presentation of findings. 

• The third technique goes a step further by engaging researchers in an analysis of their own work—for example systematically reviewing the questions posed to study participants, considering how these reflect researchers' own perspectives, and how the questions may have inspired certain types of responses or precluded others.

이러한 서로 다른 기법들은 성찰적 연구reflexive research 저널에 기록될 수 있고 연구 팀 내에서 논의될 수 있다. 집합적으로, 이러한 전략은 연구자들이 데이터가 어떻게 구성되는지에 대해 세심한 주의를 기울이고 연구 목적과 맥락에 기초하여 연구 과정에 대한 조정이 보장되는지 여부를 결정하는 데 도움이 되어야 한다. 연구팀이 연구 결과를 분석 및 작성하기 위해 협력할 때, 그들은 데이터와 관련하여 어떻게 스스로를 포지셔닝하는지에 주목하면서 이러한 반사성reflexivity을 계속해야 한다.29

These different techniques can be documented in reflective research journals and discussed within research teams. Collectively, these strategies should help researchers pay close attention to how data are constructed and decide whether adjustments to research processes are warranted based on study purposes and contexts. As research teams work together to analyse and write up study findings, they must continue this reflexivity, noting how they position themselves in relation to their data.29

연구자가 연구과정에 미치는 주관적 영향을 따지는 대신, 연구자와 검토자는 다음과 같은 질문을 할 수 있다. 

• 이 연구의 가이딩guiding 이론과 가정은 데이터 해석에 어떤 영향을 미치고 있는가? 

• 데이터 표현에서 이론과 가정은 어떻게 표현되는가? 

• 조사 결과 발표에서 연구자와 참여자의 목소리는 어떤 관계인가? 

• 제시된 자료는 저자들이 만든 더 넓은 주장을 설득력 있고 예증하고 있는가?

Instead of decrying the subjective influence of researchers on the research process, researchers and reviewers can ask: 

• How are the study's guiding theories and assumptions influencing data interpretations? 

• How are theories and assumptions represented in data representations? 

• What is the relationship between researchers' and participants' voices in the presentation of findings? 

• Are the data presented convincing and illustrative of the broader arguments made by the authors?

5 결론 

5 | CONCLUSION

본질적으로 우리는 주관성을 수용하는 패러다임 내에서 일반성과 편견이 문제가 된다고 주장한다. 실제로 이러한 용어의 기원을 이해함으로써 주제론적 HPE 연구에서 엄격함을 달성하기 위한 대안적 접근법을 성찰하고 명확히 할 수 있다. 우리는 이러한 문제들을 무시하거나 사과하거나 위장하기 보다는, 우리의 선택을 드러내는 데 있어서 목적성purposiveness을 갖추기를 주장한다.27

Essentially, we argue that generalisability and bias are problematic within paradigms that embrace subjectivity. Indeed, by understanding the origins of these terms, we are able to reflect on and clarify alternative approaches to achieving rigour in subjectivist HPE research. Rather than ignoring, apologising for or camouflaging these issues, we instead argue for purposiveness in illuminating our choices.27

모든 HPE 연구에서, 연구자들은 특정 패러다임에서 그들의 연구를 뿌리내린다. 이것은 그 연구자들이 항상 같은 패러다임에서 일한다는 것을 의미하지는 않는다. 오히려 그 반대이다. 각각의 연구는 연구자들이 그들이 묻고 있는 질문의 유형, 그들이 만들고자 하는 지식의 종류, 그리고 그들이 조사하고 있는 현실의 성격을 고려하도록 요구한다. 한 연구에서 HPE 연구자는 사후 포시티브 지향 내에서 작업할 수 있으며, 다른 연구에서는 구성주의적 접근법을 채택할 수 있다. 하나의 패러다임이 다른 패러다임보다 우월한 것은 아니다. 그 대신, 그것들은 서로 다르다.

In every HPE study, researchers root their investigations in a specific paradigm. This does not mean that those researchers always work from that same paradigm. Far from it. Each study requires researchers to consider the types of questions they are asking, the kinds of knowledge they hope to build and the nature of the reality they are investigating. For one study, an HPE researcher might work from within a post-positivist orientation; for another, they may adopt a constructivist approach. One paradigm is not superior to the other; instead, they are importantly different from each other.

---

. 2020 Aug 11.

 doi: 10.1111/medu.14348. Online ahead of print.

The applicability of generalisability and bias to health professions education's research

Lara Varpio 1, Bridget O'Brien 2, Charlotte E Rees 3 4, Lynn Monrouxe 5, Rola Ajjawi 6, Elise Paradis 7

Affiliations 

Affiliations

• 1Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.
• 2Department of Medicine and Center for Faculty Educators, University of California, San Francisco, CA, USA.
• 3College of Science, Health, and Education (SHEE), Murdoch University, Murdoch, WA, Australia.
• 4Monash Centre for Scholarship in Health Education (MCSHE), Monash University, Clayton, Vic, Australia.
• 5Faculty of Medicine and Health, University of Syndey, Sydney, NSW, Australia.
• 6Centre for Research in Assessment and Digital Learning, Deakin University, Melbourne, Vic., Australia.
• 7University of Toronto, Toronto, ON, Canada.

• PMID: 32779251
 
• DOI: 10.1111/medu.14348

Abstract

Context: Research in health professions education (HPE) spans an array of topics and draws from a diversity of research domains , which brings richness to our understanding of complex phenomena and challenges us to appreciate different approaches to studying them. To fully appreciate and benefit from this diversity, scholars in HPE must be savvy to the hallmarks of rigour that differ across research approaches. In the absence of such recognition, the valuable contributions of many high-quality studies risk being undermined.

Methods: In this article, we delve into two constructs---generalisability and bias--that are commonly invoked in discussions of rigour in health professions education research. We inspect the meaning and applicability of these constructs to research conducted from different paradigms (i.e., positivist and constructivist) and orientations (i.e., objectivist and subjectivist) and then describe how scholars can demonstrate rigour when these constructs do not align with the assumptions underpinning their research.

Conclusions: A one-size-fits-all approach to evaluating the rigour of HPE research disadvantages some approaches and threatens to reduce the diversity of research in our field. Generalisability and bias are two examples of problematic constructs within paradigms that embrace subjectivity; others are equally problematic. As a way forward, we encourage HPE scholars to inspect their assumptions about the nature and purpose of research-both to defend research rigour in their own studies and to ensure they apply standards of rigour that align with research they read and review.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.