RIME을 앞으로: 교육연구의 과학을 구성하는 것은 무엇인가? (Acad Med, 2020)

RIME을 앞으로: 교육연구의 과학을 구성하는 것은 무엇인가? (Acad Med, 2020)

RIME Foreword: What Constitutes Science in Educational Research? Applying Rigor in Our Research Approaches

 

 

교육연구에서 과학을 구성하는 것은 무엇인가? 이 질문은 보건 직업 교육에 대표되는 학문의 다양성을 고려할 때 대답하기가 그렇게 간단하지 않다.1 연구자로서, 우리는 우리의 분야를 발전시키기 위한 과학적 연구에 종사한다. 또한 우리는 실무와 변화로 번역될 수 있는 지식을 생산하는 목표를 가진 응용 분야이다. 우리 분야는 교육, 심리학, 사회학, 생물 의학 및 임상 과학을 포함한 여러 분야와 데이터 과학 및 언어 역학 같은 신흥 분야에 뿌리를 두고 있다. 따라서, 과학과 과학적 조사의 원리를 정의하는 특정 요소는 다양할 수 있다.2 그럼에도 불구하고, 우리는 연구에서 생성된 과학의 질이 부분적으로 질문의 유형과 관련성 그리고 어떻게 답이 도출되는지에 기인한다는 것에 합의agree할 수 있다.3.4
What constitutes science in educational research? This question is not as straightforward to answer given the diversity of disciplines represented in health professions education.1 As researchers, we engage in scientific study to advance our field; we are also an applied field, with goals to produce knowledge that can translate into practice and change. Our field has roots in multiple disciplines, including education, psychology, sociology, biomedical and clinical sciences, as well as in emerging areas, such as data science and linguistic dynamics. As such, the specific elements that define science and principles of scientific inquiry may vary.2 And yet, we can agree that the quality of science generated from a study stems, in part, from the type and relevance of questions asked and how the answers are derived.3,4

 

오브라이언과 동료 5의 2019년 의학 교육 연구(RIME) 서언에서는 [추구할 가치가 있는 질문]과 [연구 질문을 유망한 investigation으로 만들어주는 요소]를 식별하는 방법에 대해 논의하였다. Promising question은 여러 가지 다른 연구 접근법을 통해 조사할 수 있지만, 일부 접근법은 질문 유형을 기반으로 추구하기에 더 효과적일 수 있다. 각 접근방식은 교육 커뮤니티에서 표준과 인정된 관행에 따라 "과학적인" 연구를 산출할 수 있다. 연구자들이 그들의 질문에 가장 잘 맞는 접근법을 선택하도록 돕기 위해, Ringsted와 동료 6은 관련된 해답을 얻기 위해 경로의 다양성을 탐색하기 위해 연구 나침반을 만들었다. 
The 2019 Research in Medical Education (RIME) Foreword by O’Brien and colleagues5 discussed how to identify questions worth pursuing and factors that make research questions promising for investigation. Promising questions can be investigated through several different research approaches, though some approaches may be more fruitful to pursue based on the type of question. Each approach may yield “scientific” studies according to the standards and accepted practices in the educational community. To help researchers choose the approach that best fits their question, Ringsted and colleagues6 created the research compass to navigate the diversity of pathways toward reaching relevant answers. 

[연구 접근 방식research approach]은 [과학]을 [저널리즘, 제품 테스트 또는 개인적 성찰과 같은 다른 유형의 탐구 및  조사]와 구별되는 것이다. 과학적 연구 접근법에는 현상에 대한 더 나은 설명을 제공함을써, ["무엇이" 작동하였는지 뿐만 아니라 "어떻게" 또는 "왜" 작동하는지"] 물어봄으로써 현상에 대한 더 나은 설명과 더 미묘한 이해를 찾기 위한 연구 공동체의 지속적인 노력이 수반된다. 그렇다면, 연구가 그 분야를 발전시키고 우리의 과학을 더 높은 지위로 끌어올리는 것인지 어떻게 알 수 있을까요?
The research approach is what sets science apart from other types of investigation and inquiry such as journalism or product testing or personal reflection. Scientific research approaches involve continuous efforts by the research community to find better explanations and more nuanced understanding of phenomena by asking “what” works as well as “how” or “why” it works by providing better explanations of the phenomenon. One approach rarely suffices to answer all these questions. , then, do we know if research is advancing the field and bringing our science to higher state?

연구 접근 방식: 연구설계, 연구방법론, 과학철학과의 연계성 연구
Research Approaches: Aligning Questions With Research Design, Research Methodology, and Philosophy of Science

[연구 접근법]은 우리가 연구에 참여하는engage in 방법이라고 설명할 수 있고, 연구 질문은 연구 접근법의 출발점이다. [연구 접근법]은 데이터 수집, 분석 및 해석과 관련된 연구 형성에서 방법론에 이르는 과정을 개괄적으로 설명하는 계획 및 결정을 명확히 한다.8-10 설명, 정당화, 명확화 연구로 특징지어질 수 있는 건강 직업 교육의 연구 질문과 유사하게, 연구 접근법은 식별한 연구 질문에 뒤따느는 후속 연구 과정에 inform and line하는 여러 계층을 가질 수 있다.
How we engage in research is described as the research approach, and a research question is the starting point for the research approach. Research approaches articulate the plans and decisions that outline the process from study formation to methodologies involved in data collection, analysis, and interpretation.8–10 Similar to research questions in health professions education that can be characterized as description, justification, and clarification studies,11 research approaches can have multiple layers that inform and link the subsequent research process following the identification of a research question.

 

연구자들은 종종 접근방식을 본질적으로 정량적, 정성적 또는 혼합적 방법으로 특징짓는다. HPE의 과학 상태가 발전함에 따라, 데이터의 유형에 기초한 이러한 분류는 우리 분야에서 이용 가능한 일련의 규율 전통과 관행을 고려할 때 불충분하다.12 연구 접근법은 연구를 guide하는 [연구 질문, 가정 및 개념적 프레임워크]에 기초한 결정을 요구한다.9 과학 연구에서 보다 구체적으로, 의사결정 과정에 영향을 미치는 연구 접근법에는

• (1) 철학 가정(연구 패러다임 또는 과학의 철학),
• (2) 연구 설계(조사의 과정) 및
• (3) 연구 방법(데이터 수집, 분석 및 해석)

...의 세 가지 원칙이 있다. 

Researchers often characterize an approach as being quantitative, qualitative, or mixed-methods in nature. As the state of the science advances in HPE, these classifications, based on the type of data, are insufficient given the array of disciplinary traditions and practices available in our field.12 Research approaches require decisions based on research questions, assumptions, and conceptual frameworks guiding the study.9 More specifically in scientific studies, there are 3 principles of research approaches that influence the decision-making process:

• (1) philosophical assumptions (research paradigm or philosophies of science),
• (2) research designs (processes of inquiry), and
• (3) research methods (data collection, analysis, and interpretation).

그림 1은 세 가지 연구 접근법의 관계를 나타내며, [연구 질문]과 [답변] 사이에서 프레임워크를 운용한다. 연구접근법은 연구자가 조사한 방향과 범위를 알려준다.

Figure 1 illustrates this relationship of the 3 research approaches, operationalizing the framework within research questions and answers. Research approaches inform the direction and scope examined by the researcher.

 

 

그림 1: 과학적 연구를 위한 프레임워크: 질문과 답변을 연구 접근법과 일치시킵니다. 

• 연구자는 연구질문을 식별하고, 해당 질문에 맞는 연구 접근 방식을 선택하고, 결과를 사용하여 답변을 작성하는 것으로 시작한다. 
• 이 프로세스 내에서 연구원은 엄격한 기준을 적용하여 세 가지 연구 접근 방식(철학, 설계 및 방법)을 식별한다. 
• 세 가지 연구 접근법에서 과학적 엄격성의 적용은 과학적 연구를 뒷받침한다. 

Figure 1: 

A framework for scientific research: Aligning questions and answers with research approaches. A researcher conducting a study begins by identifying a research question, selecting research approaches that align with the question, and using the results to form answers. Within this process, the researcher identifies three research approaches (philosophy, design, and methods), applying standards of rigor. The application of scientific rigor in the three research approaches support making a scientific study. 

 

[과학의 철학]은 세계가 어떻게 작동operate하는지에 대한 가정을 하며, 다음의 것에 기초하여 과학이 수행conducted되는 방식을 가이드한다
Philosophies of science2,13 make assumptions about how the world operates, guiding the way in which science is conducted based on

 

• 존재론(현실을 보는 방식),
  
• 인식론(지식의 본질이 어떻게 생각되는가)
  
• 가치론(연구 과정에서 가치의 역할과 장소, 특히 인식론, 방법론 및 방법 사이의 관계에 대한 가치의 영향)
  
• 방법론(패러다임이 과학을 정의하고 처리하는 방법), 그리고
  
• 엄격함(연구의 품질을 정당화하기 위한 노력)

 

• ontology (how reality is viewed),
• epistemology (how the nature of knowledge is conceived),
• axiology (role and place of values in the research process specifically the influence of values on the relationship between epistemology, methodology, and methods),
• methodology (how the paradigm defines and processes science), and
• rigor (criteria to justify the quality of research).

 

그림에 열거된 철학은 실증주의, 후기실증주의, 비판이론, 구성주의, 실용주의, 현실주의, 포스트모더니즘을 포함한 보건직 교육 연구자들이 이용할 수 있는 광범위한 패러다임의 하위 집합이다.14

The philosophies listed in the figure are a subset of the wide range of paradigms available for health professions education researchers, including positivism, postpositivism, critical theory, constructionism, pragmatism, realism, and postmodernism.14

 

[연구 설계](탐구 전략)는 연구의 특정 방향과 프로세스에 대한 지침을 제공한다. 보건 직업 교육 연구자는 광범위한 연구 설계를 이용할 수 있다. 

• 실험 설계(랜덤화 제어 연구 또는 준-치과학적 연구 포함) 및 조사와 같은 정량적 지향 설계부터, 
  
• 서술적 연구, 현상학, 근거 이론, 민족학, 사례 연구와 같은 질적 지향적 설계로
• 수렴적/설명적 순차적 연구, 변형적 연구를 포함하는 혼합적 설계로

Research designs (strategies of inquiry) provide guidance on the specific direction and process for the study.15 Health professions education researchers have a wide selection of research designs available, ranging

• from quantitatively oriented designs such as experimental designs (including randomized controlled studies or quasi-experimental studies) and surveys,
• to qualitatively oriented designs such as narrative research, phenomenology, grounded theory, ethnography, case studies, and
• mixed-methods designs that include convergent, explanatory/exploratory sequential, and transformative studies.

[연구 방법론]은 연구 결과를 합성하고 연구 질문에 답하기 위해 데이터 수집, 분석 및 해석을 수행하는 방법에 대한 프레임워크를 제공한다. 연구 방법론은 또한 정량적, 정성적 또는 혼합적 방법 방향을 가질 수 있다. 데이터를 수집하기 위한 도구를 식별하는 특정 방법에 따라, 다양한 데이터 소스를 컴파일하고, 분석을 수행하고, 해석을 수행합니다. 예를 들어,

• 해석을 위한 상관관계 또는 회귀 분석과 같은 통계적 방법을 사용하여 채점되고 분석되는 정보를 수집하기 위해 정신 측정 척도를 사용하는 것이 포함될 수 있다. 
  
• 해석 과정의 일부로서 주제와 패턴을 식별하기 위한 스크립트 분석과 함께 인터뷰를 통해 데이터를 수집하기 위해 개방형 질문을 사용할 수 있다. 
  
• 또는 이러한 방법론의 조합을 사용하여 숫자 및 텍스트 기반 데이터에서 추론을 도출할 수 있다.
  

The research methodology provides the framework for how data are collected, analyses performed, and interpretation conducted to synthesize findings and arrive at answering the research question.9,15 Research methodologies may also have a quantitative, qualitative, or mixed-methods orientation, depending on the specific method for identifying the tools to collect data, compile the different sources of data, perform analysis, and conduct interpretation. For example, this may involve

• using psychometric scales to gather information that is scored and analyzed using statistical methods such as correlations or regression analysis for interpretation;
• open-ended questions may be used to gather data through interviews, with analysis of transcripts to identify themes and patterns as part of the interpretive process.
• Alternatively, a combination of these methodologies can be used, drawing inference from numeric and text-based data.

이러한 연구 접근법의 3가지 핵심 구성요소의 구별에서 보건 직업 교육에 연구를 수행하는 선형 경로가 없다는 것이 다소 명확해진다.

• 실증주의 또는 후기실증주의 지향성을 가진 연구원은 사전에 설정한 검증가능한 가설(과학철학)로 시작하여, 조사 및 지식시험(연구방법론)에서 수집된 데이터를 사용하여, 실험연구(연구설계)를 수행할 수 있다.
• 구성주의적 오리엔테이션(과학철학)에서 일하는 연구원은 현장 노트에 포착된 인터뷰 및 관찰 데이터(연구방법론)를 수집 및 분석하는 민족학적 연구(연구설계)를 수행할 수 있다. 15,16 

It becomes somewhat clear from the distinction of these 3 core components of research approaches that there is no linear pathway for conducting research in health professions education.

• A researcher with a positivist or postpositivist orientation may begin with an a priori testable hypothesis (philosophy of science) and choose to conduct an experimental study (research design) using data collected from a survey and knowledge test (research methodology).
• A researcher working from a constructivist orientation (philosophy of science) may choose to conduct an ethnographic study (research design) that involves collecting and analyzing interview and observational data captured in field notes (research methodology).15,16 

 

또한, 의학 교육에 대한 연구는 여러 연구 접근법을 수반할 수 있으며, "방법론적 다원론"으로 과학 연구를 촉진한다.

Moreover, studies in medical education may involve multiple research approaches, prompting scientific research with “methodological pluralism.”17

건강직업교육의 과학적 엄격성을 이용한 연구접근법 개발
Advancing Research Approach Using Scientific Rigor in Health Professions Education

 

그렇다면 무엇이 연구를 [과학적]으로 만들까요? 만약 우리가 연구 접근법의 3가지 요소를 고려한다면, 3가지 요소들 사이에 정렬, 접근법에 적용되는 엄격성 표준의 신중한 고려, 그리고 그러한 표준이 연구 과정 동안 충족되었다는 증거가 있어야 한다.10 [엄격성]에 대한 표준은 연구 접근법의 구성요소에 따라 다르다. 예를 들어,

• [실험 설계]에서 엄격성의 증거는 연구자가 객관성을 입증하고 연구에 영향을 미칠 수 있는 주관적 편향을 최소화하는 정도이며, 가설 검증에 대한 위협이 최소화되는 방법에 대한 증거를 제공함으로써, 연구된 요인 간의 연관성 또는 인과 관계를 달성한다. 또한 큰 표본 크기와 추론 통계를 통해 연구를 복제하거나 연구의 소견을 일반화하려는 목적이 있다.
• 이와는 대조적으로, [구성주의자 근거 이론]을 채택한 연구에서, 엄격성의 기준은 연구팀이 연구 과정 전체에 걸쳐 그들의 가정과 관점을 어떻게 생각했는지에 대한 증거로서 [반사성]의 개념을 포함하며, 또한 연구 참여자를 어떻게 의도적으로 선택했는지 설명하는 [지속적 비교 기법]을 포함할 수 있다. 또한 주제와 주제 사이의 관계를 식별하기 위해 [반복 프로세스]를 사용했음을 보여주는 것이다. 이 때의 목표는 [통계적 일반화가능성과 복제]보다는 [개념적 또는 이론적 일반화 가능성]이다.
  

 

So what makes a research study scientific? If we consider the 3 components of research approach, then there must be alignment among the 3 components, careful consideration of standards of rigor that apply to the approach, and evidence that such standards have been met throughout the research process.10 Standards for rigor vary depending on the components of the research approach. For example,

• in an experimental design, the evidence of rigor is in the degree to which the researcher demonstrates objectivity and minimizes subjective bias that can influence the study, providing evidence on how threats to hypothesis testing is minimized and thereby achieving the association or causal relationship between the factors studied. There is also an aim toward study replication and generalizing findings through large sample sizes and inferential statistics.
• In contrast, in a study employing constructivist grounded theory, the criteria for rigor may include concepts of reflexivity as evidence of how the research team considered their own assumptions and perspectives throughout the research process and constant comparative techniques to explain how the researchers purposefully selected study participants and used an iterative process to identify themes and relationships among themes.18,19 Conceptual or theoretical generalizability is a goal rather than statistical generalizability and replication.

 

[연구 설계]의 경우 엄격성에 대한 표준을 적용하고 입증해야 한다.

• 설문조사를 실시할 경우 파일럿 조사나 설문 구성의 모범사례지침을 적용하는 등 엄격성 원칙을 보고해야 한다.
• 예를 들어, 민족학 연구에서 데이터 소스의 장기 참여를 통한 삼각 측량, 참가자 반응성의 고려에 대한 증거는 엄격함을 보여줄 수 있다.
• 마찬가지로, 연구 방법론의 경우, 참가자 감소를 최소화하기 위한 노력, 타당성 증거를 뒷받침하는 측정 도구의 사용, 회귀 모델에서 추정치의 통계적 모델 적합 및 표준 오차 평가와 같은 데이터 수집의 엄격성 표준에 대한 합의 지침이 있다.
  

For research design, standards for rigor should be applied and demonstrated.

• If a survey was administered, principles of rigor such as pilot testing the items or applying best-practice guidelines to survey construction should be reported.
• In an ethnographic study, for example, evidence of prolonged engagement triangulation of data sources and consideration of participant reactivity can demonstrate rigor.
• Likewise, for research methodology, there are consensus guidelines on standards of rigor in data collection such as efforts to minimize participant attrition, use of measurement tools with supporting validity evidence, or evaluating the statistical model fit and standard error of estimates in a regression model.

이러한 각 연구 접근법에 대한 표준은 문헌에 보고되고 연구자에게 지침을 제공한다. 그러나 특히 과학의 엄격성과 증거를 구성하는 것에 대해 현장의 추가적인 주의가 필요한 혼합 방법 영역에서, 새로운 접근법과 새로운 접근법에 대한 엄격성 원칙과 지침이 결여된 연구 접근법도 있다.

Standards for each of these research approaches are reported in the literature and provide guidance to researchers.20,21 However, there are also research approaches that lack principles of rigor and guidance for newer and emerging approaches, particularly in mixed-methods domains that require further attention from the field on what constitutes rigor and evidence of science.

상황에 따라 [엄격함]과 [관련성] 사이에서 진자의 균형을 맞출 필요가 있을 수 있다.22 연구가 목적적합하기 위해서는 [최종 사용자의 근본적인 관심사]에 초점을 맞춰야 한다. 그러나 관련성을 지원하는 연구 접근 방식은 추가적인 논의, 추가 합의, 문화적 맥락과 규범에 대한 민감성을 요구할 수 있다.23,24

Depending on context, there may be a need to balance the pendulum between rigor and relevance.22 For research to be relevant, it must focus on the fundamental concerns of the end users. Yet the research approach supporting relevance may require additional discussion, further consensus, and sensitivity to cultural contexts and norms.23,24

RIME 2020의 연구접근법 : 보건직업 교육을 위한 신흥 및 개척적 연구접근법
Research Approaches in RIME 2020: Emerging and Frontier Research Approaches for Health Professions Education

 

최근 기술과 대량의 데이터 수집 능력(양적, 질적 및 시각적 이미지)의 진보는 이용 가능한 방법론에 대한 우리의 시야를 넓힐 수 있는 수많은 기회를 촉발시켰다.29 
Recent advances in technology and ability to gather large quantities of data (quantitative, qualitative, and visual images) have prompted numerous opportunities to expand our horizon on the available methodologies.29 

 

데이터 과학의 출현과 컴퓨팅 능력의 향상으로 어떤 연구 접근 방식을 활용할 수 있습니까? 이는 2020년 RIME 전체회의의 초점이었으며, 패널들은 인공지능, 학습자 분석, 실습 기반 연구 네트워크를 포함하는 신흥 및 개척자 연구 접근 방식을 논의하였다.27 
What research approaches can be leveraged with the emergence of data science and improvements in computing power? This was the focus of the 2020 RIME plenary, with panelists discussing emerging and frontier research approaches covering the domains of artificial intelligence,25 learner analytics,26 and practice-based research networks.27 

 

• 대규모 데이터 합성에 대한 상당한 진보가 딥 러닝 및 인공지능 방법론을 사용하여 보건 전문가를 양성하는 데 사용할 수 있는 잠재력을 보여주었다. 30
  
• 학습자와 교수진에게 실시간 분석 데이터를 제공하여 종방향 및 발전적 진보를 위한 훈련 시스템을 개선할 수 있다31
  
• 또한 평가, 학습자, 프로그램 및 기관에 걸쳐 다양한 수준의 데이터를 포함하는 대량의 데이터를 수집할 수 있는 능력은 실무 기반 연구 네트워크의 과학에 의해 안내된 바와 같이 협업 인프라와 데이터 공유를 필요로 합니다.32 

 

• Significant advances to synthesizing large-scale data have shown potential for their use to train health professionals using deep learning and artificial intelligence methodologies30;
• real-time analytic data may be provided to learners and faculty, allowing improved systems of training for longitudinal and developmental progress31;
• and the ability to gather large quantities of data that cover multiple levels of data across assessments, learners, programs, and institutions requires collaborative infrastructure and data sharing, as guided by the science of practice-based research networks.32 

 

보건직업교육의 연구접근법 연구기여부
Contributions in Research Approach From Health Professions Education

우리는 종종 우리의 많은 핵심 연구 접근법과 개념 체계를 심리학, 사회학, 통계학과 같은 전통적인 학문에서 이전되거나 채택된 것으로 간주한다. 사회과학 연구의 많은 원칙이 핵심 연구 접근법의 프로파일에 기여했지만, 우리는 새로운 접근 방식을 수정하고 개발하였다.33 예를 들어, 평가를 연구하는 데 사용되는 많은 연구 접근 방식은 심리학적 접근 방식을 포함한 K-12 교육 환경에서 비롯되었다. 지난 수십 년 동안, 의학교육 분야는 성과 기반 평가를 위한 연구를 구현하고 운영하는 방법에 있어 이러한 아이디어를 수정해 왔다. 이러한 방법은 현재 객관적인 구조화된 임상 검사 및 작업장 기반 평가를 분석하는 방법을 포함하여 보건 직업 교육 외부의 분야에 영향을 미치고 있다.34
We often regard many of our core research approaches and conceptual frameworks as being transferred or adopted from traditional disciplines such as psychology, sociology, and statistics. While many principles of social science research have contributed to our profile of core research approaches, we have modified and also developed new approaches.33 For example, many research approaches used to study assessments have originated from K-12 educational settings including psychometric approaches. Over the past decades, the field has modified these ideas in how we implement and operationalize research for performance-based assessments—these methods are now influencing disciplines outside health professions education, including how we analyze objective structured clinical examinations and workplace-based assessments, to name a few.34

 

또한 [표준화된 환자 방법론]은 현재 다른 분야의 전문가 교육에 혁명을 일으키고 있는 건강 직업 교육에 채택된 독특한 연구 접근법이다. 의학교육의 엄격성에 대한 표준은 또한 공학 교육 및 법률 교육의 영역을 포함한 치과 교육 및 기타 보건 교육 분야의 연구 표준에 영향을 미치고 있다. 우리는 점차 혁신적인 연구 방법론과 다른 분야로의 접근을 수출하는 분야로 옮겨갔다.
In addition, the standardized patient methodology is a unique research approach adopted in health professions education that is now revolutionizing the training of professionals in other fields. Standards for rigor in medical education are also impacting research standards in dental education and in other health education fields, including domains of engineering education and legal education. We have gradually shifted into a field that now exports innovative research methodology and approaches to other disciplines.

우리는 확립된 단일 방법론을 따르기를 거부하는 일반적인 질적 접근법에서 예시처럼, 방법론의 혼합을 채택하는 새로운 접근법을 보고 있다.35,36 그러한 [새로운 접근법]의 영향은 보건 직업 교육 연구자들 사이의 엄격성에 대한 신중한 고려가 필요하다. 더욱이, 형평, 다양성, 포함inclusion의 문제를 진전시키는 방법론을 포함하여, 여전히 그 분야의 개발을 기다리고 있는 연구 접근법과 엄격성 표준이 있다.37 [인력 구성과 다양성]을 검토하는 파이프라인 프로그램을 검토하는 평가 연구는 (특히 이러한 중요한 주제와 일치하는 연구 질문들에서) 연구 접근법과 엄격성에 대한 지침이 여전히 부족하다. 

We are seeing newer approaches that adopt a mixture of methodologies, as exemplified in generic qualitative approaches that refuse to follow a single established methodology.35,36 The impact of such newer approaches requires thoughtful consideration for rigor among health professions education researchers. Furthermore, there are research approaches and standards of rigor that still await development for the field, including methodologies that advance issues in equity, diversity, and inclusion.37 Evaluation studies examining pipeline programs that examine workforce composition and diversity still lack guidance in research approach and rigor, particularly among research questions that align with these important topics.

 

게다가, [교육의 프랙세올로기praxeology]에 대해서도 구체적인 고려가 필요하다.38 프랙세올로기는 "프랙시스"에서 비롯되는데, 이는 교육이 어떻게 실행되어야practiced 하는지에 대한 문제와 관련이 있다. 그것은 구체적으로 교육이 효과를 발휘하도록 하는 연구가 무엇을 의미하는지 묻는 질문에 대답한다. 프랙세올로기는 가치 중립적이지 않으며 기관과 국가 기관의 우선순위에 따라 달라진다.

Additionally, praxeology of education needs to be given specific consideration.38 Praxeology stems from “praxis”—action, which has to do with the question of how education is to be practiced. It specifically answers the question of what research means for making education work. Praxeology is not value-neutral and depends on the priorities of institutions and national bodies.

 

블랙 라이프 매터(BLM, Black Life Matter) 운동이 한창인 가운데, 의학교육 연구가 소수민족에게 어떤 영향을 미쳤는지 되새겨볼 것을 독자들에게 당부한다. 연구의 결과로 praxis, change, action이 이루어졌는가? 다양성, 형평성, 포괄성 분야의 연구가 교육 변화를 구현하기 위한 제도적 조치에 부합할 필요가 있다는 점을 유념해야 한다. 이러한 분야에 대한 기여는 과학 발전을 위한 다른 관련 분야뿐만 아니라 우리 분야에도 상당한 영향을 미칠 수 있다.39

In the midst of the BLM (Black Lives Matter) movement, we challenge our readers to reflect on how medical education research has impacted minorities. Has the research resulted in praxis, change, and action? It is important to note that research in the field of diversity, equity, and inclusion need to be met with institutional action to implement changes in education. Contributions in these areas can have significant impact for our field as well as other related disciplines in how we advance science.39

끝맺는 말
Concluding Remarks

여러 분야의 학자들이 있는 분야에서, 최고의 과학의 모든 원칙과 가치를 포괄하는 하나의 엄격한 기준을 명확히 하는 것은 쉽지 않다. 여전히 많은 엄격한 기준이 존재한다. 우리는 질문의 유형과 작업의 보고 표준에서도 상당한 진전을 이뤘습니다. 그리고 우리의 연구 접근법과 관련된 과학적 엄격함은 여전히 지속적으로 다듬을 가치가 있는 분야로 남아있을지도 모른다. 
In a field with scholars from many disciplines, it is not easy to articulate a single standard of rigor that encompasses all principles and values of best science—there still are many contending standards of rigor. We have made significant progress in the types of questions we ask and also in the reporting standards of our work. And perhaps the scientific rigor associated with our research approach still remains to be a domain worth continuously refining.

 

그러나, 연구자들을 위한 테이크-홈 메시지는, 연구자가 연구 설계, 연구 방법론, 그리고 과학철학의 가정과 선택에 걸쳐 엄격성 표준을 따르고 있음을 입증하고 노력해야 한다는 것이다. 다음을 명확하게 설명하는 것은 모두 과학적 엄격함의 프로세스에 공헌할 것이다.

• 연구가 우리 분야의 문제나 현상과 관련된 지식을 어떻게 발전시키는가,
• 다른 문화적 맥락에서 연구의 목적적합성과 적용 가능성,
• 연구의 결과로 교육에서 어떤 변화가 필요한가(praxeology),
• 연구가 우리 분야의 핵심 원칙과 가치에 어떻게 이야기를 걸어오는가(axiology)

Yet, the take-home message is for researchers to demonstrate and to strive toward adherence in standards of rigor across their selection of research design, research methodology, and assumption and choices in the philosophy of science. Clear articulation of

• how a research study advances knowledge relevant to a problem or phenomenon in our field,
• the relevance and applicability of the study in different cultural contexts,
• what needs to change in education as a result of the finings (praxeology), and
• how the research speaks to core principles and values of our field (axiology)

...all contribute to the process of scientific rigor.

2020년은 우리가 교육 연구원과 실무자로서, 그리고 전문가로서 어떻게 기능하는가에 대한 불확실성과 도전으로 가득 찬 특이한 한 해이다. 우리는 우리가 봉사하는 직업과 사회에 어떤 특성과 가치를 가져다 주는지 잠시 멈추고 반영해야 할 중요한 시기에 있다. 또한 올해는 59번째 RIME 프로그램으로, 우리는 RIME의 다음 이정표에 접어들고 있으며, 보건직업 교육의 과학을 움직이는 연구와 발견에 있어 새로운 10년을 내다보고 있다. 

The year 2020 marks an unusual year, full of uncertainties and challenges in how we function as educational researchers and practitioners and more importantly as professionals; we are at a crucial time to pause and reflect what character and value we bring to the profession and communities we serve. This year also marks our 59th RIME program, where we are at a cusp entering the next milestone for RIME, as we look toward a new decade of excellence in research and discoveries that drive the science of health professions education. 

 

 

 

---

Acad Med. 2020 Nov;95(11S Association of American Medical Colleges Learn Serve Lead: Proceedings of the 59th Annual Research in Medical Education Presentations):Si-Sv.

 doi: 10.1097/ACM.0000000000003636.

RIME Foreword: What Constitutes Science in Educational Research? Applying Rigor in Our Research Approaches

Yoon Soo Park 1, Zareen Zaidi, Bridget C O'Brien

Affiliations collapse

Affiliation

• 1Y.S. Park is chair, Research in Medical Education (RIME) Program Planning Committee, and director of health professions education research, Massachusetts General Hospital and Harvard Medical School, Boston, Massachusetts; ORCID: http://orcid.org/0000-0001-8583-4335. Z. Zaidi is incoming chair, Research in Medical Education (RIME) Program Planning Committee, and associate chief for faculty development, Division of General Internal Medicine, University of Florida College of Medicine, Gainesville, Florida; ORCID: https://orcid.org/0000-0003-4328-5766. B.C. O'Brien is immediate past chair, Research in Medical Education (RIME) Program Planning Committee, professor of medicine, Department of Medicine, and education scientist, Center for Faculty Educators, University of California, San Francisco, San Francisco, California; ORCID: http://orcid.org/0000-0001-9591-5243.

• PMID: 32769461

 

• DOI: 10.1097/ACM.0000000000003636