코멘터리: 의학교육의 패러다임, 가치론, 인간행동학 (Acad Med, 2018)
Commentary: Paradigms, Axiology, and Praxeology in Medical Education Research
Zareen Zaidi, MD, PhD, and Douglas Larsen, MD, MEd
연구자들의 [연구 패러다임]과 [이론적 관점]은 [연구 과정]에 영향을 미친다. 승인된 RIME(Research in Medical Education) 기사를 예로 들어 다음 질문을 살펴봅니다. 연구자들의 철학적 기반은 무엇이며, 그것이 출판물에서 드러나나요? 어떤 연구 패러다임이 잠재적으로 그들의 방법 선택을 가이드하는가? 그런 다음 우리는 연구 결과가 다른 의학 교육자들의 행동에 어떻게 영향을 미칠 수 있는지 논의한다. 우리는 연구 설계가 패러다임, 이론, 방법론 및 방법을 어떻게 포괄하는지 강조한다. 더 진행하기 전에, 우리는 이 요약을 준비하는 동안 사용한 주요 개념에 대한 간단한 개요를 제공한다. 입문서와 관련된 더 자세한 자료는 관심 있는 사람들을 위한 참고 문헌에 제공된다. 우리는 독자들이 이러한 개념과 이론의 적용 가능성을 고려하여 자신의 실천과 연구를 안내할 것을 권장한다.
Research paradigms and theoretical perspectives of researchers influence the research process—even research questions posited by researchers are shaped by how they view the world. Using the accepted Research in Medical Education (RIME) articles as exemplars, we explore the following questions: What are the philosophical underpinnings of the researchers, and are they made visible in their publications? What research paradigms potentially guide their choice of methods? We then discuss how the results from research can influence actions of other medical educators. We highlight how research design encompasses paradigms, theory, methodology, and methods. Before proceeding further, we provide a brief primer on the key concepts that we used while preparing this summary. More detailed resources1–6 related to the primer are provided in the bibliography for those interested. We encourage readers to consider the applicability of these concepts and theories to guide their own practice and research.
프라이머: 연구자들은 그들의 연구 활동에 영향을 미치는 다양한 [철학적 프레임워크]나 [패러다임]을 따른다. [패러다임]은 신념이나 세계관의 집합으로 볼 수 있으며, 세계의 본질과 개인이나 사물에 대한 세계의 관계, 또는 단순히 인식론적 입장으로 볼 수 있다. 이러한 패러다임은 시간이 지남에 따라 진화해왔고 현재까지도 계속 그렇게 하고 있다. 연구자들은 일부 중첩이 있는 패러다임에 대해 다른 레이블을 사용할 수 있다. 따라서 패러다임은 경직된 프레임워크보다는 [관련이 있는 사상적 학파의 느슨한 결합]으로 간주되어야 한다. 가장 잘 알려진 패러다임으로는 실증주의/후기실증주의, 포스트모더니즘/포스트구조주의, 비판론/이데올로기 패러다임, 구성주의, 실용주의 등이 있다. 패러다임에 대한 포괄적인 검토를 제공하는 것은 저자들의 의도가 아니다. 오히려 우리는 독자들에게 이해하기 쉬운 설명을 우리의 후속 대화의 기초로서 제공하는 것을 목표로 한다.
Primer: Researchers follow various philosophical frameworks or paradigms that impact their research activities. Paradigms can be viewed as a set of beliefs or worldviews, the nature of the world and the relationship of the world to individuals or objects, or simply as epistemological stances.7 These paradigms have evolved over time and continue to do so to date. Researchers may use different labels for the paradigms with some overlap; therefore, the paradigms should be regarded as loosely bound, related schools of thought rather then rigid frameworks.3 The best-known paradigms include positivism/postpositivism, postmodernism/poststructuralism, critical theory/ideological paradigm, constructivism, and pragmatism.3,8 It is not the intent of the authors to provide an encompassing review of paradigms; rather, we aim to provide easy-to-understand descriptions for readers as a primer to our subsequent conversation.
[실증주의]는 역사적으로 가장 잘 알려진 패러다임이다. 이 패러다임을 따르는 연구자들은 [발견되어야 할 하나의 진실]이 있으며, [현실은 관찰 가능하고 측정 가능]하며, [인과관계 연구]를 통해 발견될 수 있다고 믿는다. 고정된 측정 가능한 현실에 대한 생각은 많은 비판을 받았고, 연구자들은 측정이 잘못될 수 있고, 편견이 있으며, 완전한 객관성은 불가능하다는 것을 인정했다. 이것은 객관성을 위해 노력하지만 완전한 중립성은 어떤 절대적인 의미에서도 얻을 수 없다는 것을 이해하는 연구자들과 함께 후기실증주의 패러다임을 이끌었다. [후기실증주의자]들은 "진실"은 근사치이며 "우리가 현실에 대해 알고 있는 것은 지금은 진실이다. 단, 더 많은 연구가 더 나은 설명, 더 정확한 척도를 찾을 때까지"라고 이해한다.
Positivism is historically the best-known paradigm.3 Researchers following this paradigm believe that there is a single truth to be discovered and that reality is observable, is measurable, and can be discovered in cause-and-effect studies.3,9 The idea of a fixed measurable reality received much criticism with researchers conceding that measurement is fallible, researchers have biases, and complete objectivity is not possible.3 This led to the postpositivist paradigm with researchers striving for objectivity but understanding that complete neutrality is not obtainable in any absolute sense.9
Postpositivists understand that “truth” is an approximation or “what we know about reality is true for now—until more studies find a better explanation, a more accurate measure.”9,10
[포스트모더니즘]은 어떤 현상의 현실이 그것을 경험하는 자와 주관적으로 상대적이라고 가정한다. 이 패러다임은 또한 탈구조적 또는 탈식민지적이라 불리며 [현대 사회에 대한 비판]을 제공한다. 포스트모던 연구자들은 [기존의 내러티브를 해체]하고 [현상에 대한 재개념화된 설명]을 만드는 것을 목표로 한다.
Postmodernism posits that reality of a phenomenon is subjectively relative to those who experience it.11 This paradigm is also variably referred to as poststructural or postcolonial and offers critiques of modern society.3 Postmodern researchers aim to deconstruct existing narratives and produce reconceptualized descriptions of phenomena.12
[비판적 이론/이데올로기 패러다임]은 연구를 통해 [인식된 사회적 부당성]을 [해결하는 것]을 목표로 한다. 이 패러다임에서는 [현실은 시간이 지남에 따라 결정되는 사회적, 정치적, 문화적, 경제적, 민족적, 성별적 가치에 의해 형성된다]는 것을 인정한다. 이 경우 연구자는 (포스트모더니즘과는 반대로) 연구과제, 목적, 방법의 중심이 되는 가치에 대해서 [proactive한 입장]을 가지고 있다.
Critical theory/ideological paradigm aims to address perceived social injustices through research and advocating for policy changes, acknowledging that reality is shaped by social, political, cultural, economic, ethnic, and gender values crystallized over time.7 The researcher in this case (as opposed to postmodernism) has a proactive stance with values being central to the task, purpose, and methods of research.13
[구성주의]는 현실이 그것을 경험하는 사람들에 의해 구성되고 상대적이라는 것을 인식한다. 지식은 [연구자와 참가자 사이의 경계]를 흐리게 하는 [우리의 상호 작용]을 통해 만들어진 구성으로 구성되므로 [객관성에 도전]한다. 지식은 연구자와 참여자에 의해 [공동으로 만들어지며 시간에 따라, 개인에 따라, 상황에 따라 달라진다].
Constructivism recognizes that reality is constructed by those who experience it and is relative.14 Knowledge consists of the constructions made through our interactions blurring the line between researchers and participants, therefore challenging objectivity. Knowledge is cocreated by researchers and participants and is time dependent, individual dependent, and context dependent.9
[실용주의]는 종종 진실과 현실의 문제를 회피하는 "대안적 패러다임"으로 간주되며, 이는 연구자가 실증주의/후지향주의에서 구성주의에 이르는 패러다임의 범위 사이에서 선택을 강요받지 않도록 한다. 이 연구자들은 사회적, 역사적, 정치적 맥락을 인정하면서도, [연구의 목적에 초점]을 맞춘다. 즉, [진실]은 그 당시에 작동하는work 것으로 간주합니다.
Pragmatism is often regarded as an “alternate paradigm” sidestepping issues of truth and reality, allowing the researcher to be free of being forced to make a choice between the ranges of paradigms from positivism/postpositivism to constructivism.15 These researchers focus on the purpose of research while appreciating social, historical, and political context—describing truth as what works at the time.16
[방법론]은 [방법의 설명과 정당화]이지 [방법 자체]가 아니다. [방법]은 연구의 실제 연구 활동 또는 실제 활동이다.1 빈틈없는 성찰적 연구자는 연구와 관련하여 자신의 패러다임을 설명하는 데 세심한 주의를 기울일 것이며, work에 inform하는 philosophy를 설명할 것이다.
Methodology is the description and justification of methods, and not the methods themselves. Methods are the actual research actions or practical activities of research.1 An astute reflexive researcher will pay careful attention to describing their paradigm in relation to the research, describing the philosophy informing the work.
[가치론]은 연구 과정에서의 [가치의 역할과 위치], 특히 [패러다임, 방법론, 방법론 사이의 관계]에 대한 가치의 영향을 의미한다. 즉, 연구 패러다임이 가치론적인 이유는 [연구자의 가치]가 [방법의 선택]에 inform하기 때문이다.
The role and place of values in the research process, specifically the influence of values on the relationship between paradigm, methodology, and methods, is known as axiology—that is, the research paradigm is axiological in that the values of the researcher inform the choice of methods.
[프락세오로지]라는 단어는 프락시스, 즉 액션에서 유래했다. 프락세오로지(Praceology)는 [인간의 행동의 영향을 연구하거나 의미를 만들고 행동을 해석하는 과학의 한 분야]이다. [교육이 효과를 발휘하게 하고, 일상적인 교육 실천에서 더 잘 작동하게 만드는 데 있어서 연구의 의미는 무엇이냐]는 질문에 구체적으로 답한다.
The word praxeology stems from praxis—action. Praxeology is the branch of science which studies the effect of human actions or makes meaning and interprets actions.4,5 It specifically answers the question of what research means for making education work and making it work better in the everyday practice of teaching.4
RIME 출판물의 연구 패러다임은 어떻게 제정되는가?
How Are Research Paradigms Enacted in RIME Publications?
우리는 각 연구팀의 패러다임이 방법론에 어떤 영향을 미쳤는지 탐구함으로써 독자들에게 기사의 일반적인 요약을 제공하는 것을 넘어서는 것을 목표로 한다. "AM 마지막 페이지: 의학교육과 관련된 연구 패러다임에 대한 가이드"를 지침 프레임워크로 사용하여, 우리는 각 수용된 RIME 논문을 검토하여 작가의 연구 패러다임이 어떻게 가시화되고 사용되는 방법인 축성과 관련된 정보에 근거한 선택을 할 수 있는지 고려했다(표 1). 그런 다음 우리는 일상적인 교수 관행인 사전학에서 연구의 영향에 대해 논평한다. 우리는 저자들의 명시적인 진술이 없다면, 아래의 분류는 우리 자신의 해석을 나타내며, 저자나 다른 독자들이 동의하지 않을 수 있다는 것을 인식한다. 우리는 먼저 실증주의/후기실증주의 패러다임을 대표한다고 느끼는 연구 논문을 고려하고, 그 다음으로는 비판이론, 구성주의, 실용주의 패러다임을 가진 논문을 고려한다.
We aim to go beyond providing the readers with a general summary of the articles by exploring how paradigms of each research team influenced the methodology. Using “AM Last Page: A Guide to Research Paradigms Relevant to Medical Education”17 as our guiding framework, we reviewed each accepted RIME paper to consider how authors’ research paradigm might be made visible and informed choices related to methods used—axiology (Table 1). We then comment on the impact of the research in the everyday practice of teaching—praxeology. We recognize that without explicit statements from the authors, the categorizations below represent our own interpretations, and the authors or other readers may disagree. We first consider the research papers we felt represented a positivist/postpositivist paradigm, followed by papers with critical theory, constructivist, and pragmatist paradigms.
실증주의자/후기 실증주의자 패러다임 연구
Positivist/postpositivist paradigm research
이 패러다임에서 지식은 가설 검증에 의해 얻어진다. 쿨라세가람 등은 "발견의 순서와 그에 따른 직접 지도가 학생들의 기술 이전에는 도움이 되지만, 학생들의 유지나 시험 후 즉각적인 성과에는 도움이 되지 않는다"는 명확한 가설을 밝혔다. 연구 설계는 공식 지시(Do then see) 전에 시뮬레이션된 환경에서 학습자 봉합 기술 성능을 보다 일반적인 공식 지시 순서와 비교하고, 이어서 실습(Do then see)을 비교하기 위한 설득력 있는 무작위 제어 시험이다. 연구원들은 자기효능감과 학생들의 성취도에 관한 자료를 수집했는데, 이는 눈이 먼 평가자에 의해 5점 만점의 글로벌 평가 척도로 평가되었다.
Knowledge in this paradigm is gained by hypothesis testing. Kulasegaram et al18 articulate a clear hypothesis that “the sequence of discovery, followed by direct instruction would benefit students’ transfer of skills, but not their retention or immediate post-test performance.” The study design is an eloquent randomized controlled trial to compare learner suturing skills performance in a simulated setting before formal instruction (Do then See) versus the more typical sequence of formal instruction, followed by practice (See then Do). The researchers gathered data related to self-efficacy and student performance scored on a five-point global rating scale by a blinded rater.
연구자들의 [후기 실증주의 패러다임]은 기술 습득 측정에 초점을 맞춘 [실험 설계]에 반영된다. 후기실증주의에 충실하게, 저자들은 그들의 결과가 완전히 객관적일 수 없으며 봉합 작업에 할당된 단일 비율, 맥락 및 시간의 사용에 의해 영향을 받았다는 것을 인정한다. 또한, 그들은 다른 outcome를 연구하기로 선택할 수 있었다는 점에 주목한다. 특히, [행동 과정]은 [구성주의 패러다임]을 사용하여 가장 잘 연구되었을 수 있다.
The researchers’ postpositivist paradigm is reflected in the design of the experiment with its focus on the measurement of skill acquisition. True to postpositivism, the authors acknowledge that their outcomes cannot be completely objective and were impacted by the use of a single rater, the context, and time allocated for the suturing task. Additionally, they note that they could have chosen to study different outcomes—specifically, behavioral processes, which may then have been best studied using constructivist paradigms.
[가치론]과 관련하여, 연구 목적을 보았을 때, 후기실증주의는 [연구 설계와 잘 일치]하고, [유용한 정보를 제공]한다. 저자들은 [먼저 스스로 과제를 탐색하고 고군분투한 다음 지시를 받은 학생]들이 [먼저 교육을 받은 다음 독립적인 연습을 통해 과제를 탐색하도록 허용된 학생]들에 비해 나중에 이전 과제를 더 잘 수행한다는 것을 보여준다. 이 연구의 결과는 직접 교육과 과제 완료를 수반하는 전통적인 교육에 도전하기 때문에 [시뮬레이션에 참여하는 의학 교육자들에게 영향]을 미칠 수 있다. [Guided SRL]과 [직접 교육]의 사려 깊은 조합은 그러한 학습 기회를 최적화할 수 있다.
Regarding axiology, for the purpose of their study the postpositivist paradigm is well aligned with the research design and provides useful information. The authors show that students who first are allowed to explore and struggle with the task on their own and then receive instruction perform better on a later transfer task compared with those who are instructed first and then allowed to explore the task through independent practice. The results of this study can and should impact medical educators involved in simulation as the results challenge traditional teaching involving direct instruction followed by completion of tasks. A thoughtful combination of guided self-regulated learning and direct instruction can optimize such learning opportunities.
[실증주의자/후기실증주의자 연구(양적 또는 질적)의 목적]은 [가설을 검정하고 변수 간의 인과관계를 설정하는 것]이다. 펠드만 외 연구진과 오니시 외 연구진은 모두 [테스트가 교육에 미치는 영향]을 조사한다. 펠드만과 동료의 연구에서, [후기실증주의 패러다임]은 국립 의학 컨퍼런스에서 사전 및 사후 테스트를 모두 통합한 정보를 가지고, [객관식 질문 기반 시험 강화 학습(TEL) 개입]의 사용과 관련된 연구 질문에 답하는 데 매우 적합했다. [무작위 대조 시험]을 실시한 결과, 그들은 사실을 반복적으로 검색하면 지속적인 의료 교육 환경(CME)에서 선언적 지식의 보존이 시간이 지남에 따라 향상된다는 것을 발견했다. 지속적인 전문성 개발(CPD)은 의료 전문가들이 자신의 업무 분야의 최신 변화를 최신으로 유지하도록 보장하는 데 필수적이다. 의료 전문가들은 CME 과정에 참여하며 지식과 숙련도를 입증하기 위해 면허 시험을 다시 치러야 한다. 본 연구가 기존 문헌에 덧붙이는 것은 검색실습을 촉진하는 인지시험이 학부 또는 대학원 교육에서 CPD에게도 마찬가지로 가치가 있다는 점이다. CME 인가 기관은 참석자들이 지식을 공고히 할 수 있도록 반복적인 TEL을 고려해야 한다.
The objective of positivist/postpositivist research (quantitative or qualitative) is to test hypotheses and to establish cause-and-effect relationships between variables.19 The studies by Feldman et al20 and Onishi et al21 both investigate the effect of testing on education. The postpositivist paradigm was well suited to answer Feldman and colleagues’ research question regarding the use of a multiple-choice-question-based test-enhanced learning (TEL) intervention on knowledge, which incorporated both pre- and posttesting at a national medical conference. Undertaking a randomized controlled trial, they found that repeated retrieval of facts improved retention of declarative knowledge in a continuing medical education setting (CME) over time. Continuing professional development (CPD) is essential in ensuring that health care professionals remain up-to-date with the latest changes in their fields of practice. Health care professionals attend CME courses and are often required to retake licensing exams to demonstrate knowledge and proficiency. What this study adds to the existing literature is that cognitive tests promoting retrieval practice are just as valuable for CPD as they are in undergraduate or postgraduate education. CME-granting agencies should consider repeated TEL to help attendees solidify their knowledge.
오오니시 등의 연구의 초점은 [이사회 인증 결정의 영향]을 결정하는 데 있으며, 이는 다음을 기반으로 합니다. 교육생이 전체 평가를 통과하기 위해 모든 하위 구성요소를 통과해야 하는지 여부(즉, 비보상적) 또는 한 하위 구성요소에 대한 성능이 평가의 다른 섹션에 대한 성능을 보상할 수 있는지 여부(보상적). 후기실증주의 패러다임에 기초하여, 저자들은 일본의 국가 데이터베이스를 사용하여, [종합점수]와 [보상성 및 비보상성 점수와 관련된 종합결정]의 [내부구조]와 [결과적 타당성] 증거를 검토했다. 그들은 인증 평가의 보상 및 비보상 채점에 대한 결정이 신뢰성에 극적인 영향을 미친다는 것을 입증한다. 특히, [역량과 안전이라는 이름으로 특정 요소를 반드시 통과시켜야 한다는 결정]에서 나오는 [비보상 채점]은 종종 평가의 신뢰성을 크게 떨어뜨릴 것이다. 비보상 채점은 학습자가 환자 안전에 영향을 미치는 특정 내용 영역에서 완전히 유능함을 보장하는 이점이 있지만, 전체적인 의사 결정 신뢰도 감소를 포함한 심리측정학적 결과를 고려할 필요가 있다. 연구의 [가치론(즉, 후기실증주의적 패러다임 렌즈)]과 [방법]은 잘 일치하지만, 저자들은 검사자의 설정, 맥락, 전문성, 학습자 샘플 및 가치가 모두 연구에 영향을 미칠 수 있다는 것을 인정한다. 본 연구의 결과는 자체 기관 또는 국가 차원에서 고평가 시험 계획에 참여하는 교육자들에게 특히 중요합니다. 예를 들어, 미국 의료 면허 시험(USMLE) 또는 면허 시험.
The focus of Onishi and colleagues’ research is to determine the impact of examining board certification decisions, which are based on whether trainees should pass all subcomponents to pass the entire assessment (i.e., noncompensatory)—or whether performance on one subcomponent can compensate for performance on other sections of the assessment (compensatory). Grounded in the postpositivist paradigm, using psychometric theory the authors used a national database in Japan to examine internal structure and consequential validity evidence of composite scores and composite decisions related to compensatory and noncompensatory scoring. They demonstrate that decisions about compensatory and noncompensatory scoring of certification assessments have dramatic effects on the reliability. Specifically, noncompensatory scoring, which emerges from a determination that a certain element absolutely must be passed in the name of competence and safety, often will significantly reduce the reliability of the assessment overall. Although noncompensatory scoring does have its benefits to ensure that learners are fully competent in specific content areas with implications for patient safety, there is a need to consider psychometric consequences including reducing the overall decision reliability. While the axiology of the study (i.e., the postpositivist paradigm lens) and its methods are well aligned, the authors do acknowledge that the setting, context, specialty, learner sample, and values of the examiners could all influence the study. The results of this study are particularly important for educators involved in the planning of high-stakes exams at their own institutions or at national levels—for instance, United States Medical Licensing Examination (USMLE) or licensing examinations.
펠드만 외 연구진과 오니시 외 연구진은 지식 측정에 대해 [후기실승주의적 관점]에서 접근하지만, 둘 다 [구성주의적 접근]이 가장 적합한 미래 연구에 대해 질문을 제기한다. 지식 보유도 중요하지만, CPD가 환자 치료나 의사가 침대 머리맡에서 "하는 것"을 개선하도록 하는 것이 중요하다. [구성주의적 방법]은 실제 수행, 테스트되고 평가되는 것에 대한 가치 판단, 특정 사실과 성과를 다른 것보다 더 중요하게 여기는 권력 구조, 신념 체계 및 문화적 편견에 대한 질문에 답하는 가장 좋은 접근법일 수 있다. 구성주의 연구는 후기실증주의 연구의 결과와 다른 관점을 제공하거나 추가할 수 있다.
Though the studies by Feldman et al and Onishi et al regarding the measurement of knowledge approach education from a postpositivist perspective, they both raise questions for future research that are best suited to a constructivist approach. Although knowledge retention is important, it is important to ensure that CPD improves patient care or what the physician “does” at the bedside. Constructivist methods may be the best approach to answering questions about real-life performance, about the value judgments made around what is tested and assessed, and about the power structures, belief systems, and cultural biases that value certain facts and performances over others. Constructivist studies may provide a different perspective than or could add to the results of the postpositivist research.
포스터 외 연구진과 박 연구진은 또한 실증주의 및 후기실증주의 패러다임을 사용하여 특정 작업장의 과제와 성과를 연구한다. 포스터 등은 [지식을 객관적인 것으로, 즉, 측정 가능한 고정된 현실]로 보았다. 그들은 [USMLE 테스트 상황]을 전자 건강 기록(EHR)의 사용과 관련하여 의대생들을 조사하는 기회로 사용했다. 데이터에 따르면 전국적으로 EHR을 사용하는 임상실습의 비율은 5년 동안 증가했지만, 이러한 기록에 메모를 입력하는 학생의 비율은 안정적으로 유지되었고, 오더를 실제로 입력하는 학생의 비율은 감소했다고 한다. 이 연구는 예측에 초점을 맞추고 일반화 가능한 데이터를 생성하는 것을 목표로 하기 때문에 주로 실증주의 패러다임에 속하지만, 저자들은 맥락(EHR의 가용성)이 결과에 영향을 줄 수 있다고 언급한다. 그들의 작업은 [두 가지 진행중인 대화에 영향]을 미칩니다. 하나는 환자 차트에 의대생에 의한 문서화를 허용하고 장려하는 [새로운 메디케어 가이드라인]에 관한 것이고, 다른 하나는 [레지던트 시작 전 환자 오더 작성 및 프로그레스 노트 작성의 숙련]을 권장하는 AAMC의 Core EPA 문서에 관한 것입니다. 커리큘럼 계획에 참여하는 의학 교육자들은 학생들이 이러한 과제를 연습하고 피드백을 받을 수 있는 적절한 기회를 갖도록 보장해야 한다.
Foster et al22 and Park et al23 also use positivist and postpositivist paradigms to study specific workplace tasks and performance. Foster et al view knowledge as objective—that is, a fixed reality, which is measurable. They used the USMLE test setting as an opportunity to survey medical students regarding the use of electronic health records (EHRs). Data revealed that while the percentage of clerkships nationwide using EHRs has increased over a five-year period, the percentage of students entering notes into those records has remained stable, and the percentage of students entering orders has actually decreased. This study falls mainly in the positivist paradigm as they focus on prediction and aim to produce generalizable data, though the authors mention that context (availability of EHRs) can impact the results. Their work has implications for two ongoing conversations, one regarding the new Medicare guideline that allows and encourages documentation by medical students in patient charts, and another regarding the Association of American Medical Colleges’ core entrustable professional activities document, which recommends proficiency in writing patient orders and progress notes prior to entering residency. Medical educators involved in curricular planning must ensure that students have adequate opportunity to practice these tasks and receive feedback.
Park 등은 [완전한 객관성이 달성될 수 없다는 것을 인정]하면서, 객관적인 지식을 얻기 위해 노력한다. 이들은 소아 인턴의 역량 등급 통계 분석에 업무량 측정치가 포함될 때 평가 점수의 신뢰성과 정밀도가 크게 증가한다는 것을 보여준다. 이 연구는 [후기실증주의적 패러다임과 일치]하여, 측정을 사용하여 복잡한 현상을 명확히 하고 통찰력을 제공한다. 이 연구는 직장 기반 평가(WBA)에서 교육생의 업무량 같은 [교란 요인을 식별]하는 것의 중요성을 강조한다. 대학원 의학 교육을 위한 인증 위원회는 이제 WBA가 필수적인 마일스톤 보고의 사용을 의무화하고 있다. 이 논문은 교육자 작업량을 포함한 작업장의 다른 복잡성을 고려하지 않고 WBA의 정확성에 대해 교육자들에게 생각할 거리를 제공한다.
Park et al strive to obtain objective knowledge, acknowledging that complete objectivity is not achievable. They demonstrate that when measures of workload are included in the statistical analysis of competency ratings for pediatric interns, the reliability and precision of assessment scores increase substantially. Consistent with a postpositivist paradigm, the study uses measurement to clarify and give insights into complex phenomena. The study highlights the importance of identifying confounders to workplace-based assessment (WBA), such as workload of trainees. The Accreditation Council for Graduate Medical Education now mandates the use of milestones reporting, for which WBA is essential. This paper provides food for thought for educators regarding the accuracy of WBA without taking into account other complexities of the workplace including trainee workload.
Burkhardt 등은 의대 입학전형에서 판단의 주관성을 제거하는 데 [예측적 입학모형(EM)]을 사용할 경우의 이점에 대한 가설을 생성하는데, 의대 입학사정관 등 교육 지도자들이 자신의 학교에 누가 다닐지 예측한다. 그들은 그들의 결과가 연역적이며 결과가 절대적으로 객관적이지 않을 수 있다는 것을 인정한다. 저자들은 [후기실증주의적 도구]를 사용하면 주관적인 판단을 제거함으로써 과정을 개선할 수 있음을 보여준다. EM 모델은 입학관리실에서 지원자의 가능한 행동에 대한 정보를 제공하기 위해 사용될 수 있으며, 특히 대표성이 낮은 소수자와 여성의 모집에서 유용하고, 주 내 지원자와 주 외 지원자의 균형을 맞추기 위해 사용될 수 있다. 저자들은 인간의 판단에 비해 열등하지 않고 일부 측면에서는 모델의 우월성을 보여준다. 이 연구는 다양성을 개선하기 위한 의도적인 실천/단계들이 얼마나 도움이 될 수 있는지를 보여주는 사례이다.
Burkhardt et al24 generate a hypothesis about the benefits of using a predictive enrollment model (EM) in eliminating subjectivity of judgments in the medical school admissions process, where educational leaders such as medical school admissions officers make predictions about who will attend their school. They acknowledge that their results are deductive and that outcomes may not be absolutely objective. The authors demonstrate that the use of a postpositivist tool can improve the process by eliminating subjective judgments. EM models can be used by admissions offices to provide information about likely behavior of applicants, which can be valuable in the admissions office particularly in the recruitment of underrepresented minorities and women, and to balance in-state versus out-of-state applicants. The authors show noninferiority and in some aspects superiority of their model compared with human judgment. This study is an example of how deliberate practice/steps to improve diversity can be helpful.
올해 RIME 선정에서 또 다른 [실증주의 연구]는 Aakre 등의 스코핑 리뷰이다. 연구자들은 전자 지식 및 관리 시점 교육 자원과 관련된 양적 및 질적 연구를 연구하기 위해 [중립적이고 객관적이며 독립적이며 가치 없는value-free 입장]을 유지한다. 가장 자주 인용되는 전자 자원은 UpToDate였다. 지식 자원의 교육적 또는 임상적 영향에 대한 연구는 부족했다. 의학 지식의 지속적인 성장과 그에 따른 효과적인 지식 합성과 실천으로의 번역의 필요성을 고려할 때, 이 분야의 추가 연구는 특히 자원이 지식과 치료 시점에 영향을 미치도록 보장하는 것이 중요하다.
Another positivist study in this year’s RIME selection is the scoping review by Aakre et al.25 The researchers maintain a neutral, objective, independent, and value-free stance to study quantitative and qualitative research related to electronic knowledge and point-of-care education resources. UpToDate was the most frequently cited electronic resource. A paucity of research was noted regarding the educational or clinical impact of knowledge resources. Given the ever-accelerating growth of medical knowledge, and the consequent need for effective knowledge synthesis and translation to practice, further research in this field is important, particularly ensuring that resources have impact on knowledge and at the point-of-care.
비판적 이론과 구성주의 패러다임 연구
Critical theory and constructivist paradigm research
곤잘레스 외 연구진과 수헤라 외 연구진은 [암묵적 편향 훈련]에 참여한 교육자와 학습자의 경험을 이해하고자 한다. 연구자들은 [구성주의 패러다임]을 가지고 있고 [근거 이론]을 사용한다. 구성주의에 충실하게, 저자들은 개인들 사이에 여러 진실이 구성된다고 믿으며, 연구 결과는 현실에 대한 인식이 사회적으로 어떻게 만들어지는지를 보여준다. 두 연구 모두 지속적인 성찰과 자기계발의 중요성을 강조한다. 수헤라 등은 [편견을 드러냄으로써 나타나는 긴장]과 [학습자와 교사가 이러한 긴장을 어떻게 조정하는지] 논의하는 반면, 곤잘레스 등의 연구는 [편향과 관련된 대화를 촉진하기 위한 교수진의 준비되지 않은 모습]을 보여준다. 그 결과는 편향 교육과 관련된 교수진 개발 및 참여자들이 자신의 편견을 발견했을 때 불안감을 해소하는 데 사용될 수 있다. 미국 의사회는 최근 의사를 고용하는 모든 조직에 의한 정기적이고 반복적인 암묵적인 편향 훈련의 제공을 옹호하는 입장문을 발표했다. 곤잘레스 외 연구진과 수헤라 외 연구진의 연구 결과는 교육과정 설계에 참여하는 교육자들에게 도움이 될 것이며, 과정을 알리는 중요한 팁을 제공할 것이다.
The studies by Gonzalez et al26 and Sukhera et al27 seek to understand the experiences of educators and learners engaged in implicit bias training. The researchers have a constructivist paradigm and use grounded theory. True to constructivism, the authors believe that multiple truths are constructed between individuals, and the results of the studies showcase how the perception of reality is socially created. Both studies highlight the importance of a constant process of reflection and self-improvement. Sukhera et al discuss the tensions emerging from revealing bias and how learners and teachers navigate these tensions, while the work by Gonzalez et al demonstrates the unpreparedness of faculty to facilitate conversations related to bias. The results can be used for faculty development related to bias instruction and to allay anxieties when participants discover their own biases. The American College of Physicians recently released a position statement advocating for the provision of regular and recurring implicit bias training by all organizations that employ physicians.28 The results of the research by Gonzalez et al and Sukhera et al will be helpful for educators involved in curriculum design, providing important tips to inform the process.
[비판적인 종합 검토]에서, 와이즈너와 에바는 [교육에 대한 인센티브]를 탐구하기 위해 문헌을 검토한다. [비판적 합성]은 [비판]과 [합성]의 두 가지 주요 방법론을 중심으로 진행된다. 저자들이 자신의 패러다임을 명시적으로 밝히지는 않지만, 기사를 검토한 결과, [여러 개의 진실이 존재한다는 것을 인정]하면서, [비판적인 입장]을 취하고 있음을 알 수 있다. 저자들은 문학의 종합(의학 교육뿐만 아니라 심리학, 행동학, 조직학 문헌도 포함)을 제공한다. 그러나 한 걸음 더 나아가 이용 가능한 문헌을 비평한다. 그들은 교수진별로 자체 보고된 인센티브를 나열하고, 비판을 제공하는 동안 교수진이 어떻게 교수와 관련된 재정적 의욕 저하에 대한 우려(즉, 진료소에 있지 않음으로써 포기하는 돈)를 제기하지 않는지에 대해 논의한다. 또한, 그들은 [인센티브의 영향]은 다른 개인의 동기 부여에 영향을 미치는 요인에 좌우되며 제공되는 인센티브의 유형은 신중하게 고려되어야 한다고 지적한다. 비판적 합성은 의료 교육자들이 일하는 많은 맥락에서 인센티브가 어떻게, 언제, 왜 작동하는지에 대한 더 큰 명확성이 필요하다는 것을 강조한다.
In a critical synthesis review, Wisener and Eva29 review the literature to explore incentives for teaching. Critical synthesis revolves around two main types of methodology: criticism and synthesis. Although the authors do not explicitly state their paradigm, a review of the article reveals that they take on a critical stance, acknowledging that multiple truths do exist. The authors provide a synthesis of literature—not just from medical education but also psychology, behavioral, and organizational literature—but then go a step further to critique the available literature. They list self-reported incentives by faculty and, while providing a critique, discuss how faculty neglect to bring up concerns of financial disincentives associated with teaching (i.e., money that is given up by not being in clinic). Additionally, they point out that the influence of an incentive is dependent on factors influencing different individuals’ motivation and that the type of incentive offered has to be carefully thought out. The critical synthesis highlights that the field needs greater clarity regarding how, when, and why incentives operate within the many contexts in which medical educators work.
실용주의 패러다임 연구
Pragmatism paradigm research
Gowda 등은 [예술에 대한 조사를 통해 관찰능력을 기르는 과목]의 효과를 [성찰 능력, 불확실성에 대한 관용, 개인적 편견에 대한 인식에 미치는 영향]으로 조사하였다. [과정이 관찰에 미치는 영향]을 탐구한다. 저자들은 그들의 패러다임을 명시적으로 언급하지는 않지만, 현실 세계의 입장을 채택하면서 엄격함을 만들어내기 위한 [다양한 방법의 필요성]을 인정한다. 즉, "질문에 대한 과정[연구] 접근법 및 혼합을 명확히 하는 것"입니다. 저자들은 수업의 효과를 질적으로 탐구하기 위해 포커스 그룹뿐만 아니라 반영 능력에 대해 이전에 확립된 평가 척도를 사용하는 혼합 방법 설계를 사용한다. 그들은 과정에 참여하는 학생들의 성찰 능력이 향상되고, 세상을 관찰하고 해석하는 데 있어 주관성의 역할에 대한 인식이 증가된 것을 발견했다. 이 연구는 모든 교육자, 특히 임상 기술을 가르치는 데 관련된 모든 교육자에게 중요하다. [주의 깊은 관찰]은 학생들에게 자동적으로 존재하는 것으로 추정되어서는 안 되며, 학습된 기술로 간주되어야 한다. 또한 관측한 것의 불확실성을 성찰하는 능력은 학생들에게 모호하게 될 수 있다. 그 연구는 또한 교과과정에서의 예술과 인간의 통합을 지원하기 위해 증거를 제공하는 증거이다.
Gowda et al30 explore the effects of a course on observation through examining art in influencing reflective ability, tolerance for uncertainty, and awareness of personal bias. The authors do not explicitly state their paradigm but do acknowledge the need for diversity of methods to produce rigor, adopting a real-world stance, i.e., a “horses for courses [whatever works] approach to the question, and clarifying the mix.”16 The authors use a mixed-methods design using previously established rating scales for reflection ability as well as focus groups to explore the effects of the course qualitatively. They found improvement in reflective ability of students participating in the course and an increased awareness of the role of subjectivity in observing and interpreting the world. This study is important for all educators but particularly those involved in teaching clinical skills. Careful observation should not be presumed to be automatically present in students and should be considered a learned skill. Additionally, the capacity to reflect on the uncertainty of observations can help students deal with ambiguity. The study is also valuable because it provides evidence to support the integration of arts and humanities in the curriculum.
결론들
Conclusions
올해의 RIME 기사에서, 저자들은 개념적 틀을 명확하게 표현했거나, 저자들이 누구의 작품을 만들고 있는지에 대해 진술했다. 그러나 연구 패러다임을 명확히 밝힌 논문은 두 편뿐이었다. 이 두 저자들은 구성주의 관점에서 연구 질문을 하고 있다고 언급했다. 질적 연구원들은 그들이 방법을 정당화하기 위해 그들의 패러다임을 분명히 할 수 있다는 것을 느낄 수 있다. 우리가 느끼기에 드러났다고 보는 논문은 실증주의, 후기실증주의, 실용주의 패러다임에 대한 것이었는데, 패러다임적 입장을 명시하지 않았다. 대부분의 서류들이 실증주의/후기실증주의 패러다임을 주목하는 것은 흥미롭다. 우리는 연구논문에 귀속되는 연구 패러다임이 논문에 제공된 정보를 바탕으로 한 우리 자신의 연구 해석임을 지적하고 싶다. 작가로부터 명확한 진술 없이, 우리는 이러한 해석에 동의하지 않았고, 작가들은 우리의 해석과 동의하지 않을 수 있다.
In this year’s RIME articles, the authors have either clearly articulated conceptual frameworks (Burkhardt et al,24 Gonzalez et al,26 Kulasegaram et al18), or the authors state on whose work they are building (Aakre et al,25 Feldman et al,20 Foster et al,22 Gowda et al,30 Onishi et al,21 Park et al,23 Sukhera et al,27 Wisener and Eva29). However, only two papers had clearly articulated a research paradigm (i.e., Gonzalez et al and Sukhera et al). These authors state that they were approaching the research questions from a constructivist perspective. It is possible that qualitative researchers may feel they need to state their paradigm clearly to justify the methodology. The papers that we felt represented positivist, postpositivist, and pragmatism paradigms did not explicitly state their paradigmatic position. It is interesting to note that the majority of papers belonged to the positivist/postpositivist paradigms. We would like to point out that the research paradigms attributed to the research papers (other then Gonzalez et al and Sukhera et al) are our own interpretations of the research, based on information provided in the paper. Without clear statements from the authors, we had difficulty making these interpretations, and it is possible that authors may disagree with our interpretations.
연구 패러다임에 관한 연구는 거의 없다. 그러나 의학교육에 대한 실험적 연구를 검토한 결과, 사용된 개념적 틀에 대한 명시적 문구가 조사된 논문의 절반 미만이 포함되어 있어 의학교육 연구자들이 연구에 사용한 개념적 틀을 명확하게 기술해야 한다는 주장이 제기되었다. 패러다임 입장과 관련한 명시적 진술이 담긴 전체 의학교육 연구 논문의 수에 대해서는 언급할 수 없지만, 모든 의학교육 연구자들이 자신의 [개념적 프레임워크]뿐만 아니라 [연구 패러다임]도 명확하게 밝힐 것을 권장한다. 예를 들어 후기실증주의 저자들의 명시적 진술은 지식 및 지식 및 지식에 영향을 미칠 수 있다. 연구원들은 택시 기술을 유지하는 방법에 대한 설명을 추가하고 그들의 연구를 논의해야 한다. 검토자, 편집자, 편집자 및 독자들은 일반적이어야 한다. 우리는 "우리가 알고 있는 것을 의도적으로 아는 것"은 것이 어려울 수 있다는 것을 인정한다. 그리고 라벨을 붙이는 것은 때때로 불가능해 보일 수 있지만, 패러다임의 한계를 아는 것은 그것을 명확히 하는 것만큼 중요하다.
There is little available in medical education literature about research papers articulating research paradigms. However, a review of experimental studies in medical education revealed that less half the articles examined contained an explicit statement of the conceptual framework used, leading to calls for medical education researchers to clearly state the conceptual framework they have used in their research.31,32 We are unable to comment on the number of overall medical education research papers containing explicit statements regarding paradigms stances, but we encourage all medical education researchers to clearly state not just their conceptual frameworks but also the research paradigm. Explicit statements of paradigm by postpositivist authors, for example, might influence the discourse around knowledge and the limitations of any one way of knowing. Researchers should also consider adding a statement of how they maintained axiology and discuss the praxeology of their research. Reviewers, editors, and readers need to evaluate the rigor of research, and clear statements by authors should be the norm. We acknowledge that it can be challenging to “intentionally know what we know,” and to articulate and label may at times seem impossible, but knowing the limits of our paradigm is as important as articulating it.33
좋은 품질의 연구는 패러다임, 방법론, 그리고 방법들을 다루고 그들 사이의 내부적인 일관성을 입증한다.1 이러한 가치론적 무결성은 연구 증거를 전달, 번역 또는 합성하는 데 가치를 유지할 수 있는 능력을 가지고 있다. 우리는 의학 교육 연구자들이 그들의 연구의 가치론적 무결성을 고려할 것을 권고한다. 연구자들은 시간이 지남에 따라 연구자의 기억, 성찰 및 관점을 위한 저장소 역할을 하기 위해 [성찰 저널]을 유지하는 것을 고려할 수 있다. 연구과정에 대한 메타인지적 성찰을 위한 저널 형태로 제공되는 공간은 성찰성 발달에 도움이 될 수 있다.
Good-quality research attends to paradigm, methodology, and methods and demonstrates internal consistency between them.1 This axiological integrity then has the ability to retain values in transferring, translating, or synthesizing research evidence.34 We recommend that medical education researchers consider the axiological integrity of their research. Researchers can consider maintaining a reflexive journal to serve as a repository for their researcher’s memories, reflections, and perspective over time. The space provided in the form of a journal for metacognitive reflection on the research process can help in the development of reflexivity.35
결론적으로, 연구자들은 종종 특정한 연구 패러다임을 가지고 연구 질문들에 접근한다. [패러다임적 입장]은 질문의 유형과 선택 방법을 결정합니다. 비록 패러다임의 명확성이 중요하지만, 어떤 한 가지 입장도 인간 학습의 복잡한 현상의 모든 측면을 설명하는 것은 불가능하다는 것을 인식하는 것이 중요하다. 각 접근 방식에는 강점과 한계가 있습니다. 교육에서 가장 중요한 많은 이슈들은 다중 렌즈를 통해 탐구될 수 있다. 올해 RIME 프로그램의 연구는 연구자들이 다루는 질문의 다양한 패러다임을 보여준다. 렌즈의 다양성을 고려함으로써, 자신의 접근 방식의 한계와 향후 단계에 대한 가능성이 더 명확해진다. 이러한 깨달음은 우리의 연구에 겸손함을 가져다 주고 더 큰 가능성을 열어줍니다.
In conclusion, researchers often approach the questions that they investigate from a particular research paradigm. This stance determines the types of questions that can be asked and the methods that are chosen. Although paradigmatic clarity is important, it is important to recognize that no one view or approach is able to describe all aspects of the complex phenomena of human learning. Each approach will have its strengths and limitations. Many of the issues that are most important in education can be explored through multiple lenses. The studies from this year’s RIME program demonstrate a diversity of paradigms of the questions that researchers address—by considering the diversity of lenses, the limitations of one’s own approach and possibilities for future steps become more clear. This realization brings humility to our research and opens us up to greater possibilities.
doi: 10.1097/ACM.0000000000002384.
Commentary: Paradigms, Axiology, and Praxeology in Medical Education Research
PMID: 30365423
Abstract
This supplement includes 11 research papers accepted by the 2018 Research in Medical Education Committee. In this Commentary, the authors draw the attention of medical educators and researchers to questions about the researcher's philosophical paradigm. Such questions fundamentally guide research-the choice of conceptual frameworks, methods, and methodology. The authors provide a brief overview of research paradigms and the related concept of axiology and praxeology in medical education research. The authors map the 11 accepted research articles, describing the researchers' stated or implied worldviews and the impact on chosen methods. The authors close by encouraging researchers to state the research paradigm behind their research, comment on how they ensured that the methods used displayed consistency with that paradigm, and highlight the value the research adds to everyday education.
'Articles (Medical Education) > 의학교육연구(Research)' 카테고리의 다른 글
| 설문에서 최대한을 얻어내기: 응답 동기부여 최적화하기(J Grad Med Educ. 2022) (0) | 2023.01.15 |
|---|---|
| 구색만 갖추기: 어거지로 하는 설문이 자료 퀄리티에 미치는 영향(EDUCATIONAL RESEARCHER, 2021) (0) | 2023.01.15 |
| 혁신 - 의학교육원고의 핵심 특징 정의하기 (J Grad Med Educ. 2022) (0) | 2022.11.09 |
| 의학교육연구자의 연구 패러다임 선택 가이드: 더 나은 연구를 위한 기반 만들기(Med Sci Educ. 2019) (0) | 2022.11.09 |
| 의학교육연구실의 목적, 설계, 전망 (Acad Med, 2022) (0) | 2022.09.29 |