의학교육연구 향상시키기 (Teach Learn Med. 2007)

의학교육연구 향상시키기 (Teach Learn Med. 2007)

Improving Medical Education Research

Larry D. Gruppen

Department of Medical Education

University of Michigan Medical School

Ann Arbor, Michigan, USA

MER의 기술적 문제

Technical Issues in MER

작은 샘플 크기

Small Sample Sizes

구조적 제약은 GME연구에서 쉽게 입증됩니다. 레지던트 프로그램의 대다수는 매년 소수의 레지던트만 받기 때문에 만족스러운 표본 크기를 구축하려면 여러 해 또는 여러 프로그램을 통해 데이터를 수집해야합니다. 학습자의 하위 집합을 사용하여 교육 혁신의 파일럿 구현에서 또 다른 구조적 제약이 발생할 수 있습니다. 부분 집합을 선택하는 것은 "입증되지 않은"혁신 또는 제한된 재정, 임상 또는 교수 리소스에 대한 우려를 반영 할 수 있습니다. 개입을 개발하고 예비 평가를 시도 할 때 작은 표본으로 할 수는 있지만 결론의 일반화 가능성은 제한됩니다.

Structural constraints are readily evident in any research effort in graduate medical education. The majority of residency programs admit a small number of residents each year. Building a satisfactory sample size requires collecting data over multiple years or multiple programs. Another structural constraint may occur in pilot implementations of educational innovations using a subset of learners. Selecting a subset may reflect concerns about an “unproven” innovation or limited financial, clinical, or faculty resources. A small sample may be acceptable when trying to develop an intervention and conduct a preliminary evaluation, but it limits the generalizability of the conclusions.

 

연구원의 결정도 작은 표본 크기에 기여합니다. 많은 연구자들이 샘플을 정할 때 학습자의 자기 선택에 의지하는 경향이 있으며, 이는 작고 편향된 샘플로 이어진다. 자기-선택은 학습자 표본을 모으는 편리한 방법 일 수 있지만, 많은 경우에 개입을 학습 의무화하는 등 보다 엄격한 표본 추출 방법이 가능합니다. 연구자가 연구 결과를 출판하기 위하여 연구 기간을 최소한으로 제한하기도 한다.

Decisions of the researcher also contribute to small sample sizes. Many researchers rely on learner self selection for their sample, which can result in a small and biased sample. Self-selection may be a convenient means to gather a sample of learners, but in many cases more rigorous sampling methods are possible, such as making the intervention a learning requirement. Researchers may also limit the period for a study to the minimum they judge necessary to publish something.

 

 

 

비교 / 제어 그룹

Comparison/Control Groups

많은 MER 연구는 설계상의 한계가 있습니다. 아마도 가장 기본적인 것은 비교 그룹이 없으며, 진정한 통제 그룹이 훨씬 적다는 것입니다. 불행히도 비교군이 없다면, MER 커뮤니티가 결과를 의미있게 해석하지 못합니다.

 Many MER studies suffer from significant design limitations. Perhaps the most basic is the absence of any comparison group, much less a true control group. Unfortunately, lack of a comparison prevents the MER community from meaningfully interpreting the results.

적용 설정에서 조사를 수행하는 몇 가지 측면은 비교 그룹의 사용을 제한합니다. 적정 표본 크기와 비교집단을 갖추는 목표는 서로 상충 될 수 있습니다. 연구자는 종종 소수의 참여자를 통제 그룹과 중재 그룹으로 나눌지 말지 여부를 결정해야합니다. 비교군이 어떻게든 있는 것이 없는 것보다는 낫지만, 동등하지 않은 비교를 할 경우에는 연구자가 결과를 해석 다양한 편향을 감안해야 한다.

 Several aspects of conducting research in applied settings limits the use of comparison groups. The goal of an adequate sample size may conflict with the goal of a good comparison group. The researcher often has to decide whether to take the small number of available participants and split them into a control and intervention group, thereby halving the sample size for the intervention. Although any comparison group is generally better than no comparison group, nonequivalent comparison groups raise the specter of various biases, which the researcher should address in interpreting the results.

무작위

Randomization

 

무작위 화는 대조군을 포함시키는 "표준"적 방법이지만, 무작위 화는 실용적이고 윤리적 인 이유 때문에 종종 불가능합니다. 실질적인 제약 중 하나는, 연구 참여자의 독립성에 대한 부적절한 가정에서 기인한다. 학습자는 종종 자신이 randomization status에 있음을 인식하고, 여기에 반응함으로써 systematic bias를 만든다.

Randomization is the “gold standard” for defining a control group, but Randomization often is not possible for both practical and ethical reasons. Practical constraints stem from inappropriate assumptions about the independence of individual participants in the study. Learners are often aware of their randomization status and react to that status, introducing systematic biases

 

윤리적 제약은 (참여자와 IRB 모두에서 발생하며), 이는 교육 혁신의 대상이 되어야 할 "취약 계층"으로 간주되는 학습자에게 정당하게 보류 될 수없는 "benefit"이다. 그러나 문제는 연구가 종종 개입은 정말로 "유익"이거나 그렇지 않은지를 보여주기 위해 수행된다는 것이다. 참가자 및 IRB와 의사소통 하는 것은 의학 교육 연구자들이 직면하는 도전 중 하나입니다.

Ethical constraints arise from both the participants andthe Institutional ReviewBoard, bothof whichoften viewan educational innovation as a “benefit” that cannot legitimately be withheld fromthe learners, who are deemed a “vulnerable population.” However, research is often designed to evaluate the claim that the intervention really is or is not a “benefit.” Communicating this to participants and the Institutional Review Board is one of the challenges confronting medical education researchers.

많은 임상 질문에 대해서 그러하든, RCT가 많은 교육 문제에 실제로 부적합하다는 것을 인식하는 것이 중요합니다. 의학 교육은 RCT가 적절한 설계가 될 수있는 중재에 대한 연구를 가지고 있지만, 많은 의학 교육 연구는 위험 요인, 예후 및 보건 서비스 연구에 대한 임상 연구와 유사합니다. 이러한 연구에서 코호트, 케이스 컨트롤 및 사례 시리즈 디자인과 같은 "lesser" 자인이 더 적합합니다.

it is important to recognize that RCTs are actually inappropriate for many educational questions, just as they are for many clinical questions. Although medical education certainly has studies of interventions for which an RCT would be an appropriate design, many medical education studies are analogous to clinical studies of risk factors, prognosis, and health services research. For these studies, “lesser” designs such as cohort, case-control, and even case-series designs are more appropriate.

 

 

보고 결과 기준

Standards for Reporting Results

 

체계적인 검토와 메타 분석의 저자들은 MER 문헌들의 reporting standard가 낮음을 비판했습니다. 너무 많은 경우에 "유의성"의 지표로서 통계적 유의성에 맹목적으로 의존하고, 연구 결과의 크기에 대한보다 유익한 지표인 효과 크기effect size와 신뢰 구간confidence interval을 무시합니다. Power analysis 또한 드물게 수행되나, 이것 또한 연구 보고 표준의 일부분이 되어야합니다. 이러한 결함은 주로 게으름이나 부주의하지 않고 연구자들 사이에서 이러한 기준에 대한 인식 부족이나 교육 부족으로 인한 것일 수 있습니다.

authors of systematic reviews and meta-analyses have criticized the poor reporting standards for MER. Too many authors rely blindly on statistical significance as an indicator of “importance” and neglect effect sizes and confidence intervals, which are more informative indicators of the magnitude of the study findings. Power analyses are also rare and should become a standard part of research reporting. These deficiencies can be largely attributed to a lack of awareness of or education about these criteria among researchers rather than to laziness or carelessness. 

 

 

결과 측정

Outcome Measures

 

MER은 또한 측정 한 결과의 "관련성"에 대한 비판을 받고 있으며, 교육적 개입과 환자 결과 간의 연계에 대한 반복적인 요구가 있다. 많은 연구들이 성과척도에만 의존하고 있으며, 이는 편리하지만 연구 질문에 대한 validity는 높지 않다.

MER also receives criticism for the “relevance” of the outcomes it measures, and there have been repeated calls for linkages between educational interventions and patient outcomes. Too much MER depends on outcome measures, that are convenient but only marginally valid to the study question.

 

이것은 특히 patient outcome에 대해 문제가 된다. 대부분의 의학 교육자들은 그들의 교육 노력이 더 나은 환자 결과를 낳는다는 것을 보여주고 싶지만 이렇게, 하려면 인프라와 기금이 필요하지 않습니다. 뿐만 아니라 patient outcome의 복잡성을 지나치게 단순화하지 않도록 주의해야 합니다. 의학 교육과 환자 결과 사이의 연결은 상호 작용하는 요인들의 단 하나의 사슬과 얽힌 웹이 아닙니다.

 This problem is particularly true for patient outcomes. Most medical educators want to demonstrate that their educational efforts result in better patient outcomes, but to do so requires infrastructure and funding that, quite simply, do not exist. Not only that, but we must be careful not to oversimplify the complexity of patient outcomes. The connection between medical education and patient outcomes is less a single chain and more a tangled web of interacting factors.

MER의 이론적 인 문제

Theoretical Issues in MER

기존 문헌 기반의 연구

Building on Prior Literature

기술적 인 실패 외에도 MER은 이론적으로 취약하다는 비판을 받고 있습니다. 사전 지식을 무시하면 통합 된 이해의 발전을 방해합니다. 특정 주제에 대한 리뷰가 상대적 부족하다는 것도 문제이다.

In addition to technical failings, MER has also been criticized as being theoretically anemic. Neglect of prior knowledge prevents an integrated development of understanding. A related problem is the relative paucity of reviews on specific topics.

또한 많은 의학 교육 연구자들이 적절한 시기에 특정 주제에 집중하기에는 너무 얇게 퍼져 있다는 사실도 이론 개발을 방해한다. 의학교육 연구자들은 이론적 진보에 필요한 집중적인 연구와 개념 개발을 할 수 있는 전문가가 아니라, 수많은 문제를 다루는 제너럴리스트가 되라는 기관적 요구를 받고 있다.

Theoretical development is also hindered by the fact that many medical education researchers are spread too thinly to focus on a specific topic for an adequate time. They are required by institutional demands to be generalists who touch on numerous problems rather than specialists who can devote the concentrated research and conceptual development required for theoretical advancement.

MER의 상충하는 목적

Conflicting Purposes of MER

Albert and 동료 6 연구의 목적과 관객에 대한 관점의 연속을 제시했다. 한 극 (생산자를위한 생산)에서 지식 생산은 동료 (다른 연구자)를 대상으로합니다. 다른 극 (사용자를위한 생산)은 비 순방을 겨냥한 지식 생산을 강조합니다. 양극은 현장에서 타당하며 필수적이며, MER은 적용되는 제도적 목적과 학업 분야의 징계가 엄격하게 균형을 유지해야합니다.

Albertand colleagues6 presented a continuum of perspectives on the purposes and audiences of research. At one pole (production for producers), knowledge production is aimed at peers (other researchers). The other pole (production for users) emphasizes knowledge production aimed at nonpeers. Both poles are valid and essential to the field, and MER must continually find a balance between its applied institutional purpose and the disciplinary rigor of an academic field of study.

의학교육연구자

Medical Education Researchers

 

 

상충되는 요구

 Conflicting Demands

 

일부 연구자들은 MER에 많은 시간을 할애 할 수 있지만, 많은 사람들이 임상 또는 관리 책임을 수행하면서 MER을 동시에 수행한다. 이처럼 임상 생산성에 대한 지속적으로 증가하는 요구는 MER 생산성의 주요 장애물이며, 교육 혁신의 최전선에 서있는 많은 임상의는 MER에 대한 시간을 확보하기 어렵습니다.

 Although some can devote much of their time to MER, many more pursue MER in the context of clinical practice or administrative responsibilities. The continuously increasing demand on clinical productivity is a major obstacle to MER productivity, and many clinicians on the frontlines of educational innovation find it difficult to protect any time for MER.

격리

 Isolation

많은 의학 교육 연구자들은 임상 전문 분야 나 행정 구조에 의해 같은 기관 내에서도 다른 의학교육연구자들과 격리됩니다.

 Many medical eduation researchers are isolated from other medical education researchers in their own institution by clinical specialty or administrative structures.

 

교육 부족

 Lack of Training

Scholarship of teaching에 대한 강조가 커짐에 따라 많은 임상 및 교수진이 Scholarship을 드러내는 수단으로서 어떤 식으로든 MER을 활용하게 되었습니다.

 The growing emphasis on the scholarship of teaching has stimulated many clinical and teaching faculty to do some form of MER as an expression of scholarship.

 

"우연한"MER

 “Accidental” MER

불행하게도, 이러한 QI 혁신이 연구 조사로 계획되거나 설계되지 않았다는 사실은, 결과 "연구"의 엄격함이 낮고, 문헌에 비교적 적게 기여한다는 것을 의미합니다.

Unfortunately, the fact that these QI innovations were not planned or designed as a research study often means that the rigor of the resultant “study” is low and contributes relatively little to the literature.

MER를위한 리소스

Resources for MER

MER에 대한 자금 부족은 다년간의 불만이었습니다. 대부분의 MER는 local 기관에 의해 (명시 적으로 또는 묵시적으로) "자금 지원"됩니다. MER의 기관은 지역의 필요와 문제에 초점을 맞춘 연구 결과를 도출할 수 있는 "production for users"를 강조한다. 이들에게는 연구 결과를 다른 기관 및 환경으로 transfer하는 것이 주된 목표는 아니기 때문에, 더 광범위하고 유효하고 유용한 결과를 만들기 위해 더 큰 scientific rigor에 투자하는 것이 꺼려 질 수 있습니다.

The lack of funding for MER has been a perennial complaint. most MER is “funded” (explicitly or implicitly) by the local institution.7 Institutional support of MER highlights the “production for users” pole and results in research that focuses on local needs and problems. Transfer of findings to other institutions and settings is not a primary goal, and there may be reluctance to invest in greater scientific rigor to make the results more broadly valid and useful.

가능한 구제책

Possible Remedies

공동 연구

Collaborative Research

 

• 특정 기관에 국한되지 않고보다 일반화 된 결과, 

• 기관 특성의 영향 확인, 

• 통계력이 큰 표본 크기 확대, 

• 특수 인구 및 문제 연구 기회, 

• 보완 된 전문 지식을 갖춘 연구 팀 

...등 여러 가지 이점이 있습니다. 

The benefits of collaboration are numerous: 

• more generalizable results that are not limited to particular institutions, 

• identification of the impact of institutional characteristics, 

• larger sample sizes with greater statistical power, 

• opportunities to study special populations and problems, and 

• research teams with complementary expertise. 

공동 작업은 자금 조달 자에게 더 매력적 일 수 있으며, 투자자는 투자에서 더 큰 영향을 미칠 수있는 기회로 보게됩니다.

Collaborations may also be more attractive to funders, who would see them as opportunities to have greater impact from their investment.

그러나, 기관 간 협력을 해본 사람은 그러한 협력을 수립하고 유지하는 것이 단순하지 않다는 것을 안다. 기여한 자원의 형평성, 학술적 크레딧, 데이터 액세스 및 책임과 역할은 모두 갈등을 야기 할 수 있으며 협력 초기에 신중하게 협상해야 할 필요가 있습니다.

However, anyone who has been a member of an interinstitutional collaboration knows that establishing and maintaining such collaborations is not simple. Issues of equity in resources contributed and received, academic credit, data access, and responsibilities and roles can all create conflict and need to be carefully negotiated at the beginning of the collaboration.

 

보고 기준

Reporting Standards

 

연구보고를위한 몇 가지 기준을 정의하고 시행 할 때입니다. 모든 보고 표준은 물론 혁신적인 연구 방법 및 설계 및 개별 연구의 고유 한 특성과 균형을 이루어야하지만, 표준을 갖춘다면 현행 연구 보고의 variability와 갭을 줄이는 데 상당히 도움이 될 수 있습니다.

It is time to define and enforce some standards for research reporting. Any reporting standards will, of course, have to be balanced against the unique characteristics of innovative research methods and designs and individual studies, but standards could help considerably in reducing the variability and gaps in current research reporting.

 

MER 교육

Training in MER

 

많은 제도적 교수 펠로우십 프로그램은 교육과정에 연구 기술을 포함합니다 .8이 프로그램들 각각은 동일한 주제를 다루지만 일반적으로 매번 새롭게 커리큘럼을 만든다. 바퀴를 재발명하기보다는 MER 교육을 위한 커리큘럼 "우수 사례"를 개발하고 공유하여 일관성을 높이고 중복 된 노력을 덜 줄 수 있습니다.

Many institutional faculty fellowship programs include research skills as part of their curricula.8 Each of these programs address many of the same topics but typically re-create the curricula anew. Rather than reinvent the wheel, it could be cost-effective to develop and share curricular “best practices” for MER training to provide greater consistency and less duplicated effort.

 

 

MER에 대한 기술 지원

Technical Support for MER

 

교수진의 MER에서 관심과 활동이 증가하려면, 해당 연구에 대한 기술 지원이 강화되어야합니다. 이러한 지원에는 연구 설계, 측정, 데이터 분석, 샘플링 절차 및 전력 분석에 대한 전문 지식이 포함되지만 이러한 정보는 찾기가 어렵습니다.

Any growth in interest and activity in MER on the part of faculty members requires increased technical support for that research. Such support includes expertise in research design, measurement, data analysis, sampling procedures, and power analysis, but these are often difficult to find.

 

다기관 데이터베이스 개발

Developing Multi-Institutional Databases

학습자의 태도와 특성, 성능 및 경험에 대한 대규모 데이터베이스가 개발되면 MER에 도움이 될 것이다. 이러한 데이터 세트를 연결하는 데있어 기술적 및 정치적으로 큰 장애가 있지만, 이러한 데이터베이스에 대한 광범위한 액세스는 기관 간 연구 및 종단 연구를 촉진 할 수 있습니다.

 An initiative that could have major benefits for MER would be the development of a large-scale database of learner attitudes and characteristics, performance, and experiences. Major technical and political obstacles exist to linking these datasets, but broad access to such a database could foster interinstitutional research and longitudinal studies. 

 

---

Teach Learn Med. 2007 Fall;19(4):331-5.

Improving medical education research.

Gruppen LD1.

Author information

1

Department of Medical Education, University of Michigan Medical School, Ann Arbor, Michigan 48109-0201, USA. Lgruppen@umich.edu

PMID:

 

17935460

 

DOI:

 

10.1080/10401330701542370