기본의학교육을 위한 WFME 기본기준 프레임워크 설계(Med Teach, 2016)

기본의학교육을 위한 WFME 기본기준 프레임워크 설계(Med Teach, 2016)

Designing an evaluation framework for WFME basic standards for medical education

SEAN TACKETT1, JANET GRANT2 & KRISTIN MMARI3

1Johns Hopkins University School of Medicine, USA, 2The Centre for Medical Education in Context (CenMEDIC), UK, 3Johns Hopkins Bloomberg School of Public Health, USA

도입

Introduction

의사의 현재 또는 예상되는 부족을 해결하기 위해 전 세계적으로 의과대학이 증식하면서 (Tsai 외 2012, WHO 2013, Duvivier 외 2014), 의학 교육의 질은 점점 더 엄격 해지고있다. 의학 교육의 질을 보장하기위한 여러 메커니즘이 있지만, 의과 대학의 인증은 황금 표준이 되었습니다 (Gordon & Karle 2012).

As medical schools proliferate around the world to address current or projected shortages of physicians (Tsai et al. 2012; Global Health Workforce Alliance and WHO 2013; Duvivier et al. 2014), the quality of medical education is drawing increasing scrutiny. While there are multiple mechanisms to assure quality in medical education, accreditation of medical schools has become the gold standard (Gordon & Karle 2012).

2010 년 외국 유학생 교육위원회 (ECFMG)에서 발표 한 결과 - 2023 년까지 모든 인증 신청자는 공인 된 의대 (ECFMG 2010)를 졸업해야합니다 - WFME 표준 및 절차가 진행되고 있습니다. 인가 기관을 평가하고 인정하는 데 사용됩니다.

As the result of an announcement in 2010 by the Education Commission for Foreign Medical Graduates (ECFMG) – that by 2023 all applicants for certification will be required to have graduated from an accredited medical school (ECFMG 2010) – the WFME standards and procedures are being used for evaluating and recognizing accrediting agencies.

따라서 WFME 표준은 100 개가 넘는 기존 인증 기관의 평가에 사용될 수있을뿐만 아니라 수십 가지 인증 시스템의 생성을위한 템플릿 역할을 할 수 있습니다.

Therefore the WFME standards may not only be used for evaluation of over 100 existing accreditation authorities, but will likely serve as the template for the creation of dozens more accreditation systems.

WFME 절차에 따라 모든 국가 인정 기관은 의과 대학이 인정 과정의 일부로 자체평가를 수행하도록해야합니다 (WFME 인정 기준 2012). 자체평가는 힘든 것으로 알려져 있습니다. 최초의 WFME 표준을 적용 할 타당성을 평가하기위한 파일럿 연구 (Grant et al. 2003)는 2003 년 11 개국에서 실시되었는데, ECFMG의 재정 지원과 WFME의 전문 지식을 갖추고 있음에도 불구하고 각 대학이 자체평가를 수행하는 데 필요한 기간은 평균 10.6 개월이었고 수석 교수진에서 상당한 시간을 필요로했습니다. 최근의 분석 (Hays 2014)은 2012 표준을 준수하기 위해서는 원래 표준에 필요한 것보다 많은 자원이 필요하다고 제안했습니다. 이 역시 자체평가를 완료하는 데 더 많은 자원이 필요할 것이라는 점을 알 수 있습니다.

WFME procedures require all national accrediting authorities to have medical schools conduct a self-study as part of the accreditation process (WFME Recognition Criteria 2012). The self-study is known to be laborious; a pilot study (Grant et al. 2003) to assess the feasibility of applying the original WFME standards was conducted in 11 countries in 2003, finding that even with financial support from the ECFMG and expertise from the WFME, each self-study took an average of 10.6 months and required significant time from senior faculty. A recent analysis (Hays 2014) suggested that more resources will be required to comply with the 2012 standards than were needed for the original standards; this also likely portends that more resources will be needed to complete a self-study. 

WFME는인가 기관이 인증 기준 (WFME Application 2013)을 준수하는 방법에 대해 의과 대학에 지침을 제공하도록 요구하고 있지만, 각 학교에서 받게되는 지침은 다를 수 있습니다. 미국의 인정 기관인 LCME (Medical Education Liaison Committee)는 모든 인증 기관에 대한 명확한 지침을 제공하고 공개적으로 자체 시험 데이터 수집 계측기 (DCI) (LCME 2014)를 공개합니다. 각 대학은 방문심사 전에 이것을 완료해야 한다. 그러나 LCME DCI는 LCME 표준에 구체적으로 링크 된 데이터를 요구하며, 요청 된 데이터의 대부분은 미국 의과 대학에서 정기적으로 작성하는 연례 전국 설문 조사에서 나온 것입니다. 따라서 미국 이외 지역에서는 LCME DCI가 유용하지 않을 수 있다.

While the WFME does require accrediting agencies to provide guidance to medical schools for how they can comply with accreditation standards (WFME Application 2013), the guidance that schools might receive is likely to vary. The Liaison Committee for Medical Education (LCME), an accrediting body in the US, offers the clearest guidance of any accrediting body, making publicly available its self-study Data Collection Instrument (DCI) (LCME 2014), which must be completed by medical schools prior to a site visit. However, the LCME DCI asks for data specifically linked to LCME standards, and much of the requested data comes from the annual series of national surveys routinely completed by the US medical schools. It is unlikely that the LCME DCI would be useful outside of the US.

WFME 표준에 대한 자세한 평가 템플릿을 만든다면, 자체평가를 단순화 할 수 있으며, 의대가 인증 기준을 충족하고 특히 자원이 제한적인 경우에도 CQI를 참여하도록 유도할 수 있습니다. 평가 기준을 표준화하면 인증 기준에 대한 근거 자료를 개선하는 데 도움이되며 품질 향상을 주도하는 인기있는 방법 인 국내 및 국제 벤치마킹 방법을 마련 할 수 있습니다 (Kirch & Prescott 2013)

A detailed evaluation template for the WFME standards could simplify a self-review, thereby helping medical schools meet accreditation standards and engage in continuous quality improvement, particularly where resources are limited. Standardizing the metrics of evaluation would have benefits for improving the evidence-base for accreditation standards and may pave the way for national and international benchmarking, an increasingly popular method of driving quality improvement (Kirch & Prescott 2013)

방법

Methods

Standards from ‘‘Basic Medical Education: WFME Global Standards for Quality Improvement: The 2012 Revision’’ were used for this study. Standards are organized into nine areas, composed of a total of 36 subareas where individual standards are described. In total, there are 100 ‘‘basic standards’’ and 91 ‘‘quality improvement’’ standards. Annotations are included in the standards document to provide definitions and clarify intent for the language in the standards. Only basic standards were analyzed because they represent the minimum requirements for any medical school, and their analysis would have the most generalizability to medical schools worldwide.

We conceptualized the accreditation standards as program objectives for the basic medical education program and as providing an implicit logic model template

In defining the logic model for program evaluation, each standard was viewed as potentially requiring the evaluation of inputs, processes, outputs and/or outcomes to assess to what it extent it was or was not achieved. 

• Inputs refer to material or human resources required for the educational program to be conducted. 

• Processes refer to educational program tasks or activities, which could include admitting, teaching and evaluating students during the program as well as administrative processes. 

• Outputs refer to the direct result of processes. 

• Outcomes refer to the final student ‘‘product’’ that the program produces.

Due to the variability in standards’ formatting, our first step was to further itemize each standard into its simplest component. 

• For example, for a standard that stated a ‘‘medical school must formulate and implement . . .’’ the standard was broken into two components: ‘‘medical school must formulate’’ and ‘‘medical school must implement’’ as these required two different actions that would need to be evaluated. 

• At times when a conjunction was used to link words whose meanings were nearly synonymous (e.g. ‘‘methods and practices’’), the standard was not further broken down. 

• While many standards detailed criteria in their annotation, some did so in the standard itself, like ‘‘The medical school must define, state and publish the principles, methods and practices used for assessment of its students, including the criteria for setting pass marks, grade boundaries and number of allowed retakes. (B 3.1.1)’’ Such a standard could be evaluated by measuring pass marks, grade boundaries and retakes, but in this analysis, it was counted as one standard to be consistent when comparing to standards that detailed criteria in annotations.

Once these simplified items were created, each item was categorized as requiring evaluation of an input, process, output and/or outcome. 

• Once each simplified item was categorized, it was then interpreted to determine a relevant evaluation question, and example data sources and indicators were elaborated based on the evaluation question. 

• This process was completed by one author (ST) and reviewed in detail by the other authors. Where discrepancies existed, consensus was achieved through iterative discussion and revisions.

To provide a summary understanding of the results from the analysis of standards, the ratio of simplified items to original standards was calculated for each standard area. Number and percentage of simplified items that were classified as inputs, processes, outputs and outcomes were also calculated using total number of simplified items as the denominator.

Appendix 2, available online as Supplemental Material.

결과

Results

WFME 기준으로부터 평가가능한 단순화된 아이템을 만드는 어려움

Challenges in creating evaluable simplified items from WFME standards 

• 일부 표준은 간단했고 "의대에서는 커리큘럼 모델 (B 2.1.1)을 정의해야 함"과 같은 간단한 평가가 제안되었지만 대다수는 더 복잡했습니다. 

• 예를 들어, '의대는 정책을 수립하고 구현해야한다', '커리큘럼 요소를 확인하고 통합하는 것', '프로그램 평가에 메커니즘을 구축하고 적용하는' 두 개의 다른 프로세스를 평가합니다. 

• 다른 기준들에는 '의과대학는 지식, 기술 및 태도 (B 3.1.2)'에 대한 평가가 이루어져야한다는 3 가지 평가 영역 각각에 대한 평가가 필요하다는 것과 같은 기준의 결합문이 포함되었습니다.

• While some standards were simple and suggested a straight-forward evaluation, such as, ‘‘The medical school must define the curriculum model (B 2.1.1)’’, the majority were more complex. 

• For example, numerous standards used phrasing such as, ‘‘The medical school must formulate and implement’’policies, ‘‘identify and incorporate’’ curriculum elements or ‘‘establish and apply’’ mechanisms in program evaluation,which in each case suggested evaluating two distinct processes. 

• Other standards included the conjunction in the predicate of the standard, like ‘‘The medical school must ensure that assessments cover knowledge, skills and attitudes(B 3.1.2)’’, which would require evaluation of each of the three domains of assessment. 

표준 문구가 비교적 단순한 경우에도 주석은 복잡한 평가를 암시 할 수 있습니다

Even when the standard wording was relatively simple, the annotation could imply a complex evaluation: 

기준을 프로그램 평가 프레임워크로 배치하는 것

Placing standards into the program evaluation framework 

첫째, 표면적으로 일부 기준은 측정을 위한 입력, 프로세스, 결과 또는 결과의 한 유형만을 지정하는 것처럼 보였지만 표준의 실제 logistics가 고려되었을 때 기준의 복잡성이 증가한 것으로 보였습니다. 

• 예를 들어, "의대는 교직원이 적절하게 제공 될 수 있도록 교직원과 학생들에게 충분한 물리적 시설이 있어야합니다. (B 6.1.1) ''- 물리적 자원의 투입에 초점을 맞추고있는 것처럼 보이지만 진정으로 '충분성'을 평가하기 위해서는 표준은 프로세스, 결과 및 / 또는 결과를 측정해야한다.

•  "의과 대학 의과 대학은 의료진이 직원, 학생, 환자 및 간병인에게 안전한 학습 환경을 보장해야합니다. (B 6.1.2) ''는 평가를 위해 다양한 투입물, 프로세스 및 산출물을 요구할 것이다. 그러한 표준은 실수 (예 : 직원, 학생 또는 환자의 손해)에 의해 가장 잘 측정 될 수 있습니다.

First, while on the surface it appeared that some standards were specifying only one type of input, process, output or outcome to measure, when the actual logistics of measurement were considered for the standard, the complexity of the standard seemed to grow. 

• For example – ‘‘The medical school must have sufficient physical facilities for staff and students to ensure that the curriculum can be delivered adequately. (B 6.1.1)’’ – appears to focus on the input of physical resources, but to truly assess their ‘‘sufficiency,’’ the standard requires measuring processes, outputs and/or outcomes.

•  Standards like ‘‘The medical school must ensure a learning environment, which is safe for staff, students, patients and their carers. (B 6.1.2)’’ would require a variety of inputs, processes and outputs for evaluation; such a standard is likely best measured by lapses (e.g. harms to staff, students or patients).

둘째, 어떤 경우에는 기준의 의도를 분별하기가 어려웠습니다.

Second, in some cases, it was challenging to discern the intent of the standard: 

"의과 대학은 졸업과 관련하여 학생들이 제시해야하는 의도 된 교육 결과를 정의해야합니다.

- 지식, 기술 및 태도에 관한 기본 수준에서의 성과 (B 1.4.1)

- 의학의 모든 분야에서 미래 경력을위한 적절한 토대 (B 1.4.2)

- 보건 부문에서의 미래 역할. (B 1.4.3)

- 이후의 대학원 교육 (B 1.4.4)

‘‘The medical school must define the intended educational outcomes that students should exhibit upon graduation in relation to 

– their achievements at a basic level regarding knowledge, skills, and attitudes (B 1.4.1) 

– appropriate foundation for future career in any branch of medicine (B 1.4.2) 

– their future roles in the health sector. (B 1.4.3) 

– their subsequent postgraduate training (B 1.4.4)’’ 

이 예에서 "기본 수준"으로 교육받은 졸업생이, 어떻게 대학원 교육, 보건 분야에서의 향후 역할, 의학 분야에서의 경력에 ​​적합하지 않을 수 있는 것인지가 불명확하다.

In this example, it is unclear how graduating students educated at a ‘‘basic level’’ would not also be suited for post-graduate training, their future roles in the health sector or a career in any branch of medicine. 

셋째, 직설적 인 표현이 반드시 직접적인 평가를 의미하는 것은 아닙니다. 

• "의과 대학은 평생 학습을 위해 교과 과정을 준비해야한다 (B 2.1.3)." '평생 학습'을위한 교과 과정 설계와 전달에 대한 직접적인 평가를 제시하는 것으로 보인다. 

• 그러나 이 주제를 가르치기위한 의학 교육의 표준 커리큘럼은 없으며 평생 학습에서의 학생 역량 평가를위한 표준 방법도 없습니다 (B 1.1.6에서도 암시되고 있음).

Third, straightforward wording does not necessarily mean straightforward evaluation. 

• ‘‘The medical school must ensure that the curriculum prepares the students for lifelong learning.(B 2.1.3)’’ seems to suggest a straightforward evaluation of curriculum design and delivery for ‘‘lifelong learning’’. However, there is no standard curriculum in medical education for teaching this topic, nor is there any standard means of assessing student competency in lifelong learning (which may also be implied by B 1.1.6). 

평가가능한 단순화된 아이템의 정량화

Quantifying evaluable simplified items

원래 100 개의 표준은 244 개의 구성 요소 항목으로 분리되었습니다 (표 1). 대부분의 표준 (64/100, 64 %)은 하나 이상의 평가 항목으로 분리되었습니다. 비율이 6.6 인 대학원 / 학부 영역을 제외하고 모든 영역에 대해 WFME 표준 당 평균 1.8 ~ 2.4 개의 단순화 된 항목이있었습니다. 이 영역에서 표준 B 5.1.1은 24 개의 항목으로 분리되어 있으며, 단일 표준에서 가장 많습니다. 모든 표준에 대한 완전한 평가 매트릭스는 보충 자료로 온라인으로 제공되는 부록 1에 포함되어 있습니다.

The original 100 standards separated into 244 component items (Table 1). Most standards (64/100, 64%) separated into more than one evaluable item. There were an average of1.8–2.4 simplified items per WFME standard for all areas,except for the Academic Staff/Faculty area where the ratio was 6.6. In that area, standard B 5.1.1 separated into 24 items, the most for any single standard. A complete evaluation matrix for all standards is included in Appendix 1, available online as Supplemental material. 

고찰

Discussion

의학 교육에 대한 WFME 기본 기준에 대한이 분석은 작성된 표준을 해석하고 평가하는 것이 어려울 수 있음을 암시합니다.

This analysis of the WFME basic standards for medical education suggests that it may be challenging to interpret and evaluate the standards as they are written. 

WFME가 기준 제정을 위해 제출 한 전제 중 하나는 '기준은 명확하게 정의되어야 하며, 측정 할 수 있어야한다 ....'(Basic Medical Education 2012)이지만, 본 연구를 수행하면서 의과 대학 평가 방법을 결정하는 과정에서 맞닥뜨리게 될 여러 가지 장벽을 확인하였다. WFME 기준은 평가를 염두에두고 작성되었지만, 이것이 개별 의과 대학 평가에 사용하기 위한 것이 아님을 다시 강조하는 것이 중요합니다. 오히려 WFME 기준을 가지고 자체 로컬 컨텍스트에 맞춘 기준을 개발할 것으로 예상되는 각 인증 기관의 템플릿 역할을하기위한 것입니다.

Among the premises that the WFME listed for creating its standards were that ‘‘Standards must be clearly defined and...measurable ....’’ (Basic Medical Education 2012) yet this analysis encountered multiple barriers to determining how to evaluate medical schools against the standards. It is important to reiterate that while WFME standards were created with assessment in mind, they are not intended to be used for assessment of individual medical schools. Rather, WFME standards are intended to serve as a template for accrediting authorities, which would then be expected to tailor WFME standards to their own local contexts.

예를 들어, 교직원/교수 영역의 표준을 더 세분화하고 단순화하여 표준 형식을보다 균일하게 만들려고 시도하는 것이 유용 할 수 있습니다.

For example, it may be useful to attempt to make standards-formatting more uniform, possibly by further itemizing and simplifying standards like those in the Academic Staff/Faculty area. 

추적 할 측정 항목을 선택하는 것은 의학 교육의 질을 최적화하는 활동을 장려하는 데 중요합니다. 이 연구는 몇 가지 문제점을 확인했다.

Selecting what metrics to track is critical to incentivizing activities that optimize medical education quality. This study identified several issues.

예를 들어, 분모가 36이냐, 100이냐, 244이냐에 따라 기준에 따른 전체 compliance가 달라지므로, 표준 수는 중요 할 수 있습니다. 데이터 수집 절차는 어차피 어떤 경우든 동일 할 가능성이 있으므로, 기준의 숫자가 많아지면(즉 더 간단하고, 평가하기 쉬우며, 보다 세분화 된다면) 약점 영역을 개선하기 위한 보다 명확한 비교와 명확한 타겟팅을 용이하게 할 것이다. 다만, 이 연구는 기준 자체가 더 prescriptive해져야 함을 의미하지는 않는다는 점을 강조하는 것이 중요합니다. 그렇게 된다면 혁신과 창조성을 저해 할 수 있기 때문입니다 (Norcini & Banda 2011).

For example, the number of standards may be important, as overall compliance rates with standards would vary if the denominator were 36 (as it was in the original WFME standards) 100, or 244. Because the data collection procedures would likely be the same in every case, it would seem that a greater number of standards – that would be simpler, easier to evaluate, and offer greater granularity – would facilitate clearer comparisons and more specific targeting of interventions to areas of weakness (It is important to emphasize here that this analysis does not imply that the standards themselves should become more prescriptive, as this may stifle innovation and creativity (Norcini & Banda 2011)). 

균형 된 스코어 카드는 개발 된 국가의 건강 시스템 (Asbroek 외 10 명 2004 년, Schoen 외 16 명)과 개발 도상국 (Peters et al. 2007)을 포함한 복잡한 조직과 시스템의 성과를 성공적으로 이끌어 내기 위해 성공적으로 사용되었습니다.

Balanced scorecards have been used successfully to drive performance in complex organizations and systems, including national health systems in the developed (ten Asbroek et al. 2004; Schoen et al. 2006) and developing world (Peters et al. 2007).

마지막으로, 의대가 필요한 투입 (예 : 교육 프로그램에 대한 예산 절감), 프로세스 (소그룹에서 강의까지) 및 학생 성과 (예 : 특정 역량 달성)에 대한 균일한 메트릭스를 사용하는 경우, 의과 대학의 구조와 기능이 분명해질 것이다.

Finally, It is possible that should medical schools use uniform metrics regarding necessary inputs (e.g.itemized budget for educational program), processes (e.g.hours spent in small group versus lecture) and student outcomes (e.g. achievement of specific competencies), the essential components for the structure and function of a medical school would become apparent.

이번 연구 결과, 단 하나의 기준만이 프로그램 outcome에 대한 평가를 요구하는 것처럼 보였습니다. 원래의 WFME 표준을 분석해도 outcome과 관련된 표준은 매우 적은 수만 발견되었습니다(2/36, 5.6 %) (Abdalla 2014). 이러한 상황은 충분히 이해가능한데, 학교가 자신의 졸업생을 모니터하기 위해 로지스틱하게 어렵거나 자원이 많이 필요할 수 있으며, 인증 기관 역시 이것을 의과대학의 책임으로 보고 있지 않을 수 있습니다. 그러나 사회적 책무성(social accountability)이 점차 강조되면서, 의과대학들은 그들이 만들어낸 결과에 대해 책임을 져야합니다. 의학 교육에서 성과를 점점 더 중요한 것으로 인식하고있을뿐 아니라, outcome을 평가하는 것이 실제로 가능함이 입증되고 있습니다. 사회적 책무성을 측정하려는 시도는 기관 (Mullan et al., 2010, Sen Gupta 외 2014)과 국가 의학 교육 시스템 (Chen et al., 2013) 수준에서 발표된 바 있다.

It is notable that in our analysis only one standard appeared to require evaluation of a program outcome. An analysis of the original WFME standards also found a minority of standards (2/36, 5.6%) related to outcomes (Abdalla 2014). This is understandable as it may be logistically challenging or resource-intensive for schools to monitor their own graduates, and accrediting agencies may not see this as the school’s responsibility. However, the growing movement toward social accountability in medical education (Global Consensus for Social Accountability; Boelen et al. 2012), including the explicit goal of the WFME revision to embed social accountability throughout its standards (Lindgren & Karle 2011), would require medical schools to be accountable for the outcomes they produce. Not only is tracking medical education outcomes being recognized as increasingly important, but it is being demonstrated to be feasible. Attempts at measuring social accountability have been published for institutions (Mullan et al. 2010; Sen Gupta et al. 2014) and national medical education systems (Chen et al. 2013).

TheNET은 기관 네트워크에 포함 된 학교의 보건 직업 교육에 대한 사회적 책임을 측정하기위한 완벽한 프레임 워크를 만들고 조종했다 (Larkins et al., 2013). 우리의 분석은 인정 기관이 각 의과 대학 또는 그것의 의학 교육 시스템 전체가 사회적으로 책임있는 방식으로 기능하고 있음을 보장하고자 할 때 학생 성과 평가를 명시 적으로 요구하도록 WFME 표준을 개정해야한다고 제안합니다.

TheNET has created and piloted a complete framework to measure social accountability of health profession education for schools included in its network of institutions (Larkins et al. 2013). Our analysis suggests that WFME standards would need to be revised to explicitly require student outcomes evaluation when accrediting agencies seek to ensure that each medical school – or its medical education system as a whole – is functioning in a socially accountable manner.

결론과 권고

Conclusions and recommendations for future steps

이 분석은 모든 기준을 동등하게 취급했지만, 기준의 중요성을 토대로 데이터 수집에 우선 순위를 두지 않았습니다. 기본 의학 교육을위한 WFME의 '기본 기준'은 의대의 정의에 부합해야 할 필요가 있다고 주장 할 수 있지만 교육에 있어서 궁극적으로 일부 기준이 다른 기준보다 중요 할 수 있습니다 (van Zanten 외. 2012). 데이터 수집뿐만 아니라 표준의 우선 순위를 설정한다면, 자원을 최대한 활용할 수 있게 할 것이며, 이는 특히 자원이 부족한 환경에서 더 나은 의학 교육을 가능하게 할 것이다.

This analysis treated all standards equally, but did not prioritize data collection based on the importance of the standard. While it can be argued that all of the WFME ‘‘basic standards’’ for basic medical education would need to be in place for an institution to meet the definition of a medical school, ultimately some standards may prove more critical than others to medical student education (van Zanten et al. 2012). Prioritizing standards as well as data collection may enable best use of resources, and thus better medical education, especially in resource-poor settings

Larkins SL, Preston R, Matte MC, Lindemann IC, Samson R, Tandinco FD, Buso D, Ross SJ, Palsdottir B, Neusy AJ. 2013. Measuring social accountability in health professional education: Development and international pilot testing of an evaluation framework. Med Teach 35(1):32–45.

Mullan F, Chen C, Petterson S, Kolsky G, Spagnola M. 2010. The social mission of medical education: Ranking the schools. Ann Intern Med 152(12):804–811.

van Zanten M, Boulet JR, Greaves I. 2012. The importance of medical education accreditation standards. Med Teach 34(2):136–145.

Kirch DG, Prescott JE. 2013. From rankings to mission. Acad Med 88(8):1064–1066.

---

Med Teach. 2016;38(3):291-6. doi: 10.3109/0142159X.2015.1031737. Epub 2015 Apr 29.

Designing an evaluation framework for WFME basic standards for medical education.

Tackett S1, Grant J2, Mmari K3.

Author information

1

a Johns Hopkins University School of Medicine , USA .

2

b The Centre for Medical Education in Context (CenMEDIC) , UK .

3

c Johns Hopkins Bloomberg School of Public Health , USA.

Abstract

PURPOSE:

To create an evaluation plan for the World Federation for Medical Education (WFME) accreditation standards for basic medicaleducation.

METHODS:

We conceptualized the 100 basic standards from "Basic Medical Education: WFME Global Standards for Quality Improvement: The 2012 Revision" as medical education program objectives. Standards were simplified into evaluable items, which were then categorized as inputs, processes, outputs and/or outcomes to generate a logic model and corresponding plan for data collection.

RESULTS:

WFME standards posed significant challenges to evaluation due to complex wording, inconsistent formatting and lack of existing assessment tools. Our resulting logic model contained 244 items. Standard B 5.1.1 separated into 24 items, the most for any single standard. A large proportion of items (40%) required evaluation of more than one input, process, output and/or outcome. Only one standard (B 3.2.2) was interpreted as requiring evaluation of a program outcome.

CONCLUSIONS:

Current WFME standards are difficult to use for evaluation planning. Our analysis may guide adaptation and revision of standards to make them more evaluable. Our logic model and data collection plan may be useful to medical schools planning an institutional self-review and to accrediting authorities wanting to provide guidance to schools under their purview.

PMID:

 

25923235

 

DOI:

 

10.3109/0142159X.2015.1031737