일반의 진료와 의사면허시험 (British Journal of General Practice 2022)

일반의 진료와 의사면허시험 (British Journal of General Practice 2022)
General practice and the Medical Licensing Assessment

 

평가가 학습을 주도합니까?
ASSESSMENT DRIVES LEARNING?

평가는 학생들의 학습 동기를 부여한다. 학생들은 종종 [시험과의 관련성]에 대한 인식에 따라 [학습 경험의 가치]를 판단하며, MLA와 같은 고부담 시험은 특히 강력한 영향을 미친다. 역사적으로 학부일차의료Undergraduate primary care는 '시험 준비'는 [병원 실습]에서 가장 연마하기가 좋다는 인식으로 이러한 판단에서 어려움을 겪었고, 이에 반해 [일차의료실습]은 '실제' 의학을 제공하지만, 그 가치는 즉시 관련이 있지는 않다고 여겼다. 평가가 다른 영역이 아닌 의료 커리큘럼의 특정 영역을 테스트하거나 테스트하는 것으로 인식될 때, 학생 참여와 학습은 잠재적으로 불평등하게 장려된다. 게다가, 고부담 평가는 교사들이 교과과정을 어떻게 도입implement하는지에 영향을 미친다. GMC가 (비록 권장하지 않지만 가능성이 높다고 여기고 있는) MLA 결과에 따라 의대 순위가 매겨질 경우 특히 '시험 쪽집게 가르치기'의 자극이 될 가능성이 높다. 따라서 MLA는 학부 의학교육에 큰 영향을 미칠 수 있으며, 1차 진료교육의 목적과 내용을 지원하는 것이 중요하다.
Assessment motivates student learning.2 Students often judge the value of learning experiences by their perceived relevance to examinations, and high-stakes assessments such as the MLA are particularly potent influences.2 Undergraduate primary care has, historically, suffered in those judgements, with students perceiving that ‘exam-readiness’ is best honed in hospital placements, while primary care placements offer ‘real-world’ medicine — valuable, but not as immediately relevant.3 When assessments test, or are perceived to test, certain areas of a medical curriculum and not others, student engagement and learning are potentially unequally incentivised. Furthermore, high-stakes assessments affect how teachers implement their curriculum.4 An impetus to ‘teach the test’ is especially likely if institutional rankings are devised based on MLA results, which the General Medical Council (GMC) acknowledges as a possibility,5 albeit one they discourage. The MLA may therefore profoundly affect undergraduate medical education, and it is critical that it supports the aims and content of primary care teaching.

의료 면허 평가: 내용, 형태 및 기능
THE MEDICAL LICENSING ASSESSMENT: CONTENT, FORM, AND FUNCTION

AKT와 CPSA의 콘텐츠는 개발 중인 문서인 MLA 콘텐츠 맵에 명시되어 있다. 평가 자료는 임상 실습('일반 진료 및 1차 의료', 발표('기억 상실', '치매', 임상 및 전문 역량('취약 환자 보호') 및 실무 기술 및 절차 분야와 연계되어야 한다. 본 원고 작성 시점 기준 163개의 프레젠테이션과 조건이 '일반 진료 및 1차 의료' 제목으로 나열되었으며, 이 제목에 포함되지 않은 문서 중 많은 부분이 1차 진료(예: '세포염')와 명확하게 관련이 있다. 따라서 MLA의 콘텐츠의 대부분은 일차 진료소에서 환자를 보는 것으로 이미 접하며, 일차 진료란 MLA에서 임상 시나리오를 설정하는 좋은 환경이다(즉, SBA vignette 또는 시뮬레이션 임상 만남). 
Content for both the AKT and CPSA is stipulated in the MLA content map, an evolving document. Assessment materials are to be linked to areas of c

• clinical practice (‘general practice and primary healthcare’),
• presentations (‘memory loss’),
• conditions (‘dementia’),
• clinical and professional capabilities (‘safeguarding vulnerable patients’), and
• practical skills and procedures.

At the time of writing, 163 presentations and conditions were listed under the ‘General practice and primary healthcare’ heading, and many others in the document not under this heading are clearly relevant to primary care (for example, ‘cellulitis’). Much of the MLA’s content, therefore, is already encountered by seeing patients in primary care placements, and primary care is a good setting in which to set clinical scenarios in the MLA (that is, in SBA vignettes or simulated clinical encounters).

• Applied Knowledge Test (AKT) 
• Clinical and professional skills assessment (CPSA)
• Single-best-answer (SBA) 

MLA 내용의 대부분은 1차 진료와 관련이 있지만, 그 반대는 사실이 아닐 수 있습니다. 1차 진료 임상의의 업무 중 많은 부분이 검사에 잘 반영되지 않았습니다. 일반 임상의의 참여의 중요성과 필요성은 [NHS 장기 계획 및 보건사회복지부의 2021년 백서]와 같은 주요 국가 의료 정책에서 강조된다. Health Education England’s Future Doctor Programme에는 전문가 제너를리스트 교육을 위해 의료 교육에 다시 초점을 맞출 계획이 있다. 이것은 모두 의료에서 일반 의사의 중요한 역할에 대한 국제적 인식에 의해 반영된다. 최근 몇 년 동안 많은 연구들이 학부 1차 진료를 위한 국가 커리큘럼 가이드인 일차의료교육(Teaching General Practice)을 포함하여 일차 진료 지식과 일반주의generalism의 본질을 분명히 했다. 이것은 개인 중심 및 인구 중심 진료와 같은 일반주의의 원칙에 찬성하는 질병 기반 일차 진료 조건 목록을 회피한다. [양질의 일반주의generalism]는 관리, 복잡성, 다중 이환율 및 불확실성을 수용하고 초월합니다. [숙련된 일반 의사]는 여전히 질병 기반 관리를 수행하지만, 이것이 반드시 환자와의 상호 작용의 주요 초점은 아닙니다. 오히려 환자의 요구를 충족하기 위해, 그들은 [광범위한 전체론적holistic 관리] 접근 방식을 통합하고, 다야한 접근방식을 오가며 사용할 수 있다. 교육 및 평가에서 ['질병 기반' 지식을 구획화]하는 것은 이러한 기술 개발을 방해할 위험이 있습니다. 
While much of the MLA content relates to primary care, the reverse may not be true: much of a primary care clinician’s work is not well represented in the exam. The importance of, and need for, generalist clinician involvement is highlighted in major national healthcare policies such as the NHS Long Term Plan and the Department of Health and Social Care’s 2021 white paper. There are plans afoot to refocus medical education towards the training of expert generalists in Health Education England’s Future Doctor Programme. This is all echoed by the international recognition of the critical role of generalists in health care.6 Much work in recent years has articulated the nature of primary care knowledge and generalism, including Teaching General Practice,7 a national curriculum guide for undergraduate primary care. This eschews a disease-based list of primary care conditions in favour of principles of generalism, such as person- and population-centred care. High-quality generalism embraces, and excels at managing, complexity, multimorbidity, and uncertainty. Skilled generalists still accomplish disease-based management, but this is not necessarily the primary focus of their interactions with patients; rather, to meet patient needs, they are able to integrate, and move between, a range of holistic management approaches. Compartmentalising ‘disease-based’ knowledge in teaching and assessment risks hampering the development of these skills.

제너럴리스트 개념 중 다수는 MLA의 SBA 형식 내에서 평가하기 어렵다. SBA는 정의에 따라 '단일 최선의 답변'이 있는 상황과 문제에 대해서만 사실 기반 리콜과 지식의 적용을 평가하는 데 유용하다. SBA는 분석, 평가 및 창의적 문제 해결과 같은 고차적 기술을 테스트하는 것이 어렵다. 형식과 전달이 GMC에 의해 설정된 표준에도 불구하고 개별 의과대학에 적용되는 CPSA는 보다 복잡한 작업(일반적으로 시뮬레이션 또는 실제 환자와의 상호 작용을 수반하는 작업)을 평가해야 한다. 그러나 임상 및 실제 평가를 위한 평가는 종종 [불확실성, 복잡성 및 확률론적 추론을 탐색할 수 있는 능력]을 포착하기보다는, 그러한 작업에 대한 [알고리즘 또는 표준화된 접근 방식]에 더 점수를 준다. 진정한 사람 중심성은 이러한 평가 내에서 테스트(그리고 촉진)하기 어려우며, 체크 박스 표시를 충족시키기 위한 실행적이고 테스트별 후보 행동을 지향하는 경향이 있다. 사람 중심성에 대한 피상적(또는 부재) 평가는 '어려움', 객관적, '사실 기반' 지식보다 덜 유효한 개념으로 학습자의 인식을 강화할 위험이 있다.
Many generalist concepts are difficult to assess within the MLA’s SBA format. SBAs are useful for assessing fact-based recall and application of knowledge, although only to situations and problems in which there is, by definition, a ‘single best answer’. SBAs struggle to test higher-order skills such as analysis, evaluation, and creative problem solving. The CPSA, whose format and delivery are down to individual medical schools, albeit to standards set by the GMC, should assess more complex tasks (usually those involving interaction with a simulated or real patient). However, scoring rubrics for clinical and practical assessments often reward an algorithmic or standardised approach to such tasks,8 rather than capturing candidates’ ability to navigate uncertainty, complexity, and probabilistic reasoning. Authentic person-centredness is challenging to test (and promote) within these assessments, with a tendency towards performative, test-wise candidate behaviour to meet tick-box marking.9 Superficial (or absent) assessment of person-centredness threatens to reinforce learner perceptions of this as a less valid concept than ‘hard’, objective, ‘fact-based’ knowledge.10

MLA의 명시적 목적은 의료 등록부에 가입하는 의사들이 ['안전한 진료에 대한 공통의 문턱을 충족']하도록 함으로써 [영국과 국제 졸업생 간의 평가 기준의 변동성을 줄이는 것]이다. 이는 교육 기관의 자율성과 혁신 그리고 새로운 평가 방법의 사용을 방해할 수 있다. 의과대학은 여전히 학위 수여에 필요한 추가 평가를 설정할 수 있지만, 교사와 학생 사이의 MLA와 관련하여 이러한 역할과 상대적 가중치를 명확하게 정의하기는 어려울 수 있다.

The MLA’s stated purpose is to ensure that doctors joining the medical register have ‘met a common threshold for safe practice’,11 thereby reducing variability in assessment standards among UK and international graduates. This could risk hampering institutional autonomy and innovation in teaching and the use of novel assessment methods. Medical schools can still set additional assessments that are required for award of a degree, but it may be challenging to clearly define the role, and relative weighting, of these in relation to the MLA among teachers and students.

1차 진료 교육자를 위한 기회와 과제
OPPORTUNITIES AND CHALLENGES FOR PRIMARY CARE EDUCATORS

따라서 MLA는 학부 교육에 상당한 영향을 미칠 것으로 보인다:

• 교육과정 변화에 대한 자극
• 가르치고 평가하는 방식의 변화
• 학생 학습 행동 및 우선순위 변화

일차진료 관행과 MLA 맵 사이에는 불일치 영역이 있다. 그렇다면, 1차 진료 교육자들이 그 도입을 가장 잘 준비할 수 있는 방법은 무엇일까요? 
The MLA, therefore, is likely to have substantial effects on undergraduate education:

• from stimulating curriculum changes to
• changing how teachers teach and assess,
• altering student learning behaviour and priorities.

There are areas of dissonance between primary care practice and the MLA map. So, how can primary care educators best prepare for its introduction?

먼저 일차 진료 교육자가 [콘텐츠 맵을 검토하고 기존 교육과의 관계, 그리고 이것이 어떻게 강조되고 학생들에게 전달되는지 고려]할 것을 제안한다. MLA의 콘텐츠의 대부분은 1차 진료 환경 내에서 가르치고 평가할 수 있으므로, 우리는 검사에 대한 전문성의 관련성을 입증할 수 있는 좋은 위치에 있다. MLA 콘텐츠 맵에는 연습 준비, 환자 중심 및 불확실성 관리라는 세 가지 주요 주제가 있습니다. 1차 치료는 이 모든 것을 진전시킬 수 있다. 또한 GP가 다양한 운영 그룹에 가입하여 AKT의 작성, 설계 및 건설에 참여할 수 있는 기회도 있으며, 빈자리는 주기적으로 광고된다. 가능한 경우 모든 1차 진료 교육자가 지역 학부 평가에 기여하는 것을 교육 역할의 일부로 고려할 것을 제안한다.
We suggest first that primary care educators review the content map and consider how it relates to their existing teaching, and how this is highlighted and communicated to students. Much of the MLA’s content can be taught and assessed within a primary care setting, so we are in a good position to demonstrate the relevance of our specialty to the examination. The MLA content map has three overarching themes: readiness for practice, patient-centredness, and managing uncertainty. Primary care can advance all of these. There are also opportunities for GPs to be involved with the writing, design, and construction of the AKT by joining the various operational groups, for which vacancies are periodically advertised. We suggest that, where possible, all primary care educators consider contributing to local undergraduate assessment as part of their teaching role.

1차 진료 교육자는 [MLA 프레임워크 내에서 현재 평가되지 않는 분야(및 교육)]를 고려해야 한다. 이러한 격차에 대해 학생들에게 투명하게 설명하고 향후 실습을 위해 이 지식의 잠재적 가치에 대해 논의하는 것이 중요합니다.
Primary care educators need to consider which elements of the discipline (and their teaching) are not currently assessed within the MLA framework. It is important to be transparent with students about these gaps and discuss the potential value of this knowledge for future practice.

[보완적 평가 양식]은 MLA와 함께 도입하기 어려울 수 있지만 전문적으로 관련된 지식(예: generalism)의 학습을 지원하기 위해 사용되어야 한다. 직장 기반 평가(WPBA), 포트폴리오 기반 과제, 품질 개선 프로젝트, 성찰 에세이 등이 이미 사용되고 있다. 예를 들어, 학생들이 자원을 사용하고, 필요에 따라 튜터에게 조언을 구하는 실시간 모의 상담을 수행하는 SECO(Safe and Effective Clinical Outcomes) 시험과 같은 혁신적인 평가 형식은 학생들이 유연하고 배치된 환자 치료를 제공할 수 있는 능력을 더 잘 평가할 수 있다. 프로그램 평가는 시간이 지남에 따라 수집된 다양한 멀티모달 데이터 포인트에서 수집된 정보를 사용하여 일회성 검사보다 임상 역량의 더 효과적인 측정을 제공할 수 있으며 학습자에게 정기적으로 의미 있는 형태별 피드백을 제공할 수 있다.
Complementary assessment modalities could be challenging to introduce alongside the MLA, but should be employed to support learning of professionally relevant knowledge (such as generalism). Workplace-based assessments (WPBAs), portfolio-based tasks, quality improvement projects, and reflective essays are already in use. Innovative assessment formats, for example, the Safe and Effective Clinical Outcomes (SECO) exam,12 in which students conduct a live simulated consultation, using resources and seeking advice from tutors as required, could better assess students in their ability to provide flexible, situated patient care. Programmatic assessment, using aggregated information from many different multimodal data points collected over time,13 may provide a more valid measurement of clinical competence than a one-off examination, and permit regular, meaningful formative feedback for learners.

결론
CONCLUSION

MLA는 거의 시행이 임박했다. 고부담 시험으로서, 그것은 커리큘럼과 학생/교사 학습 우선순위를 형성할 것이다. 현재 MLA는 1차 진료 지식을 보여줄 기회를 제공하지만 일부 근본적인 실천 영역을 약화시킬 수 있다. [1차 진료 교육자의 참여]는 MLA에 1차 진료 지식을 포함하고 그 가시성을 극대화하기 위한 핵심이다. 전문적 실무와 관련된 지식의 범위에 대한 학생 학습을 지원하고 일반주의의 가치를 홍보하기 위해, 우리는 MLA에 포함된 것과 포함되지 않은 것 모두에 주의를 기울이고, 추가 평가 형식을 가장 잘 사용하고 통합하는 방법을 고려해야 한다.

The MLA is nearing implementation. As a high-stakes exam, it will shape curricula and student/teacher learning priorities. The current MLA presents opportunities to showcase primary care knowledge but potentially undermines some fundamental areas of practice. The involvement of primary care educators is key to maximising the inclusion and visibility of primary care knowledge in the MLA. To enhance opportunities to support student learning about a range of knowledge relevant to professional practice and promote the value of generalism, we must attend to both what is, and is not, included in the MLA, and consider how best to employ and integrate additional assessment formats.

 

---

General practice and the Medical Licensing Assessment

Douglas GJ McKechnie, Neelam Parmar, Sarah Armstrong, Lucy Pratt, Lindsey Pope, Hugh Alberti and Sophie Park

British Journal of General Practice 2022; 72 (723): 497-498. DOI: https://doi.org/10.3399/bjgp22X720905

From 2024/2025, all UK medical students will sit the Medical Licensing Assessment (MLA),1 a mandated national exam comprising: a written applied knowledge test (AKT) in single best answer (SBA) format; and a clinical and professional skills assessment (CPSA). Here we consider the implications for primary care, and for those involved in teaching primary care to medical undergraduates, including GPs and other primary care professionals.