의과대학 교육과정의 질 개선 - 어떻게 접근해야 하는가? (Med Educ, 2022)

의과대학 교육과정의 질 개선 - 어떻게 접근해야 하는가? (Med Educ, 2022)
State of the science: Quality improvement of medical curricula—How should we approach it?
Susan Jamieson

 

 

1 소개
1 INTRODUCTION

의료 커리큘럼의 품질 향상(QI)은 커리큘럼 팀의 중요한 우선 순위이며 많은 이해 관계자(학습자, 교육자, 환자, 보호자, 특정 분야 및 전문성, 규제 기관 및 자금 제공자)에게 중요하다. 지속적인 QI는 외부 주도 인증 중심 커리큘럼 리뷰와는 구별되지만, 외부 주도형 커리큘럼 검토와 관련이 있다. 이 서술적 검토는 의료 커리큘럼의 QI에서 가정과 실천 중 일부를 탐색하고 커리큘럼 팀을 위한 권고안을 제시한다. 이 검토는 관련 MeSH 용어 또는 키워드 또는 이들의 조합을 포함하는 영어 전체 텍스트 기사에 대한 MEDLINE, EMBASE, PUBMED 및 ERIC 데이터베이스의 검색을 통해 식별된 의료 및 기타 보건 전문 교육의 문헌에 주로 기초한다. 다른 출처에는 예시적인 커리큘럼 프레임워크와 평가 보고서가 포함된다. 먼저 핵심 개념을 정의하고 설명합니다.
Quality improvement (QI) of the medical curriculum is an important priority for the curriculum team and is of consequence to many stakeholders: learners, educators, patients, carers, specific disciplines and specialities, regulators and funders. Continuous QI is distinct from, but feeds into, externally driven accreditation-focused curriculum reviews. This narrative review1 explores some of the assumptions and practices in QI of medical curricula and makes recommendations for curriculum teams. The review draws mainly on literature from medical and other health professions education, identified through searches of the MEDLINE, EMBASE, PUBMED and ERIC databases for English-language full-text articles that contained relevant MeSH terms or keywords, or combinations thereof. Other sources include exemplar curricular frameworks and evaluation reports. Key concepts are first defined and explained.

2 주요 개념과 매개변수
2 KEY CONCEPTS AND THE PARAMETERS OF THIS REVIEW

[퀄리티]은 기업의 '우수도의 척도'로 정의되어 왔다. 의료 커리큘럼(또는 프로그램)의 품질은 학습, 교육, 평가, 학습 환경 등의 [특정 표준specific standards]에 따라 평가된다. 이 표준은 다음과 같은 기관에 의해 설정될 수 있다.

• 대학이나 대학과 같은 고등 교육 기관
  
• 영국 왕립 대학과 같은 졸업후 의학 교육 제공자
  
• 영국의 GMC(General Medical Council) 또는 세계 의학 교육 연맹(WFME)과 같은 지역 또는 글로벌 의료 교육 규제 기관

Quality has been defined as ‘a measure of the degree of excellence’2 of an entity. The quality of a medical curriculum (or programme) is judged against specific standards of learning, teaching, assessment, learning environment and so on. These may be set

• by higher education institutions, such as colleges or universities;
• by providers of postgraduate medical education, such as the Royal Colleges in the United Kingdom; or
• by local or global regulators of medical education, such as the General Medical Council (GMC) in the United Kingdom, or the World Federation of Medical Education (WFME).

 

• [퀄리티 보증(QA)]은 [규제/인정기관이 (퀄리티 표준에 대한 책무가 있는) 어떤 의료 커리큘럼이 퀄리티 표준이 충족되는 정도를 결정하는 과정]이다.
• [퀄리티 개선(QI)]은 일반적으로 [커리큘럼 팀이 이해관계자 피드백을 사용하여 커리큘럼이 관련 표준을 충족하는지 여부를 결정한 다음, 인식된 결함을 해결하기 위한 새로운 활동 또는 기타 조치를 시행하고, 후속적으로 커리큘럼의 품질을 재평가하는 지속적인 프로세스]로 간주된다.
• Quality assurance (QA) is
  • a process whereby regulatory/accrediting bodies determine the extent to which quality standards are met by medical curricula accountable to them.3 
• Quality improvement is generally regarded as
  • a continuous process whereby curriculum teams
    • use stakeholder feedback to determine whether the curriculum meets relevant standards,
    • then implement new activities or other measures to address perceived deficiencies
    • and subsequently re-evaluate the quality of the curriculum.2 

프랭크 외 연구진은 [QA를 총괄적]이라고 구분하고, [QI를 형성적]이라고 구분한다. 의료 자체에서 QI는 [환자의 경험]을 향상시키고, [환자의 안전]을 개선하기 위해 상당한 초점을 맞추고 있다. 예를 들어, 미국의 경우, ACGME(Creditation Council for Graduate Medical Education)는 의사가 품질 향상과 관련된 역량을 입증하도록 요구한다.5 이에 따라 의료 학습자 및 실무자, 기타 의료전문가를 대상으로 품질향상의 원칙과 과정에 대해 교육하기 위한 품질향상 교육과정이 개발되었다. 그러나 본 검토의 초점은 [QI에 관한 커리큘럼]이 아니라, [의료 커리큘럼의 QI]에 있다.

Frank et al. distinguish between QA as summative and QI as formative.4 In healthcare per se, there is significant focus on QI to enhance the patient experience/improve patient safety. For example, in the United States, the Accreditation Council for Graduate Medical Education (ACGME) requires physicians to demonstrate competencies related to quality improvement.5 Accordingly, quality improvement curricula have been developed to teach medical learners and practitioners, and other healthcare professionals, about the principles and process of quality improvement.6-11 However, the focus of this review is not on curricula about QI, but on QI of the medical curriculum.

3 품질 개선 프로세스 개요
3 OVERVIEW OF THE QUALITY IMPROVEMENT PROCESS

의료 커리큘럼의 지속적인 QI를 위한 프로세스와 공통 메커니즘은 표준 의료 교육 텍스트에 상세히 설명되어 있습니다.2 연속 QI에 대한 [계획-실행-연구-행위(PDSA)] 사이클은 데밍에 기인한다. 켄라이트와 윌킨슨은 [계획-실행-평가-조사plan-implement-evaluate-investigate]의 순환이 되도록 의료 커리큘럼에 적용했다. 다양한 이해관계자는 일반적으로 프로세스의 시작점을 제공한다. 의료 커리큘럼의 QI의 주요 이해관계자 그룹은 전통적으로 의학 학습자 자체였지만, 다른 이해관계자(예: 동문 또는 선택 호스트)로부터 피드백을 구할 수도 있다. 의학 교육의 연속체에서의 커리큘럼의 위치(UG, PG, CPD)에 따라 구체적인 이해관계자 그룹이 변경되거나, 특정 그룹의 견해가 다소 좌우될 수 있다.
The process and common mechanisms for continuous QI of medical curricula are elaborated in standard medical education texts.2 The plan-do-study-act (PDSA) cycle for continuous QI is attributed to Deming.12 It has been adapted for the medical curriculum by Kenwright and Wilkinson to become a cycle of plan-implement-evaluate-investigate.2 The various stakeholders typically provide a starting point for the process. The main stakeholder group in QI of medical curricula has traditionally been medical learners themselves,13-15 but feedback may also be sought from other stakeholders, for example, alumni, or elective hosts.16, 17 Depending on where a particular curriculum is positioned on the continuum of medical education—undergraduate (UG), postgraduate (PG) or continuing professional development (CPD)—the specific stakeholder groups may change or the views of certain groups may hold more or less sway.

일반적으로 [설문조사]에 응답하거나, [포커스 그룹] 또는 [커리큘럼 위원회]에 참여함으로써 이해 당사자는 커리큘럼 또는 그 측면을 평가한다. 교육과정 팀은 평가를 검토하고 이에 대응한다. 여기에는 특정 문제에 대한 추가적 탐구가 포함될 수 있습니다. 예를 들어, 설문조사에서 부정적인 점수나 논평 뒤에 숨겨진 이유를 더 잘 이해하기 위해 포커스 그룹을 조직하는 것이 포함됩니다. 이유를 더 잘 이해했다면 다음과 같이 대응할 수도 있다.

• 학습, 교육 및 평가를 위한 기존 규정을 바꾼다.
  
• 학습 환경의 문제를 해결한다. 
  
• 기존 규정의 변경이 적절하거나 실현 가능한지 여부에 대한 교육학적 또는 실용적인 판단을 내린다. 

중요한 것은, 커리큘럼 팀의 response에는 '루프 닫기closing the loop'가 포함되어야 하며, 여기에는 이해 관계자에게 결과를 전달하는 것이 포함되어야 한다. 교육과정의 다음 실행에서, 그 과정은 다시 시작된다.

Usually by responding to surveys, or participating in focus groups or curriculum committees, stakeholders evaluate the curriculum or aspects of it. Curriculum teams review the evaluation and respond to it. This may include further exploration of specific issues; for example, organising focus groups to better understand the reasons behind negative scores or comments in a survey. The response may include

• making changes in existing provision for learning, teaching and assessment;
• addressing issues in the learning environment; or
• taking pedagogical or pragmatic decisions about whether changes in existing provision are appropriate or feasible.

Importantly, the response from curriculum teams should incorporate ‘closing the loop’,18 which includes communication of the outcome(s) to stakeholders. At the next run of the curriculum, the process begins again.

4 의과대학 교육과정의 QI 문제 
4 PROBLEMS WITH QI OF THE MEDICAL CURRICULUM

의료 교육과정의 지속적인 QI와 관련된 몇 가지 문제가 있다.

• 첫째, 의료 교육 커뮤니티의 구성원들은 지리적 맥락 및/또는 UG 또는 PG 맥락에 포함되는지, 또는 학술 또는 임상 환경에 따라 QI를 설명하기 위해 다른 언어를 사용한다. 이것은 QI의 성격과 목적에 대한 서로 다른 용어들이 상충되는 개념화와 일치하는지 여부가 중요하다. 더욱이 대안적 용어(및 개념화)에 대한 인식 없이는 증거 기반에 완전히 관여하는 것이 어려울 수 있다.
• 두 번째 문제는 의료 교육과정의 QI에서 무엇이 우선시되고 무엇이 이에 영향을 미치는지이다.
• 셋째, 커리큘럼의 질을 향상시키기 위해 적절한 기준에 따라 커리큘럼을 평가하고 있는가?
• 넷째, 정렬된 방법을 사용하고 있는가? QI에 대한 우리의 우선 순위와 방법론적 접근 방식이 이해 관계자가 발언할 수 있는 것에 영향을 미치기 때문에 이러한 문제가 중요합니다.
• 마지막으로, 문헌에서는 커리큘럼 QI에 대한 공유된 소유를 지지한다. 하지만 우리는 어떻게 이것을 육성할 수 있을까요?

이 검토의 나머지 부분은 의료 커리큘럼의 QI를 특징짓는 가정과 실천 중 일부를 탐색하고 커리큘럼 팀에 권고함으로써 이러한 문제를 다룬다.

There are several problems relating to continuous QI of the medical curriculum.

• Firstly, members of the medical education community use different language to describe QI, depending on their geographical context and/or whether they are embedded in an UG or PG context, or an academic or clinical environment. This matters if the different terminology aligns with conflicting conceptualisations about the nature and purpose of QI. Moreover, without an appreciation of alternative terminologies (and conceptualisations), it may be challenging to engage fully with the evidence base.
• A second problem is what is prioritised in QI of the medical curriculum and what influences this.
• Thirdly, in aiming to improve curricular quality, are we evaluating the curriculum against appropriate standards,
• and—fourthly—using aligned methods? These issues matter, because our priorities and our methodological approach to QI impact which stakeholders have a voice.
• Finally, the literature advocates shared ownership of curricular QI, but how might we foster this?

The remainder of this review addresses these problems, by exploring some of the assumptions and practices that characterise QI of medical curricula and making recommendations to curriculum teams.

5 QI의 개념화
5 DIFFERENT CONCEPTUALISATIONS OF QI

QI에 대해 이야기할 때 의학 교육계는 '동일한 언어'를 사용하는가? QI의 다른 개념화를 반영하는 만큼 중요한 다른 용어는 서로 다른 맥락에서 사용된다.

• '질 개선quality improvement'이라는 용어는 [의료 환경]에서 흔히 사용되며, 일부 [교육 환경]에서 사용됩니다.
• 그러나 다른 교육적 맥락에서 질 향상(quality enhancement, QE)이라는 용어가 대신 사용된다. 이것은 ['개선'이라는 단어에 대한 부정적인 함축]으로부터 벗어나는 움직임을 나타낸다:
  • 윌리엄스는 '[개선improvement]이란 종종 활동을 표준에 도달하는 과정을 가리키는 데 사용되는 반면, [향상enhancement]은 [이미 좋은 기준]을 더 높은 수준으로 끌어올리고, 강화하거나 확대하는 데 사용된다'고 주장한다.

Are we, the medical education community, ‘speaking the same language’ when we talk about QI? Different terminology is used in different contexts, which matters inasmuch as it reflects different conceptualisations of QI.

• The term ‘quality improvement’ is commonplace in healthcare contexts and used in some educational contexts.
• However, in other educational contexts the term quality enhancement (QE) is used instead.19, 20 This represents a move away from negative connotations of the word ‘improvement’:
  • Williams argues that ‘improvement is often used to refer to a process of bringing an activity up to standard whereas enhancement is about raising [an already good standard] to a higher degree, intensifying or magnifying it’.21 

QE 용어는 유럽 무대에서 학부교육과정 맥락에 널리 퍼져 있다. 실제로 네덜란드 단체의 최근 출판물에서 QI는 '지속적인 교육 질 향상'으로 묘사된다. QE는 교육 기관의 '퀄리티 문화'를 개발하는 데 초점을 맞추고 있다. 퀄리티 문화의 개념은 다음을 포함한다.

• 공유된 가치, 집단적 책임, 제도적 자율성, 투명성, 효과성, 권한 부여를 통한 변혁적 능력

QE terminology is prevalent in undergraduate contexts in the European arena.22 Indeed, in a recent publication by a Dutch group, QI is described as ‘continuous enhancement of educational quality’.23 QE is focused on developing a ‘quality culture’ in the educational organisation.22-24 The concept of quality culture incorporates

• shared values, collective responsibility, institutional autonomy, transparency, effectiveness and transformative ability through empowerment.22 

QE의 초점은 통제와 규정 준수가 아닌, [개발과 혁신]에 있습니다. [외부 QA]는 교육 기관의 [내부 QE(Quality QE)] 프로세스를 평가하는 데 초점을 맞추고 있으며, 교육 기관의 교육 수준 충족 여부를 판단하는 데 중점을 두고 있습니다. 개별 의료 커리큘럼의 이해 관계자가 QI에 대해 서로 다른 개념화를 가지고 있다면, 이는 과정에 대한 혼란, 박탈감 및 커리큘럼에 대한 의사 결정의 긴장감으로 이어질 수 있다.

The focus in QE is on development and innovation as opposed to control and compliance.24 External QA is focused on evaluation of the education provider's internal QE (QI) processes as opposed to judging whether curricular standards have been met.22 If stakeholders in an individual medical curriculum hold different conceptualisations of QI, this may lead to confusion about the process, feelings of disenfranchisement and tensions in decision making about the curriculum.

QI에 대한 용어가 달라지면 관련 증거 기반과의 참여에도 영향을 미칩니다.

• '질 개선'을 검색하면 주로 북미 의료 커리큘럼 또는 프로그램의 문헌이 검색되며, 종종 졸업후 교육의 맥락이다.
• '질 향상'을 검색하면 미국 바깥과 UG 문맥에서 더 많은 문헌을 확인할 수 있다.
• 또한 '교육과정 평가'는 전통적으로 학문적 맥락에서 QI를 의미하는 데 사용되는 반면,
• '프로그램(프로그램) 평가'는 북미적 맥락에서 더 일반적일 수 있다. 

The different terminology for QI also impacts engagement with the relevant evidence base.

• Utilisation of ‘quality improvement’ in literature searches directs the searcher largely towards literature from North American medical curricula or programmes, often in a graduate context.
• Utilising ‘quality enhancement’ identifies more literature from out-with the United States and from an UG context.
• In addition, ‘curriculum evaluation’ is traditionally used to mean QI in academic contexts,
• whereas ‘programme (program) evaluation’ may be more common in North American contexts.25

권장 사항: 교육 과정 팀은 QI의 개념화와 QI 구현 목적에 대한 담론에 참여하고 이를 이해 관계자에게 전달해야 합니다. QI에 대한 증거 기반을 검토할 때, 문헌에 대한 우리의 [검색과 해석]은 [서로 다른 용어와 개념화]를 반영해야 합니다.
Recommendations: curriculum teams should engage in discourse about their conceptualisation of QI and their purpose in implementing QI and communicate this to stakeholders; and in reviewing the evidence base for QI, our searches for, and interpretation of the literature should reflect different terminologies and conceptualisations.

6 평가해야 할 사항에 대한 우선 순위와 관점
6 PRIORITIES AND PERSPECTIVES ON WHAT SHOULD BE EVALUATED

우리는 무엇을 평가해야 할까요? 커리큘럼의 품질에 대한 판단은 [이해당사자에 의해 평가되고 우선시되는 것]을 반영할 것이다. 이는 결과적으로

• 사회의 특정 집단(환자, 보호자 및 납세자 포함), 기금 제공자, 규제 기관 및 전문 기관, 전문 분야 또는 교육 원칙에 대한 [책무성]을 반영한다.
• 또는 그들 자신의 학습과 발전에 대한 [관심]을 반영할 수도 있다. 

What should we evaluate? Judgements about the quality of curricula will reflect what is valued and prioritised by stakeholders. This will in turn reflect their

• accountability
  • to specific groups in society (including patients, carers and taxpayers),
  • to funders,
  • to regulators and professional bodies,
  • to their specialities or disciplines, or
  • to educational principles;
• or concern for their own learning and progression.

따라서 평가자는 [커리큘럼의 특정 측면 또는 구성요소]에 대한 품질을 우선시할 수 있다. 예를 들면

• 공공 및 환자의 참여 정도, 평가 프로그램, 학습을 위한 자원 등

Evaluators may therefore prioritise quality in specific aspects or components of the curriculum,

• such as the degree of public and patient involvement,26 the programme of assessment27 or resources for learning.

이해당사자들은 또한 [교육과정이 무엇이어야 하는지]에 대해 다른 관점을 가질 수 있다. 커리큘럼 이론은 커리큘럼의 기본 목적에 따라 커리큘럼 설계에 대한 다양한 접근 방식을 알려준다.

• 내용으로서의 교육과정(또는 syllabus),
• 제품으로서의 교육과정,
• 과정으로서의 교육과정
• 실천으로서의 교육과정. 

Stakeholders may also have different perspectives on what a curriculum should be. Curriculum theory informs different approaches to curriculum design, based on the underlying purpose of the curriculum:

• curriculum-as-content (or -syllabus),
• curriculum-as-product,
• curriculum-as-process and
• curriculum-as-praxis.28 

 

• [내용으로서의 교육과정 관점]은,교사 중심이며, 교육과정을 학습된 과목으로 본다. 
  
• [제품으로서의 커리큘럼 관점]은, 랄프 타일러(Ralph Tyler)에서 유래하며, 커리큘럼이 무엇을 생산하고자 하는지에 초점을 맞춘다. 의학 교육에서 이것은 효과적인 의사가 될 것이다. 이러한 관점은 거의 틀림없이 성과 또는 역량 기반 의료 커리큘럼과 가장 밀접하게 일치한다.
• [과정으로서의 교육과정 관점]은, Stenhouse에서 유래하며, 학습과 상호작용의 기회를 포함하여 교육과정 중 학습 과정에 관한 것이다. 그것은 학습자 개발에 초점을 맞추고 따라서 학습자 중심이다. 
• The curriculum-as-content perspective is teacher-centric and sees curriculum as the taught subject matter.
• The curriculum-as-product perspective, attributed to Ralph Tyler,29 focuses on what the curriculum aims to produce. In medical education this will be effective doctors. This perspective arguably aligns most closely with the outcomes- or competency-based medical curriculum.30 
• The curriculum-as-process perspective, attributed to Stenhouse,31 is concerned with the learning process during the curriculum, including opportunities for learning and interaction. It focuses on learner development and is therefore learner-centred.32 

현대의학 커리큘럼은 효과적인 의사의 '제품'을 목표로 할 수도 있지만, 그들은 또한 학습 과정에 관심을 가지고 있으며, 그들의 의사들이 자기 주도적이고, 자기 통제적이며, 성찰적인 의사로 발전하기를 바란다. 여기에 커리큘럼의 질을 평가하는 데 파급력을 가지는 [긴장이 존재]한다. 이해당사자들이 커리큘럼의 목적에 대해 다른 관점을 가질 수 있기 때문이다. 또한 의료 커리큘럼이 [여러 표준 세트(예: 교육 및 전문 규제 기관)]를 충족해야 하는 경우, 특정 우선순위 또는 커리큘럼 철학이 다른 표준 세트보다 한 세트의 표준과 더 잘 일치할 수 있다. 영국에서, 학부의학교육에 있어서 이해관계자 우선 순위가 서로 다른 예는

• [환자 안전에 대한 궁극적인 초점]이 [고부담 의사 면허 시험으로의 이행]을 주도했다는 것이다.
• 반면, [고등교육의 일반적인 움직임]은 지속 가능한 평가를 향하고 있다(자기평가, 동료평가, 성찰, 포트폴리오 및 학습 활동 내 임베딩 평가를 포함하여 평생 학습을 용이하게 하는 평가).

Modern medical curricula may aim for the ‘product’ of an effective doctor, but they are also concerned with the process of learning, wanting their doctors to develop into self-directed, self-regulated, reflective practitioners. Herein lie tensions that can spill over into evaluating the quality of the curriculum, if stakeholders have different perspectives on the purpose of the curriculum. Also, where a medical curriculum must meet multiple sets of standards (e.g. those of educational and professional regulators), specific priorities or curriculum philosophies may align better with one set of standards than the other. An example of differing stakeholder priorities impacting UG medicine in the United Kingdom is that

• an ultimate focus on patient safety has driven the implementation of a high-stakes medical licensing assessment33;
• whereas the general move in higher education is towards sustainable assessment (that which facilitates life-long-learning, including self-assessment, peer- assessment, reflection, portfolios and embedding assessment within the learning activities).34, 35

[실천으로서의 교육과정 관점]에서는 '가치 있는' 것이 무엇이며, 이를 개선하기 위해 교육과정 내에서 변화가 필요한지에 초점을 맞추고 있다. 이는 다음에 부합한다.

• [환자 중심의 의학교육]을 강조하는 것,
• [교육과정의 포용성]을 강조하는 것,
• [잠재 교육과정(교육경험의 일부이지만 정식 교육과정의 일부가 아닌 학습, 잠재적으로 후자와 상충되는 학습)에 의해 훼손되지 않은 것]을 강조하는 것

From the curriculum-as-praxis perspective, attributed to Grundy, there is a focus on what is ‘valuable’, and changes needed to enhance this within the curriculum.28 This is consistent

• with a patient-centred focus in medical education,
• with ensuring that the curriculum is inclusive, and
• with ensuring it is not undermined by the hidden curriculum (learning that is part of the educational experience but not part of the formal curriculum, and potentially conflicting with the latter).

교육 과정의 질을 판단하는 사람들이 무엇을 중시하고 우선시하는가에 따라, 이해 당사자들은 교육 과정이 중심이 되어야 하는 곳(예: 학습자 또는 환자)에 대해 합법적으로 다른 관점을 가질 수 있다. Damodaran은 [학습자 중심성]의 개념이 의료교육에서 지나치게 우세해졌으며, 의료교육의 '최적 중심성optimal centeredness'은 의료교육의 다양한 단계마다 정당한 이유로 달라질 수 있다고 주장한다. 

Depending on what is valued and prioritised by those who judge curricular quality, and their conceptualisation of curriculum, stakeholders may legitimately hold different perspectives on where the curriculum should be centred (e.g. on the learner or the patient). Damodaran suggests the concept of learner-centredness has become overly dominant in medical education and that the ‘optimal centredness’ of the medical curriculum may legitimately vary at different phases of medical education.36

권장 사항: 커리큘럼 팀은 커리큘럼에서 무엇이 가치 있는지, 그 [목적 및 중심성]에 대해 논의할 기회를 만들어야 합니다. 커리큘럼의 통합 평가에서 특정 우선순위나 관점이 데이터 수집의 특정 에피소드를 형성할 수 있지만, 여러 출처의 데이터를 통합하고 반영해야 하는 커리큘럼 팀의 감독이 있어야 한다.
Recommendations: curriculum teams should create opportunities for discussion about what is valued in the curriculum, its purpose and its centredness. In an integrated evaluation of the curriculum,23 although specific priorities or perspectives may shape a particular episode of data collection, there should be oversight by the curriculum team, who should synthesise and reflect on data from multiple sources.

7 품질기준에 대한  고려사항
7 CONSIDERATIONS ABOUT QUALITY STANDARDS

[퀄리티 지표]에는 커리큘럼 학습 목표, 학습 결과 및/또는 역량 제공이 포함된다. 이는 모든 이해관계자에게 커리큘럼에 포함되어야 하는 것을 명시하고 커리큘럼(및 이해관계자)이 판단될 수 있는 기준을 제공하기 때문이다. '학습 목표'와 '학습 결과'라는 용어는 때때로 상호 교환적으로 사용됩니다.

• 그러나 [학습 성과]는 의도적으로 [학습자 중심적]이며, 학습자가 관련 지식, 기술 및 태도의 성취를 어떻게 보여줄 수 있는지를 명시하고, [학습의 폭과 깊이]에 대한 가이드를 제공합니다.
  • 예를 들어, '자원의 사용과 우선 순위를 지속적으로 개선하는 방법을 모색하는 것을 포함하여 실무(예: 계획, 실행, 연구, 행동 또는 행동 연구)를 개선하기 위한 품질 개선 원칙과 방법을 제시한다.' 
• 대신, [학습 목표]는 [학습해야 할 자료]를 강조하지만, 종종 학습의 폭이나 깊이를 나타내지 않는다.
  • 예를 들어, '품질 개선의 원칙과 방법을 이해한다'. 
• [역량]은 [특정 수준의 성과에 대한 성과를 특정 표준에 따라 명시]한다. 
  • 예를 들어, '질적 개선의 과학을 환자 치료 시스템 개선에 기여하기 위해 적용'한다. 

An indicator of quality includes the provision of curricular learning objectives, learning outcomes and/or competencies,37 because these specify to all stakeholders what should be included in the curriculum and provide standards against which the curriculum (and stakeholders) may be judged. The terms ‘learning objectives’ and ‘learning outcomes’ are sometimes used interchangeably.

• However, learning outcomes are intentionally learner-centric, specifying how the learner will be able to demonstrate achievement of relevant knowledge, skills and attitudes, providing a guide as to breadth and depth of learning:
  • for example, ‘apply the principles and methods of quality improvement to improve practice (for example, plan, do, study, act or action research), including seeking ways to continually improve the use and prioritisation of resources’.38 
• Instead, learning objectives emphasise the material to be learned, but often without indication of breadth or depth of learning;
  • for example, ‘understand the principles and methods of quality improvement’.39 
• Competencies specify achievement at a particular level of performance, according to specific standards;
  • for example, ‘apply the science of quality improvement to contribute to improving systems of patient care’.40

현대의학 커리큘럼은 일반적으로 결과 기반 또는 역량 기반이라고 설명한다.30 QI는 다음에 초점을 맞출 수 있습니다

• 성과 또는 역량이 적절한지 
• 학습 활동과 학습 환경이 학습자가 성과 또는 역량에 부합할 수 있도록 하는지
  
• 평가 시스템이 학교, 대학 또는 기타 기관이 학습자가 지정된 성과 또는 역량의 달성정도를 결정할 수 있도록 하는지

Modern medical curricula generally describe themselves as outcome-based or competency-based.30 QI might focus on ensuring

• that the outcomes or competencies are appropriate;
• that learning activities and the learning environment will allow learners to meet the outcomes or competencies; and
• that assessment systems will allow schools, colleges or other institutions to determine the extent to which learners have achieved the specified outcomes or competencies.

[한 가지 긴장]은 규제 기관이 발표한 결과/역량이 종종 광범위하여, 지역적 해석을 위한 상당한 여지를 남겨둔다는 것이다. 이는 가용 자원과 기타 상황별 문제를 고려할 수 있는 커리큘럼 팀에게 유연성을 제공하지만, 의료 커리큘럼의 퀄리티의 차이가 커지는 원인 중 하나일 것으로 추정된다. [또 다른 긴장]은 의료 교육과정이 다른 기준들을 준수해야 할 수도 있다는 것이다. 예를 들어, 영국에서 UG 의료 커리큘럼은

• 위임된 국가 정부 및/또는 고등 교육 부문의 규제 기관(the Office for Students in England)이 정한 표준뿐만 아니라
• 전문 규제 기관이 정한 표준(Outcomes for Graduates specified by the GMC)에도 부합해야 한다.

이들 각 기관은 UG(의료) 커리큘럼의 목적에 대해 서로 다른 견해를 가지고 있을 가능성이 높으며, 과제는 [완전히 호환되지 않을 수 있는 서로 다른 표준 세트]를 충족하는 의료 커리큘럼을 제공하는 것이다.
One tension is that outcomes/competencies published by regulators are often necessarily broad, leaving considerable room for local interpretation. Although this affords flexibility to curriculum teams, who can take into consideration available resources and other contextual issues, it presumably is one source of varying quality in medical curricula. A further tension is that a medical curriculum may need to conform to different sets of standards. For example, in the United Kingdom, the UG medical curriculum must conform

• not only to standards set by the devolved national governments and/or regulators of the higher education sector (e.g. the Office for Students in England, https://www.officeforstudents.org.uk/)
• but also to standards set by the professional regulator (Outcomes for Graduates specified by the GMC38).

These respective organisations likely hold different views on the purpose of an UG (medical) curriculum, and the challenge is to provide a medical curriculum that meets different sets of standards, which may not be fully compatible.

[세 번째 긴장]은 [지역적으로 해석]될 수는 있지만, [모든 맥락에서 최소한의 숙련도를 보장하는 퀄리티 표준]의 필요성 사이에 존재한다. 일부 국가는 다른 맥락에서 표준을 그대로 채택하거나 변형하여 채택했다. 예를 들어, [대만 의학 인증 위원회(TMAC)]는 미국과 캐나다의 의대를 인증하는 의학 교육 연락 위원회(LCME)의 표준을 기반으로 2013년 표준을 개발했습니다. 다른 의료 교육 맥락에서 표준을 가져오는 것은 지역 문화 또는 해당 인구의 필요성 또는 우선순위를 충분히 고려하지 않을 수 있다. [장기적인 WFME 프로젝트]는 의료 교육의 다양한 단계에 대한 Global Standards for Quality Improvement of Medical Education 을 정의하는 것이었다. 이 기관의 웹사이트에는 각 단계의 권장 표준에 대한 링크가 있으며, 가장 최근의 것은 기초 의학 교육 표준의 2020년 버전이다. 그러나 QI에 대한 WFME 표준의 실제 적용에 대한 경험적 연구의 체계적인 검토에서, 저자들은 이러한 표준이 '서구적' 맥락을 지향하고 있을 수 있으며, WFME에서도 [지역적 맥락에 맞게 가이드를 조정하여 사용]할 것을 권장한다는 것을 인정했다.

A third tension exists between the need for quality standards that can be interpreted locally yet ensure a minimal proficiency across all contexts. Some countries have adopted or adapted standards from other contexts; for example, the Taiwan Medical Accreditation Council (TMAC) developed their 2013 standards based on those of the Liaison Committee of Medical Education (LCME), 41 which accredits medical schools in the United States and Canada. Importing standards from another medical education context may not sufficiently take account of local culture or the needs or priorities of that population. A long-term WFME project has been to define Global Standards for Quality Improvement of Medical Education for various phases of medical education. The organisation's website (https://wfme.org/standards/) has links to the recommended standards for each phase, the most recent of which is a 2020 version of the standards for basic medical education.42 However, in a systematic review of empirical research into the practical application of the WFME standards for QI,43 the authors acknowledged that these standards may be oriented towards ‘western’ contexts and that the WFME itself recommends they be used as a guide, adapted for local contexts.

최근 이 분야에 추가된 것은 [유럽 의학 교육 협회(AMEE)가 제공하는 ASPIRE 상의 기준]과 같이 전문 회원 협회가 정한 품질 표준이다. 이러한 상은 [품질을 인정하는 것]의 동의어인 '우수성 인정'을 목적으로 한다.
More recent additions to the field are quality standards set by professional membership associations, such as the criteria for ASPIRE awards offered by the Association for Medical Education in Europe (AMEE). These awards aim to ‘recognise excellence’ (https://www.aspire-to-excellence.org/), which is a synonym for recognising quality.

권장 사항: 커리큘럼 팀은 적절한 기준에 따라 커리큘럼을 평가해야 합니다. 의료 커리큘럼이 여러 표준 세트를 준수하는 경우, 커리큘럼 팀은 평가 활동에 어떤 표준을 사용하고 있는지 명시하고 적절한 조치가 사용되는지 확인해야 한다.
Recommendations: curriculum teams must evaluate curricula against appropriate standards. Where medical curricula conform to multiple sets of standards, curriculum teams should be explicit about which standards are being used in any evaluation activity and ensure that appropriate measures are used.

8 QI에서의 방법론: 방법, 모델, 이론
8 METHODOLOGY IN QI: METHODS, MODELS, THEORY

[QI에 대한 적절한 방법론]에 대한 관점은 커리큘럼 팀이 QI를 [외부 QA를 위한 '드라이 런']으로 보는지, 아니면 [퀄리티 문화를 보장하는 수단]으로 보는지에 따라 영향을 받을 수 있습니다. 구체적인 쟁점으로는 학습자 조사의 우위성, 윤리적 평가, 의료 교육과정의 평가가 모델이나 이론의 적용에 의해 지시되는 범위 등이 있다.

Perspectives about appropriate methodology for QI will likely be influenced by whether curriculum teams see QI as a ‘dry run’ for external QA or as means of ensuring a quality culture. Specific issues include the dominance of learner surveys, ethical evaluation, and the extent to which the evaluation of medical curricula is directed by application of models or theories.

8.1 평가방법
8.1 Methods for evaluation

현대 학습자 중심 커리큘럼에서, [지속적인 QI]는 종종 기관 또는 국가 설문 조사를 사용하여 학습자 경험에 대한 정기적인 평가와 어느 정도 동의어가 되었다. 고등교육 분야에서는 [시장화 증가, 정부의 조사 데이터 사용, 그리고 학생들의 '소비자적 태도']가 조사 결과에 대한 '집착'으로 이어졌다. 전문 규제 기관은 학술 의학과의 긴밀한 관계를 가지며, 의료 교육의 연속성에 큰 영향을 미치는 전문 협회(예: AMEE)는 학계에 뿌리를 두고 있으므로, 학습자 설문조사의 사용이 의료 교육의 PG 및 CPD 단계로 확장되었다는 것은 놀라운 일이 아니다. 학습자 조사의 예로는 영국의 전국 학생 조사(NSS)가 있다. 
그리고 GMC의 PG 의료 훈련생과 트레이너를 위한 국가 훈련 조사(NTS)도 있다. 

In modern learner-centred curricula, continuous QI has become to some extent synonymous with regular evaluation of the learner experience, often using institutional or national surveys. In the higher education sector, increased marketisation, government use of survey data and possibly ‘consumerist attitudes’ of students have led to an ‘obsession’ with survey results.44 Professional regulators have close links with academic medicine, and professional associations with a major influence on the continuum of medical education (e.g. AMEE) have their roots in academia, so it is unsurprising that the use of learner surveys has extended into PG and CPD phases of medical education. Examples of learner surveys include the National Student Survey (NSS) in the United Kingdom, administered to all undergraduates in the final year of their studies45; and the GMC's National Training Survey (NTS) for PG medical trainees and trainers.46 

규제 기구는 (주제 영역, 분야 또는 전문성, 심지어 기관 간 비교를 허용하는 일반적인 Likert 유형 진술이 수반된) 정량적 도구를 선호할 수 있다. 그러나 이러한 진술은 이해관계자가 자신의 맥락에서 [해석하기 어렵거나], 학습자, 커리큘럼 팀 또는 기타 이해관계자에게 [가장 흥미롭고 중요한 문제를 다루지 않을 수] 있다. 아마도 이것이 네덜란드의 감사 조사 연구에서 교육 지도자들이 '내러티브한, 적시 피드백'에 대한 선호를 표명한 이유일 것이다. 후자는 코스/프로그램이 실행되는 동안 학습자가 커리큘럼 팀으로 보내는 피드백입니다. 잠재적으로, 그러한 평가는 학습자가 그들의 피드백에 대응하여 시행되고 있는 소규모 또는 예비적인 변화라도 볼 수 있다면 '루프 폐쇄'에 도움이 된다.

Regulators may favour such quantitative instruments, with generic Likert-type statements that allow for comparisons across subject areas, disciplines or specialities, even institutions, but such statements may be difficult for stakeholders to interpret in their context or may not address issues of greatest interest or importance to learners, curriculum teams or other stakeholders. Perhaps this is why educational leaders in a Dutch appreciative inquiry study expressed a preference for ‘narrative and just-in-time feedback’.24 The latter is feedback from learners to curriculum teams whilst the course/programme is running; potentially, such evaluation helps to ‘close the loop’ if learners can see even small-scale or preliminary changes being implemented in response to their feedback.

학습자 설문조사에서, [좋은 응답률을 달성하기 위한 방법론적 요구 사항]과 [윤리적 고려 사항] 사이에 긴장이 존재한다. UKUG의 맥락에서, 기관 KPI에는 NSS를 완료하는 특정 학과의 학생 비율이 들어있다. UG 학생 참여가 의무화될 수 없기 때문에, 학생들의 반응을 장려하고 교수진이 설문 조사를 촉진하도록 장려하는 것이 실제 상황이다. 아이러니하게도 [윤리적 교육 연구]에서는 인센티브를 주는 것이 권장되지 않음에도, NSS 설문조사 완료를 위해서 인센티브가 제공되기도 한다. 실용적인 차원에서, '피드백을 쫓는 것'은 학생들의 경험을 향상시키는데 직접적으로 도움이 될 수 있는 활동으로부터 시간이 걸린다. 영국의 PG 의료 훈련생과 트레이너의 경우, GMC의 온라인 가이드에는 '누가 이 설문을 작성해야 하는가?'이라는 제목의 섹션이 있기 때문에, NTS 완료에 대한 기대를 명확히 한다. 그럼에도 불구하고, 2021년에 32%, 2022년에 34%의 트레이너만이 응답했기 때문에 적어도 트레이너들에게 낮은 응답률은 여전히 문제로 남아 있다. 2021년 데이터 수집 당시 진행 중인 팬데믹과 비코로나 사례에 대한 후속 '캐치업'을 고려할 때 이는 놀라운 일이 아닐 수 있지만, 비응답 편향은 우려해야 한다.
With learner surveys, a tension exists between the methodological requirement to achieve good response rates, and ethical considerations. In the UK UG context, institutional key performance indicators include the percentage of students in a specific discipline that complete the NSS. Because UG student participation cannot be mandated, there is a veritable industry around encouraging students to respond and encouraging faculty to promote the surveys. It seems ironic that incentives are discouraged in ethical education research47 but sometimes offered for completion of the NSS survey. On a practical level, ‘chasing feedback’ takes time from activities that could directly feed into enhancing the student experience. For PG medical trainees and trainers in the United Kingdom, the language in the GMC's online guide to completion of the NTS makes expectations clear, because there is a section entitled ‘Who needs [my emphasis] to complete the survey?’.48 Nonetheless, low response rates remain an issue, at least for trainers, because just 32% of trainers responded in 2021 and 34% in 2022.49, 50 This may not be surprising, given the ongoing pandemic at the time of 2021 data collection, and the subsequent ‘catch-up’ on non-Covid cases, but non-response bias must be of concern.

학습자 설문조사가 여전히 지배적이지만, 점점 더 많은 자유 서술형 응답을 요구하는데, 이는 만족도 점수보다 커리큘럼 팀에 더 도움이 될 수 있다. 그러나 [이해당사자의 인식]을 진정으로 이해하고, 퀄리티를 높이기 위해서는, 커리큘럼 팀은 다음을 해야 한다.

• 학습자에게 더 매력적일 수 있는 추가 형태의 데이터 수집을 활용한다.
  
• 문제를 더 깊이 탐구할 수 있도록 허용한다.
  
• 학습자에 대한 적시 응답을 촉진한다.
  
• 다른 이해관계자에게 발언권을 준다.

또한, 커리큘럼 품질에 대한 '전체적인 개요'를 제공하기 위해 '다양한 도구와 절차의 삼각 측량'이 권장된다.
Although learner surveys still hold sway, they increasingly ask for free text responses, which can be more helpful to curriculum teams than per cent satisfaction scores. However, to genuinely understand stakeholder perceptions and enhance quality, curriculum teams should

• utilise additional forms of data collection, which may be more engaging for learners,
• allow for a deeper exploration of issues,
• facilitate just-in-time responses to learners, and/or
• give other stakeholders a voice.

Moreover, ‘triangulation of different instruments and procedures’ is advocated, to give ‘a holistic overview’ of curriculum quality.23

8.2 평가 모델
8.2 Evaluation models

[커리큘럼 평가 모델]의 적용은 [지속적인 QI]를 위하여 [데이터 수집, 방향성 제공, 매개 변수 정의, 체계적인 접근 촉진, '부분들의 관계' 지정 등]을 가이드할 수 있다. Coles와 Grant는 다음의 데이터를 삼각측량해야 하는 모델을 제안했다. 

• 의도된 커리큘럼('서류상' 커리큘럼),
• 전달된 커리큘럼('실행 된')
• 경험된 커리큘럼

Application of a curriculum evaluation model may guide the collection of data for continuous QI, providing direction, defining parameters, facilitating a systematic approach, and specifying ‘a relationship of parts’.51 Coles and Grant proposed a model requiring triangulation of data from

• the intended curriculum (the curriculum ‘on paper’),
• the delivered curriculum (‘in action’) and
• the curriculum experienced.25 

이것은 지역 사회 기반 의료 커리큘럼의 평가에 사용되어 왔다. 앤더슨 외 연구진은 커리큘럼에서 서로 다른 이해당사자들의 복잡성을 인식하기 위해 두 가지 모델을 사용하여 전문가 간 커리큘럼을 평가했다.

• Biggs의 3P 모델([기존 요인], [교습 및 학습] 프로세스 및 [교습 및 학습] 제품]을 제시) 및 
  
• 커크패트릭의 레벨(학습자 반응, 학습자 성과, 학습자 행동, 학습자 영향 [임상 결과]). 

Moreau56은 신세계 커크패트릭 모델에 의해 제공되는 가능성을 강조하지만 커크패트릭의 유형학은 고등 및 의학 교육 문헌에서 비판을 받아왔다. 

This has been used in evaluation of a community-based medical curriculum.52 In a bid to recognise the complexity of different stakeholders in the curriculum, Anderson et al.53 evaluated an interprofessional curriculum by drawing on two models:

• Biggs' 3P Model (presage [pre-existing factors], process [of teaching and learning], and product [of teaching and learning]),54 and
• Kirkpatrick's levels55 (learner reaction, learner performance, learner behaviour, learner impact [clinical outcomes]).

Kirkpatrick's typology has been criticised in the higher and medical education literature, although Moreau56 highlights the possibilities afforded by the New World Kirkpatrick Model.57

Stufflebeam은 '목표 지향, 테스트… 실험 설계'와 '책임성'에 대한 대안으로서 의사 결정과 개선을 지향하는 CIPP 평가 모델을 개발했습니다. CIPP는 4가지 다른 평가 초점을 나타내는 컨텍스트 입력 프로세스 제품을 나타냅니다. CIPP를 커리큘럼 평가에 적용하면

• [상황 평가]는 니즈, 문제 및 개선 기회를 식별하기 위해 커리큘럼의 한 측면에 대한 데이터 수집과 같다. 
  
• [투입 평가]는 가능한 해결책(예: 문헌, 전문가 및 혁신적 아이디어)을 탐색한다. 
  
• 그리고 가능한 '해결 전략'의 구현은 각각 전략의 지속적인 구현과 전략 구현의 결과에 초점을 맞춘 [프로세스 평가와 산출 평가]로 이어질 것이다.

Stufflebeam은 '무엇을 해야 하는가'를 결정하는 것으로 그의 모델을 요약한다. 어떻게 해야 할까요? 지금 하고 있는 거야? 성공하고 있는가?' CIPP 모델은 널리 적용되었다. 예를 들어, 간호 커리큘럼의 한 측면(즉, 말기 의료에 대한 교육)과 관련 솔루션(교원 개입)을 평가하도록 조정되었다. 한편, 의료교육에서 사회적 책임성을 평가하기 위한 전주곡으로 사회적 책임 프레임워크를 분석하는 데 사용되어 왔다. 
As an alternative to models ‘oriented to objectives, testing … experimental design’ and ‘accountability’, Stufflebeam developed the CIPP evaluation model, oriented towards decision making and improvement.58 CIPP denotes context-input-process-product, representing four different foci of evaluation. Applying CIPP to curriculum evaluation,

• context evaluations would equate to data collection on (an aspect of) the curriculum, to discern needs, problems and opportunities for improvement;
• input evaluation would search for possible solutions (e.g. from the literature, experts and innovative ideas); and
• implementation of a possible ‘solution strategy’ would lead to process and product evaluations, respectively focused on ongoing implementation of the strategy, and the outcomes of implementing the strategy.

Elsewhere Stufflebeam summarises his model as determining ‘What needs to be done? How should it be done? Is it being done? Is it succeeding?’.59 The CIPP model has been applied widely. For example, it was adapted to evaluate one aspect of a nursing curriculum (i.e. education on end-of-life care) and a relevant solution (teaching intervention)60; on the other hand, it has been used to analyse social accountability frameworks as a prelude to evaluating social accountability in medical education.61

8.3 이론에 근거한 평가
8.3 Theory-informed evaluation

[특정 이론]과 일치하는 평가 모델을 활용하여 지속적인 QI에 대한 이론 정보 접근 방식을 통해 의료 커리큘럼의 품질에 대한 더 큰 이해와 임베딩을 달성할 수 있다. 예를 들어,

• Coles와 Grant의 모델은 [커리큘럼 이론]의 기초를 가지고 있다. 
  
• [퀄리티 문화 이론]의 적용은 무엇이 품질 문화에 기여하는지에 대한 교육 지도자들의 관점에 대한 감사한 조사를 안내했다.
• Anderson 등은 Biggs의 3P 모델과 Kirkpatrick의 수준을 사용한 것이 [복잡성 이론]과 일치한다고 가정했다.
• Jorm과 Roberts는 기존 모델이 선형이고 의학 학습자의 고유한 경험을 포착하지 못한다는 것을 기반으로 새로운 평가 모델을 개발하기 위해 복잡도 이론을 사용할 것을 지지했다. [복잡성 이론]이 알려주는 평가 원칙에는 '집단적 감각 형성'과 다중 방법 참여 데이터 수집, '대학, 보건 시스템, 사회'의 영향 고려, 장기 및 임상 결과 측정 등이 있다. 

Greater understanding about, and embedding of, quality in medical curricula may be achieved through a theory-informed approach to continuous QI, utilising evaluation models aligned with specific theories.53 For example,

• Coles and Grant's model has its foundations in Curriculum Theory25, 28;
• whilst application of the Quality Culture Theory guided appreciative enquiry into educational leaders' perspectives of what contributes to a quality culture.24 
• Anderson et al. posited that their use of Biggs' 3P model and Kirkpatrick's levels was consistent with Complexity Theory.53 
• Jorm and Roberts have advocated using Complexity Theory to develop new evaluation models, on the basis that existing models are linear and fail to capture the unique experiences of medical learners.62 Principles for evaluation informed by Complexity Theory include
  • ‘collective sensemaking’,
  • multi-method participatory data collection,
  • taking account of influences from the ‘university, health system, society’, and
  • measurement of long-term and clinical outcomes.62

권고사항: 의료 교육 연구의 방법론적 교훈을 적용하고, 커리큘럼 팀은 데이터 수집 방법을 특정 평가 질문/초점에 맞춰야 align 한다. [여러 다른 이해관계자]로부터 데이터를 수집하기 위해 [여러 가지 방법]을 사용한다. 적절한 [평가 모델과 이론]을 사용하여 평가를 안내하고 조직합니다.

Recommendations: applying methodological lessons from medical education research, curriculum teams should align data collection methods to specific evaluation questions/foci; use multiple methods for data collection, from different stakeholders; and use appropriate evaluation models and theory to guide and organise evaluation.

9 지속적인 QI의 소유 및 참여
9 OWNERSHIP OF AND ENGAGEMENT WITH CONTINUOUS QI

양질의 커리큘럼을 보장하기 위한 [제도적 접근방식]은 이전 국가 학습자 설문조사의 결과에 대응하거나, 다음 국가 학습자 설문조사가 시행되기 전에 문제를 예측하기 위한 내부 설문조사를 설계하고 구현하는 데 초점을 맞출 수 있다. 기관은 분야 또는 전문 분야에 걸쳐 광범위한 관심사를 해결하기 위해 개입과 정책을 제정할 수 있다. 이해관계자 평가에 대한 이러한 '탑-다운'식의 일반적 응답은 QI의 소유권을 주요 이해관계자로부터 빼앗습니다. 형성적, 발달적 평가를 강조하고 QI와의 참여를 장려함으로써, 우리는 퀄리티 문화를 육성하고, 의료 교육과정의 질에 대한 주인의식을 높일 수 있을 것이다. 하지만 어떻게요?
Institutional approaches to ensuring quality curricula may focus on responding to outcomes from previous national learner surveys, or on designing and implementing in-house surveys to anticipate issues before the next national learner survey is administered. Institutions may enact interventions and policies to address issues of broad concern across disciplines or specialties. This ‘top-down’ generic response to stakeholder evaluation takes ownership of QI away from key stakeholders.23 By emphasising formative, developmental evaluation and encouraging engagement with QI, we may foster a quality culture and increase the sense of ownership in the quality of the medical curriculum.23 But how?

[학습자]에 대해서 지속적인 QI의 [적극적인 참여자로서의 가치]를 옹호하고 입증하는 문헌이 증가하고 있다. 단순히 설문 응답자로서가 아니라 설계, 데이터 수집 및 평가 해석에 적극적으로 참여하는 것이다. 클레멘틱은 학생들이 학습, 교육, 평가, 환경에 대한 직접적인 경험을 통해 QI와 관련된 자본을 가지고 있다고 주장한다. 학생은 다음과 같은 것을 통해 [지속적 QI]에 크게 기여할 수 있다. 63 

• 경험에 대한 데이터를 제공
• 거버넌스 구조에 참여
• 양질의 교육을 위한 직접적인 옹호자 역할

There is a growing body of literature advocating and demonstrating the value of learners as active participants in continuous QI; not simply as survey respondents, but in the design, data collection and interpretation of evaluations. Klemencic argues that students possess capital relevant to QI, through their direct experience of learning, teaching, assessment and environment.63 

• By providing data on their experiences, but also
• by participating in governance structures, and
• by acting as direct advocates for a quality education,

...they can contribute significantly to continuous QI.63 

기관 차원에서는 교육을 받은 학생 구성원이 QI 데이터를 생성하고 분석할 수 있는 [학생 평가 위원회]를 설립하여 거버넌스 구조에 대한 학생 참여를 촉진할 수 있습니다. 교수진은 성인 학습 이론, 교수 및 학습 전략, 피드백에 대한 모범 사례에 대한 지식을 공유하면서 멘토와 파트너 역할을 할 수 있습니다. 하버드 의대에서는 QI에 대한 학생 참여가 확대되어 학생 워킹그룹이 '교육과정의 다양성 제고'와 같은 정책 이슈나 우선순위를 다루는 프로젝트를 수행하게 되었다. Fetterman 등은 [권한 부여 평가 이론]을 적용하여 의대생, 교수진 및 관리자를 커리큘럼 평가에 협력자로 참여시켰다. 주요 특징으로는 '증거 문화 개발'과 '학습자 커뮤니티 구축'이 있으며, 여기서 '학습자'라는 표현은 교직원과 행정관에게도 적용된다.

Institutions can facilitate student participation in governance structures by establishing student evaluation committees whose members, with relevant training, can generate and analyse QI data.64 Faculty can act as mentors and partners, sharing knowledge about adult learning theories, teaching and learning strategies, and best practice in feedback.65 At Harvard Medical School, student participation in QI has been extended such that student working groups undertake projects to address policy issues or priorities such as ‘enhancing diversity in the curriculum’.65 Fetterman et al. applied the theory of Empowerment Evaluation to involve medical students, faculty and administrators as collaborators in curriculum evaluation: key features included ‘developing a culture of evidence’ and ‘cultivating a community of learners’, where ‘learners’ also applied to faculty and administrators.66

[지속적 QI]는 (커리큘럼 팀의 감독 및 통합에 의해) 전체적이어야holistic 하지만, [개별 이해관계자 수준]에서 [기여적 QI 활동 또는 프로젝트]를 목표로 할 수 있습니다. 그 대상으로는,

• 특정 이해관계자 그룹의 요구를 식별하는 것(CIPP 모델의 상황) 
  
• 혁신적인 솔루션을 식별하는 것(입력), 
  
• 그런 다음 테스트 및 평가를 수행하는 것(프로세스 및 제품)

[교수 및 학습의 장학활동(SoTL)]에 대한 현재의 관심은 지속적인 QI에 교수진을 참여시킬 수 있는 기회를 제공한다. SOTL는 '탐구 결과를 공개함으로써 교수 관행을 발전시키는 학생 학습에 대한 체계적인 탐구'로 묘사되어 왔다. 그러나 SOTL 조사는 CIPP 모델별로 하나 또는 다른 평가 초점에 적합할 수 있다.
Although continuous QI should be holistic, with oversight and integration from the curriculum team,23 at the level of individual stakeholders, contributory QI activities or projects could be targeted towards

• identifying needs of a specific stakeholder group (‘context’ in the CIPP model58),
• identifying an innovative solution (input),
• then piloting and evaluating it (process and product).

Current interest in scholarship of teaching and learning (SoTL) presents an opportunity to engage faculty in continuous QI.67 SoTL has been described as ‘systematic inquiry into student learning which advances the practice of teaching by making inquiry findings public’,68 but SoTL inquiry could also be well-suited to one or other foci of evaluation, per the CIPP model.58

보다 일반적으로, 퀄리티에 대한 [사전 예방적 임베딩]은 커리큘럼 구성 요소나 자원을 개발하는 데 있어 목표가 되어야 한다. 예를 들어, Huser 등은 [교육과정의 공동창조 개념]을 적용하여 의대생들에게 교육과정을 위한 온라인 자원을 생산하도록 멘토링하였으며, 온라인 자료의 품질에 대한 틀을 적용하는 것이 중요하다고 강조했다.
More generally, proactive embedding of quality should be a target in developing any curricular component or resource. For example, applying the concept of co-creation of the curriculum,23, 69 Huser et al. mentored medical students to produce online resources for the curriculum,70 stressing the importance of applying a framework for quality in online materials.71

권장 사항: 커리큘럼 팀은 감독 및 통합을 제공해야 하지만, 개별 QI 활동과 (예: SoTL) 프로젝트가 전체 QI에 데이터를 기여하도록 장려해야 합니다. 품질은 커리큘럼 구성 요소/리소스를 개발할 때 품질 프레임워크를 적용하여 사전적proactively으로 포함시켜야 한다.
Recommendations: curriculum teams should provide oversight and integration, but encourage individual QI activities and (e.g. SoTL) projects to contribute data to holistic QI. Quality should be embedded proactively, by applying quality frameworks when developing curricular components/resources.

10 결론
10 CONCLUSIONS

특정 커리큘럼 맥락에서 [지속적 QI에 대한 투명성과 공유된 이해]를 달성하기 위해서는 담론이 필요하다. [지속적 QI]를 위해서는 다음이 필요하다. 

• 특정 평가 질문/초점에 맞춘 데이터 수집 방법
  
• 다양한 이해관계자로부터 데이터를 수집하기 위한 다양한 방법
• QI에 대한 프레임워크를 제공하기 위한 적절한 평가 모델 및 이론.

[퀄리티 문화 접근 방식]을 수용하면 이해 당사자들이 경험하는 주인의식이 높아질 수 있습니다. 이 메커니즘은 다음을 포함한다.

• QI에서 여러 이해 관계자가 협력할 수 있는 민주적-조직적 문화 조성 
  
• [전체적-지속적holistic continuous QI]에 기여하는 QI 활동과 (예: SoTL) 프로젝트에 이해당사자를 참여
  
• 커리큘럼 구성 요소 및 리소스의 (공동)창조 영역에 퀄리티를 사전 예방적으로 포함

Discourse is necessary to achieve transparency and a shared understanding of continuous QI in a particular curricular context. Continuous QI requires

• data collection methods aligned to specific evaluation questions/foci;
• multiple methods for data collection, from different stakeholders; and
• appropriate evaluation models and theory to provide a framework for QI.

Embracing a quality culture approach may increase the sense of ownership experienced by stakeholders. Mechanisms include

• creating democratic-collegiate cultures for multiple stakeholders to collaborate in QI;
• engaging stakeholders in QI activities and (e.g. SoTL) projects that contribute to holistic continuous QI; and
• proactively embedding quality in the (co-)creation of curriculum components and resources.

 

 

---

Med Educ. 2022 Aug 11. doi: 10.1111/medu.14912. Online ahead of print.

State of the science: Quality improvement of medical curricula-How should we approach it?

Susan Jamieson 1

Affiliations collapse

Affiliation

1School of Medicine, Dentistry & Nursing, University of Glasgow, Glasgow, UK.

PMID: 35950304

DOI: 10.1111/medu.14912

Abstract

Introduction: Quality improvement (QI) of the medical curriculum is generally regarded as a continuous process of evaluating whether the specific curriculum meets relevant educational and professional standards, implementing new activities or other measures to address perceived deficiencies, and subsequently re-evaluating the quality of the curriculum. QI is of consequence to medical learners, educators, patients, carers, specific disciplines and specialties, regulators and funders.

Methods: To address how we should approach QI of medical curricula, a narrative review was undertaken, drawing mainly on medical/health professions education literature, identified through searches of the MEDLINE, EMBASE, PUBMED and ERIC databases, and also on exemplar curricular frameworks and evaluation reports. Assumptions and practices in QI of medical curricula were explored critically.

Results: The review compares alternative conceptualisations of QI; asks questions about priorities and perspectives in what we choose to evaluate; reflects on standards used to guide QI; critically discusses methods, models and theoretical approaches to the generation of evaluation data; and considers ownership of, and engagement with QI of medical curricula.

Conclusions: Recommendations for curriculum teams include that discourse is necessary to achieve transparency and a shared understanding of continuous QI in a particular curricular context. Continuous QI requires data collection methods aligned to specific evaluation questions/foci; multiple methods for data collection, from different stakeholders; and appropriate evaluation models and theory to provide a framework for QI. Embracing a quality culture approach may increase the sense of ownership experienced by stakeholders. Mechanisms include creating democratic-collegiate cultures for multiple stakeholders to collaborate in QI; engaging stakeholders in QI activities and (e.g. SoTL) projects that contribute to holistic continuous QI; and proactively embedding quality in the (co-)creation of curriculum components and resources.

© 2022 The Author. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.