교육적 퀄리티의 지속적 개선 - 퀄리티 문화 촉진: AMEE Guide No. 147 (Med Teach, 2022)

교육적 퀄리티의 지속적 개선 - 퀄리티 문화 촉진: AMEE Guide No. 147 (Med Teach, 2022)
Continuous enhancement of educational quality – fostering a quality culture: AMEE Guide No. 147
Renee E. Stalmeijer , Jill R. D. Whittingham , Guy W. G. Bendermacher , Ineke H. A. P. Wolfhagen, Diana H. J. M. Dolmans and Carolin Sehlbach

 

서론
Introduction

내부 품질 보증의 목적
Aims of internal quality assurance

[내부 품질 보증(IQA)]은 교육 기관이 교육 품질을 제어, 모니터링, 개선 및 향상시키기 위해 시행하는 일련의 활동과 프로세스로 설명할 수 있다. IQA는 교육 관리와 조직의 일상적인 관행에 필수적일 뿐만 아니라, 조직 내 교육 관행이 표준(즉, 외부 품질 보증)에 부합한다는 인증 기관에 대한 증거를 제공한다. 본 AME 가이드에서는 IQA 실무에 대해 중점적으로 설명합니다.
Internal quality assurance (IQA) can be described as the set of activities and processes implemented by educational organisations to control, monitor, improve and enhance educational quality. IQA is not only essential to the day-to-day practices of educational management and organisation, but also provides evidence towards accrediting bodies that the educational practices within an organisation are up to standard (i.e. external quality assurance). This AMEE Guide specifically focuses on IQA practices.

교육 기관 내에서 IQA의 목적을 논의할 때 많은 다른 개념들이 사용된다. 이러한 개념은 종종 서로 다른 함축적 의미와 정의에 주목하지 않고 상호 교환적으로 사용됩니다.

• IQA의 목적이 품질 관리인 경우, 교육 기관은 교육 프로그램의 결과가 [미리 결정된 표준에 부합하는지 여부]를 확인하려고 한다(Harvey 2004-2021).
• 교육 품질 모니터링은 교육 기관이 제공하는 교육의 [품질을 보장하기 위해 시행하고 있는 절차]를 더 많이 말한다(Harvey 2004-2021).
• 품질 개선은 종종 [어떤 것이 '표준에 부합하는지'(이전에는 특정 표준에 미달했던 곳)]를 확인하기 위해 시행 중인 프로세스를 말합니다(Williams 2016).
• Williams(2016)는 품질 향상이라는 용어가 학생들의 [학습 경험을 증가시키는 의도적이고 지속적인 과정]을 기술한다고 제안한다.

Many different concepts are used when discussing the aims of IQA within educational organisations. These concepts are often used interchangeably without noting different connotations and definitions that are attached to them.

• When the aim of IQA is quality control, educational organisations want to check whether the outcomes of an educational programme are conform predetermined standards (Harvey 2004–2021). 
• Monitoring educational quality refers more to the procedures that an educational organisation has in place to ensure the quality of education provided (Harvey 2004–2021).
• Quality improvement often refers to processes in place to ensure that something is ‘up to standard’ (where it previously was below a certain standard) (Williams 2016).
• Williams (2016) suggests that the term quality enhancement describes the deliberate and continuous process of augmenting students’ learning experiences (QAA 2003).

품질 관리, 모니터링, 개선 및 향상은 모두 IQA의 중요한 목표입니다. 그러나 각 개념에는 고유한 표준과 프로세스가 있습니다. 따라서, 교육 기관은 IQA의 어떤 목표를 향해 노력하고 있는지, 그리고 그러한 목표를 달성하기 위한 올바른 프로세스가 마련되어 있는지 여부를 고려해야 합니다. 

Quality control, monitoring, improvement and enhancement are all important goals of IQA. However, each concept comes with its own standards and processes. Therefore, an educational organisation needs to consider which goals of IQA it is striving towards and whether the right processes are in place to attain them.

선의의 부작용 – 균형 추구
Adverse effects of good intentions – seeking balance

교육 품질의 '관리being in control'와 건전한 IQA 시스템 보유는 인증 기관의 중요한 관심 분야이다(EUA 2009). 그러나 결과적으로 [품질 보증]은 '먹이가 필요한 짐승' 즉 체크 표시가 필요한 관료적 상자의 목록으로 간주될 위험이 있다(Newton 2000). Harvey와 Stensaker(2008)는 품질관리 데이터의 지속적인 생성이 직원 및 학생의 요구와 단절되어 실제로 교육 향상과 향상을 저해한다는 신호를 보냈다. 궁극적으로, 교육의 질 [모니터링]의 중요성을 소홀히 하지 않으면서도, IQA의 핵심에는 [향상enhancement]이 있어야 한다는 Kleijnen et al(2014)의 연구에 참여한 교사들의 목소리처럼, 질 관리 및 개선이 모두 필요하다. 간결성을 위해, 본 가이드는 [모니터링 및 강화monitoring and enhancement]에 대해 설명합니다.

• [모니터링]은 IQA의 [제어 및 모니터링 목표]를 모두 다루고,
• [향상enhancement]은 IQA의 [개선 및 향상 목표]를 모두 다루룰 것이다.

‘Being in control’ of educational quality and having a sound IQA system are important areas of attention for accreditation bodies (EUA 2009). As a consequence, however, quality assurance runs the risk of being considered a ‘beast that requires feeding’: a list of bureaucratic boxes that needs to be ticked (Newton 2000). Harvey and Stensaker (2008) signalled that the continuous generation of quality control data has often been disconnected from staff and students’ needs which actually inhibited educational improvement and enhancement. Ultimately, both quality control and improvement are needed, as also voiced by teachers participating in a study by Kleijnen et al. (2014) who acknowledged that enhancement should be at the core of IQA without neglecting the importance of monitoring educational quality. For brevity purposes, this guide will from here on out speak of monitoring and enhancement where

• monitoring covers both control and monitoring goals, and
• enhancement covers the improvement and enhancement goals of IQA.

양질의 문화 구축
Building a quality culture

유럽 대학 협회(EUA)는 [퀄리티 문화]의 개념을

• '영구적으로 품질을 향상시키려는 조직 문화'이며, 두 가지 뚜렷한 요소로 특징지어진다
  • [문화적/기술적 요소]: 퀄리티에 관한 가치, 신념, 기대 및 헌신
    
  • [구조/관리 요소]: 퀄리티를 향상시키고 개별 노력을 조정하는 것을 목표로 하는 정의된 프로세스

The European University Association (EUA) coined the concept of quality culture as

• ‘an organisational culture that intends to enhance quality permanently and is characterised by two distinct elements:
  • a cultural/psychological element of shared values, beliefs, expectations and commitment concerning quality and
  • a structural/managerial element with defined processes that enhance quality and aim at coordinating individual efforts’ (EUA 2006, p. 10).

퀄리티 문화의 개념은 [IQA 시스템 및 프로세스]뿐만 아니라, 공유된 교육 가치, 유연성, 개방성, 소유의식 및 집단 헌신을 육성하려는 의도를 포착합니다. 퀄리티 문화는 다음에 도움이 된다.

• 개인의 개선 노력을 조정하고,
• 상호 기대를 형성하며,
• 집단 책임을 자극함(EUA 2006).

이러한 요소와 평가 프로그램 간의 시너지를 통해 [지속적인 교육 향상]이 일상적인 교육 실습에 포함되게 됩니다.
The notion of quality culture captures the intention to nurture shared educational values, flexibility, openness, a sense of ownership, and a collective commitment – alongside IQA systems and processes (Sursock 2011; Bendermacher et al. 2020). A quality culture is considered to help

• coordinate individual improvement efforts,
• shape mutual expectations, and
• stimulate a collective responsibility (EUA 2006).

It is through a created synergy between these elements and evaluation programmes that continuous educational enhancement becomes embedded in the everyday teaching practice (Ehlers 2009; Blouin 2019).

이 AMEE 가이드
This AMEE guide

이전의 [가이드 29번]은 [프로그램 평가의 역사]를 살펴보고, 윤리적인 질문을 포함하여 평가 시스템을 설계할 때 물어봐야 하는 다양한 질문 세트를 설명했습니다. Goldie의 제안을 바탕으로 제작된 [67번 가이드]는 [교육 프로그램(과정 수준에서 커리큘럼에 이르기까지)이 변화를 가져왔는지 여부]를 결정하는 데 사용할 수 있는 일반적인 평가 모델의 개요를 제공합니다. 즉, 교육 프로그램의 성과에 초점을 맞추는 것이다.
An earlier AMEE Guide, number 29, (Goldie 2006) looked into the history of programme evaluation and described various sets of questions one needs to ask when designing a system of evaluation, including ethical questions. Guide number 67 (Frye and Hemmer 2012), built on the suggestions by Goldie and provided an overview of common evaluation models which can be used to determine whether an educational programme (ranging from the level of course to curriculum) has brought about change, i.e. focusing on the outcomes of an educational programme.

본 AMEE 가이드는 [퀄리티 문화] 개념을 사용하여, 교육의 IQA에 대한 [포괄적인 접근 방식]을 구축하는 데 초점을 맞추고 있습니다. 우리는 교육 기관이 IQA에 정보를 제공하는 프로세스와 시스템을 최적화하는 동시에 지속적인 교육 퀄리티 향상에 대한 인식과 헌신을 촉진하기 위해 사용할 수 있는 관행(그림 1 참조)을 설명한다. 다음 단락에서는 보건전문교육 분야의 사례를 활용하여 보건전문교육의 질 높은 문화발전이 어떻게 육성될 수 있는지 설명하고자 한다. 우리가 설명하는 관행은 본질적으로 위계적이지 않으며, 그것들을 사용하는 과정에 실질적인 선형성이 없다는 것에 주목하는 것이 중요하다. 조직의 퀄리티 문화를 정의하고 창조하려면, [모든 측면에 동시]에 주의를 기울여야 합니다.

This AMEE Guide focuses on building a comprehensive approach to IQA of education by using the concept of quality culture (EUA 2006; Ehlers 2009; Blouin 2019). We describe practices (see Figure 1) that educational organisations can use to optimise the processes and systems informing IQA while simultaneously fostering the awareness of and commitment to continuous enhancement of educational quality (Bendermacher et al. 2017). Throughout the following paragraphs, we will use cases from the field of health professions education, to illustrate how quality culture development in health professions education can be nurtured. It is important to note that the practices we describe are not hierarchical in nature and that there is no real linearity to the process of employing them. Defining and creating an organisational quality culture requires simultaneous attention to all aspects.

 

우리의 관점 – 반사성
Our perspective – reflexivity

이 가이드는 '태스크포스 프로그램 평가'라는 제목의 마스트리히트 대학교 보건의학과 생명과학부(FHML)의 IQA 전문가 그룹의 관점에서 작성되었습니다. Task Force는 관련 이해 관계자들과 협력하여 FHML 내의 모든 교육 프로그램의 교육 품질을 모니터링하고 향상시킬 책임이 있습니다. 이 책임은 다음과 같이 수행됩니다.

• (1) 표준화된 기기를 통해 유효하고 신뢰할 수 있는 데이터 수집을 보장
  
• (2) 양적 및 질적 연구 방법론의 혼합을 통해 교육의 질에 대한 심층 연구를 수행
  
• (3) 관련 이해 관계자에게 교육 품질 보증에 대한 교수진 개발 제공
  
• (4) FHML 내에서 프로그램의 지속적인 품질 향상을 위한 대화를 자극

This guide is written from the perspective of an expert group on IQA at Maastricht University, Faculty of Health Medicine and Life Sciences (FHML) entitled ‘task force programme evaluation’. The task force is, in collaboration with relevant stakeholders, responsible for monitoring and enhancing educational quality of all educational programmes within FHML. This responsibility is executed by

• (1) ensuring valid and reliable data collection through standardized instruments,
• (2) executing in-depth studies on educational quality through a mix of quantitative and qualitative research methodologies,
• (3) providing faculty development on educational quality assurance to relevant stakeholders, and
• (4) stimulating a dialogue towards continuous quality enhancement of the programmes within FHML.

본 AMEE 가이드의 저자들은 모두 보건전문교육대학원 소속 연구원으로 교육과학(RS, IW, DD), 교육심리학(JW), 보건과학(CS), 정책 및 관리(GB) 분야에서 경력을 가지고 있다. 또한 저자(GB) 중 한 명은 [퀄리티 문화]의 개념을 전문적으로 다루는 정책 자문위원으로 그의 연구를 통해 질문화의 개념을 더욱 탐구했다. 우리는 모든 보건 전문 교육 학교가 유사한 전담팀을 고용하는 것은 아니며 때로는 프로그램 평가의 과제가 한 개인의 어깨에 달려 있을 수 있다는 것을 알고 있다. 그럼에도 불구하고, 우리는 우리의 경험, 연구 및 통찰력이 교육 품질 보증에 관련된 모든 사람에게 필요한 지침과 지원을 제공하기를 바란다.

The authors of this AMEE Guide are all researchers within the School of Health Professions Education and have backgrounds in educational sciences (RS, IW, DD), educational psychology (JW), health sciences (CS), and policy and management (GB). In addition, one of the authors (GB) is a policy advisor who specializes specifically in the concept of quality culture and, through his research, has further explored the concept of quality culture. We are aware that not all health professions education schools employ similar task forces and that sometimes the task of programme evaluation may rest on the shoulders of a single individual. Nevertheless, we hope that our experiences, research and insights provide the necessary guidance and support to anyone involved in educational quality assurance.

퀄리티 문화 육성 – 우리는 무엇을 위해 노력하고 있는가?
Fostering a quality culture – what are we striving for?

기본 목표 및 가치 논의 및 결정
Discuss and determine underlying goals and values

퀄리티란 무엇인가?
What is quality?

IQA가 어떤 목표를 가지고 있는지 고려할 때, 해결해야 할 중요한 질문은 '우리가 품질을 말할 때 무엇을 의미하느냐'이다.; 종종 잊혀지는 것은 퀄리티는 보는 사람의 눈에 달려 있다는 것이다. 이로 인해 '퀄리티란 무엇인가'라는 질문에 대해 한 조직 내에서 여러 이해 관계자가 서로 다른 개념을 갖게 될 수 있습니다. 하비와 그린(1993)은 품질에 대한 다섯 가지 다른 개념을 정의하였다: 우수성, 완벽성/우수성, 목적에 맞는 가치, 비용 대비 가치, 혁신. excellence, perfection/consistency, fit-for-purpose, value for money, and transformation

When considering what goals IQA has, an important question to address is ‘what do we mean when we say quality?’; what is often forgotten is that quality lies in the eye of the beholder. This may result in multiple stakeholders within a single organisation having different conceptions when it come to the question ‘what is quality?’. In their seminal work Defining Quality, Harvey and Green (1993) discerned five different conceptions of quality:

• excellence,
• perfection/consistency,
• fit-for-purpose,
• value for money, and
• transformation.

질을 ['목적 적합']을 위해 노력하는 것으로 보는 것은, 예를 들어, 교육 목표를 달성하고 졸업생들이 일정한 기준을 통과하도록 보장하는 것을 필요로 한다. 그러나, IQA는 [변혁]의 관점에서 학생들에게 어느 정도 '가치가 추가되었는가'와 학생들에게 권한이 부여되었는지empowered를 판단하기 위해 노력할 것이다. 본 AME 가이드의 범위 밖에서는 각 정의에 대해 자세히 설명하지만, 독자들은 이러한 품질 개념을 숙지할 것을 권장합니다. 이러한 개념에 익숙해지면 교육 기관 내의 이해관계자들이 어떤 정의를 중시하고 그 전경을 논할 수 있는 어휘를 제공할 것이다. 

Seeing quality as striving for ‘fit-for-purpose’ requires, for example, ensuring that educational goals are attained and that graduates pass a certain standard. Through the lens of quality as transformation, however, IQA would be striving to determine to what extent ‘value has been added’ to the student and that students have been empowered. Although it is outside of the scope of this AMEE Guide to go into depth on each definition, we encourage readers to familiarise themselves with these conceptions of quality. Familiarity with these conceptions will provide a vocabulary through which stakeholders within an educational organisation can discuss which definition(s) they value and foreground.

우리는 교육 기관들은 [늘 서로 다른 유형의 품질을 동시에 달성하는 것을 목표로 할 것]이라고 믿는다. 교육 기관의 순위를 보장하는 것과 비교하여 프로그램의 재정finances이 제대로 되어 있는지 생각해 보십시오. 따라서, 우리는 독자들이 퀄리티에 대해 그들 자신의 조직에 있는 관련 이해 관계자들과 토론할 것을 강력히 권고한다. 왜냐하면, 조직 내에서 IQA의 목표를 정의하는 것과 마찬가지로, 어떤 품질 개념을 가지고 있는지는 다음에 대한 방향과 지침을 제공할 것이기 때문이다.

• IQA를 위한 도구와 절차를 설계하는 방법
• 어떤 이해 당사자가 참여해야 하는지
• 품질 문화를 형성하는 방법

We believe that educational organisations will always be aiming to attain different types of quality simultaneously. Imagine ensuring that the finances of a programme are in order versus ensuring the ranking of an educational organisation. Therefore, we strongly advise readers to discuss with relevant stakeholders in their own organisation what quality means to them. Because, just like defining the aims of IQA within your organisation, the conception(s) of quality that are held will provide direction and guidance on

• how to design instruments and procedures for IQA,
• which stakeholders to involve and
• how to shape a quality culture.

[IQA의 목표와 퀄리티의 개념에 대한 인식의 불일치]는 생산적인 품질 문화를 구축하는 과정을 방해할 수 있다. 왜냐하면, [퀄리티]를 [목적적합성에 따라 inform하는 과정]은 [퀄리티]를 [변혁에 따라 inform하는 과정]과 다르기 때문이다.
Misalignment in perceptions about goals of IQA and conceptions of quality may thwart the process of building a fruitful quality culture as the processes that inform quality as fit-for-purpose are different to those informing quality as transformation.

어떤 양질의 문화?
Which quality culture?

퀄리티 문화는 기관이 처음부터 개발해야 하는 것도 아니며, '이상적인' 퀄리티 문화도 없다는 것을 깨닫는 것이 중요하다.즉, 각 기관은 [이미] 외부의 발전에 어떻게 반응하는지를 결정하고, 내부적인 협력을 촉진하기 위해 노력하는 특정한 종류의 퀄리티 문화를 보유하고 있다. 또한 퀄리티 문화는 품질 관리를 다루는 조직의 [맥락과 발전 단계]에 의해 영향을 받습니다. 예를 들어,

• IQA 시스템을 설정하는 초기 단계에 있는 교육 기관은 우선 교육 품질을 모니터링하고 제어하는 데 집중함으로써(즉, 절차와 표준을 설치 또는 미세 조정하는 것) 가장 큰 이익을 얻을 수 있다.
• 최소 기준이 충족되는지 여부를 모니터링하는 강력한 시스템을 이미 구축한 조직은 조직의 환경 변화에 대처하는 동시에 지속적인 개선으로 초점을 전환할 수 있습니다.

It is important to realise that a quality culture is not something that institutions have to develop from scratch and also that there is no such thing as ‘the ideal’ quality culture. That is, each institution already possesses a certain kind of quality culture which determines how that institution reacts to external developments, and attempts to foster internal collaborations (Bendermacher 2021). Moreover, a quality culture is influenced by the organisation’s context and its developmental phase in dealing with quality management (Harvey and Stensaker 2008). For instance,

• educational organisations who are in the early stages of setting-up their IQA system would probably benefit most from first focusing on monitoring and controlling educational quality (i.e. to install or fine-tune procedures and standards).
• Those organisations who already have established a robust system which monitors whether minimum criteria are met, can shift their focus towards continuous enhancement while addressing changes in the organisation’s environment.

조직 문화 평가 지수(상자 1 참조)에 대한 논의와 같은 성찰 연습은 이해 관계자가 자신의 핵심 가치를 공개하는 데 도움이 될 수 있습니다. 이 논의는 이러한 가치와 조직 절차 간의 더 나은 조정으로 이어지는 전략과 솔루션을 형성하는 데 도움이 될 수 있습니다. 이러한 성찰과 대화는 또한 강조를 '일이 잘 되어가고 있는가'에서 '옳은 일이 되어가고 있는가'로 바꾸는 데 도움이 될 수 있다(Cartwright 2007).
Reflection exercises like discussing the Organisational Culture Assessment Index (see Box 1) can aid stakeholders to disclose their core values. This discussion can help shape strategies and solutions that lead to a better alignment between these values and organisational procedures (Berings and Grieten 2012). Such reflections and dialogues can also help to alter the emphasis from ‘whether things are being done well’, to ‘whether the right things are being done’ (Cartwright 2007).

품질 문화 구축 – 구조 및 관리 구성요소
Building a quality culture – structural & managerial components

[정기적인 데이터 유입] 없이는 IQA 시스템이 존재할 수 없다. 이것은 IQA의 목표를 해결하는 데 도움이 되고, 이해 당사자들이 프로그램의 품질을 모니터링하고 향상시킬 수 있도록 정보를 제공한다. 이 제도가 품질문화 강화에 기여할 수 있도록 하기 위해서는 다음과 같은 측면을 고려할 필요가 있다:

• 도구의 설계와 삼각 측량, 
• 이해관계자의 참여, 
• IQA의 사이클릭한 특성.

No system of IQA can exist without a regular influx of data that helps to address the goals of IQA and provides input for stakeholders to monitor and enhance the programme’s quality. To ensure that this system contributes to strengthening the quality culture, the following aspects need to be considered:

• the design and triangulation of instruments,
• involvement of stakeholders, and
• the cyclical nature of IQA.

도구의 설계 및 삼각 측량
Design & triangulation of instruments

설계에 교육 원리 포함
Incorporating educational principles in design

IQA는 교육 활동이나 과정과 같은 [커리큘럼을 구성하는 핵심 구성 요소]에 맞춰져야 하며, 학습과 교육에 대한 [이론과 문헌에 확고하게 기반]을 둔 평가 도구를 구축해야 한다. 즉, 평가 도구의 항목은 문헌이 교육 프로그램의 질을 결정하는 것으로부터 파생되어야 한다. IQA 도구의 설계가 이러한 [교육 원리]에 기초하는 경우, 이는 서로 다른 이해관계자가 실행할 수 있는 데이터 수집 결과의 가능성을 증대시킬 것이다. [교육 원리]는 [교육 프로그램이 효과적인 방법과 이유에 대한 사고 방식]으로 정의될 수 있다(그림 2). 평가하려는 교육 과정이나 프로그램의 성격에 따라 여러 교육 원칙이 적용될 수 있습니다. Box 2에서는 두 가지 예를 제공합니다.

• (1) 문제 기반 학습을 평가하기 위한 구성주의 학습의 원칙, 그리고 
  
• (2) 임상 교육을 평가하기 위한 인지적 견습.

IQA should be geared towards the key components that make up a curriculum, such as educational activities or courses, and should build evaluation instruments firmly grounded in theories and the literature on learning and teaching (Frick et al. 2010). In other words, the items of an evaluation instrument must be derived from what the literature has shown determines the quality of an educational programme. If the design of IQA instruments is based on these educational principles, this will augment the chances of outcomes of data collection being actionable by the different stakeholders (Bowden and Marton 1999; Dolmans et al. 2011). Educational principles can be defined as a way of thinking about how and why an educational program is effective (Figure 2). Depending on the nature of the curriculum or the programme you want to evaluate, multiple educational principles might apply. In Box 2, we provide two examples (1) principles of constructivist learning to evaluate problem-based learning, and (2) cognitive apprenticeship to evaluate clinical teaching.

도구를 설계할 때 [교육 원리]가 중요하다는 사실 외에도, 교육이 고도로 [맥락 특이적]이라는 사실, 즉 이론적 원칙에 기초했을 때, 무엇이 제대로 작동할 것인지는, 맥락적 차이뿐만 아니라 특정 목적과 대상 그룹에 따라 다를 수 있다는 사실도 고려해야 한다. 결과적으로, 가급적 이론적 지침에 기초한 도구의 설계는 여전히 [커스터마이제이션의 문제]로 남아 있다. 목표와 기기가 사용되는 상황에 따라 기기를 지속적으로 조정하고 조정하는 것이 중요합니다.

In addition to the fact that educational principles are important to keep in mind when designing an instrument, it is essential to also consider the fact that education is highly context-specific, i.e. what might work, based on theoretical principles, might differ dependent on the particular aims and target groups as well as contextual differences (Hodges et al. 2009; Kikukawa et al. 2017). As a consequence, the design of instruments, which is preferably based on theoretical guidelines, remains a matter of customisation. It is important to continuously adapt and align your instruments, depending on what your aims are and the context in which the instruments are being used.

  

도구의 삼각 측량
Triangulation of instruments

[IQA의 목적]에 따라 [평가하려는 프로그램의 측면]과 [입력이 필요한 이해 관계자의 도구 설계 요구 사항]이 변경됩니다.

• 주된 목적이 [책무성 목적]을 위해 [품질을 통제하고 모니터링하는 것]이라면, 대다수의 모집단에서 표준화된 요인 집합에 대해 [타당하고 신뢰할 수 있는 데이터를 수집하는 것]이 우선된다. 이 목표는 데이터 수집에 대한 [정량적 접근법]을 보장한다.
• 교육의 [질 개선과 향상]에 초점을 맞출 때, 필요한 정보는 본질적으로 [풍부하고 기술적]이며, 보다 [정성적]이어야 하며, 이를 통해 교육을 개선하고 향상시키는 방법에 대한 명확하고 구체적인 의견을 찾을 수 있어야 한다. 교육의 질이 다차원적이고 학습환경이 복잡하기 때문에 이를 측정하기 위해서는 [양적 방법과 질적 방법을 병행]하는 것이 좋다. 설문지, 인터뷰, 강의실 관찰, 문서 분석 및 포커스 그룹이 모두 일반적으로 사용됩니다. 

Depending on the aims of IQA, the aspects of the programme you are trying to evaluate and the stakeholders whose input you need, requirements for instrument design change.

• When the primary aim is to control and monitor quality for accountability purposes, collecting valid and reliable data for a standardised set of factors from the majority of the population takes precedent (Dolmans et al. 2011). This goal warrants a quantitative approach to data collection.
• When the focus is on the improving and enhancing of educational quality, the information that is needed should be rich, descriptive and more qualitative in nature so that clear and specific input can be found on how to improve and enhance education. Since educational quality is multidimensional and learning environments are complex, it is recommended to combine both quantitative and qualitative methods to measure it (Cashin 1999). Questionnaires, interviews, classroom observations, document analysis and focus groups are all commonly used (Braskamp and Ory 1994; Seldin 1999).

예를 들어, 먼저 대규모 정량적 학생 설문지를 관리하여 과정의 전반적인 강점과 약점을 파악할 수 있습니다. 그런 다음 후속 질적 초점 그룹은 이러한 데이터에 대해 자세히 설명하고 더 명확한 관점에 배치할 수 있다. 품질 문화를 구축하려면 교육 프로그램의 품질에 대한 전체적인 개요를 제공하고 모니터링 또는 개선 목적에 정보를 제공할 수 있는 데이터를 수집하기 위해 다양한 도구와 절차의 삼각측량이 필요하다.
For instance, one could first evaluate a course by administering a large-scale quantitative student questionnaire to bring into focus the course’s overall strengths and weaknesses. Subsequent qualitative focus groups can then elaborate on these data and place them in a clearer perspective. Building a quality culture requires triangulation of different instruments and procedures to provide a holistic overview of the quality of an educational programme and to collect data that may inform either monitoring or enhancement purposes.

모든 관련 이해관계자 참여
Involving all relevant stakeholders

이해당사자
Identifying stakeholders

지속적인 품질 향상 시스템을 설계할 때 다양한 이해 관계자가 참여해야 합니다. '퀄리티는 보는 사람의 눈에 달려 있다'는 것과 평가가 이루어지는 맥락을 고려해야 하기 때문에, 각 이해관계자는 전체적인 평가 프로그램을 제공하기 위해 교육적 질에 대한 자신의 관점을 추가하도록 초대되어야 한다. 이해 관계자를 식별하기 위해 다음과 같은 질문을 고려할 수 있다.

• '이 교육의 수혜자는 누구인가?' 
  
• '누가 이 교육을 가르치고 관리하는 데 관여하고 있는가?' 
  
• 누가 이 교육의 효과를 판단할 수 있습니까? 

When designing a system of continuous quality enhancement various stakeholders need to be involved. Since ‘quality is in the eye of the beholder’ and we need to consider the context in which evaluations take place, each stakeholder should be invited to add their perspective on educational quality to render a holistic programme of evaluation (Harvey and Stensaker 2008). To identify stakeholders one may consider questions like

• ‘Who are the recipients of this education?’
• ‘Who are involved in teaching and managing this education?’
• ‘Who can judge the effectiveness of this education?’.

일단 관련 이해당사자가 확인되면,

• 그들이 어떻게 그리고 어떤 도구를 통해 관여할 수 있고,
• 어떤 측면과 교육 수준을 가장 잘 평가할 수 있는지에 대한 문제가 발생하고,
• 이어서 그들을 참여시키고 접근하는 최적의 타이밍에 대한 질문이 뒤따른다.

Once relevant stakeholders are identified, the question arises of

• how and through which instruments they can be involved,
• what aspects and level of education they can best evaluate,
• followed by the question of best timing of involving them and approaching them.

맥락과 시기에 따라, 각 이해당사자는 교육의 질을 높이는 과정에서 제공할 수 있는 기여뿐만 아니라 자신의 [위치적situated 지식]과 [실제 경험]을 가질 수 있다. 이러한 모든 질문은 적절한 개입이 제도, 인증 또는 심지어 문화적 표준에 따라 다른 형태를 취할 수 있으므로 이해관계자가 관여할 지역적 맥락에 비추어 고려할 필요가 있다.
Depending on context and timing, each stakeholder might have their own situated knowledge and lived experience as well as contribution to offer in the process of enhancing educational quality (Kikukawa et al. 2021). All these questions need to be considered within the light of the local context in which stakeholders will be involved as appropriate involvement may take different shapes depending on institutional, accreditation or even cultural standards.

주요 이해관계자 참여
Involving key stakeholders

[학생]들은 교육의 소비자로서 QA 과정에 중요한 이해관계가 있다고 여겨지기 때문에 전통적으로 과정 평가를 받아왔다. '경험이 풍부한 전문가'로서 과정, 워크샵 또는 교사 성과와 같은 개별 [교육 기관에 대한 상세하고 자세한 정보를 제공]할 수 있습니다. 이 데이터는 검증된 설문지를 통해 양적으로 그리고 인터뷰와 포커스 그룹을 통해 질적으로 수집될 수 있다. 서로 다른 데이터(숫자와 서술, 일반적이고 구체적)가 생성될 수 있지만, 전체적으로 학생들의 관점을 포함하면 [커리큘럼이 설계된 방식]과 비교해서 [커리큘럼이 실제로 실행되는 방식]에 대한 통찰력을 제공할 수 있다. 여기에는 인식된 강점과 개선점을 포함한다. 양질의 문화를 강화하기 위해 학생들은 [교육과 제도적 의사결정에 참여]할 수 있다.

Students have traditionally been subjected to course evaluations, for, as the consumers of education, they are considered to have a crucial stake in the QA process (Coates 2005; Marsh 2007). As ‘experienced experts’, they can provide detailed, information on distinct educational entities such as a course, workshop or teachers’ performance. This data can be collected both quantitatively through validated questionnaires and qualitatively through interviews and focus groups. Although different data might be generated (numeric and narrative, generic and specific), as a whole, involving students’ perspectives can provide insight into the way the curriculum is put into practice compared to how it has been designed, including perceived strong points and points for improvement. To strengthen a quality culture students can also be involved in education and institutional decision-making.

• 예를 들어, 그들은 학생 평가 위원회(SEC)에서 활동하거나 학생 대표로서 관리 기관의 교수진 및 프로그램 조정자와 함께 일할 수 있다. 이러한 학생들은 종종 이미 콘텐츠 전문 지식을 얻고, 교수진과 공유 언어를 개발하며, 잠재적인 권력 관계를 극복하는 방법을 배웠다. 

• They can, for instance, serve on a student evaluation committee (SEC) (Stalmeijer et al. 2016) or, as student representatives, join faculty and programme coordinators on management bodies (Elassy 2013; Healey et al. 2016). These students often already have gained content expertise, developed a shared language with faculty, and learned how to overcome potential power relations.

교육 관행에 관한 [설계, 구현 및 의사 결정]에 있어 학생들의 보다 신중한 참여를 향한 강한 움직임이 있다. 이는 디자인 기반 연구, 참여형 디자인, 공동 창작, 공동 디자인, 학생 목소리, 학생-직원 파트너십, 변화 주체로서의 학생, 학생 참여 및 학생 권한 부여와 같은 다양한 학생 참여 접근 방식에 반영됩니다. 교육(디자인) 과정에 학생들의 적극적인 참여를 강화함으로써 [교직원과 학생 모두의 교수와 학습을 동시에 개선]하는 것이 목적이다. 이러한 접근 방식은 단순히 학생들의 목소리에 귀를 기울이는 것을 넘어 학생들이 교사 및 교육 관리와 적극적으로 협력할 수 있도록 하는 데 초점을 맞추고 있다는 점을 강조하는 것이 중요하다. 이러한 접근 방식을 통해 학생과 교직원은 파트너십을 형성하고, 공동 창작 및 (재)디자인 교육을 할 수 있습니다.

There is a strong movement towards more deliberate involvement of students in the design, implementation and decision making regarding educational practices (e.g. Bovill et al. 2016). This is reflected in different, approaches to student participation like design-based research, participatory design, co-creation, co-design, student voice, student–staff partnership, students as change agents, student engagement, and student empowerment (Seale 2009; Anderson and Shattuck 2012; Bovill et al. 2016). By intensifying the active engagement of students in the educational (design) processes, the aim is to simultaneously improve teaching and learning of both faculty and students (Bovill et al. 2016). It is important to stress that this approach goes beyond just listening to student voices; the focus is on empowering students to actively collaborate with teachers and educational management (Bovill et al. 2011). Through this approach students and staff can form partnerships, co-create, and (re-)design education (Martens et al. 2019; 2020).

학생들의 입력만이 통찰력이 있을 수 있는 것이 아니라, 평가 과정에 [교직원]을 초대하는 것은 실제 teaching 및 조직적인 측면에 대한 훌륭한 통찰력을 줄 수 있고, 동시에 buy-in와 헌신을 증가시킬 수 있다. 교직원은 대부분 과정과 훈련 프로그램을 개선하기 위한 평가 데이터의 사용자이지만, 평가 응답자가 되어 IQA에 기여할 수도 있다. 또한 교육 활동 중 또는 교육 활동 종료 시 관찰된 헛점pitfalls이나 조직 과제를 평가하기 위해 teaching staff를 구조적으로 포함할 수 있다.

• 예를 들어, PBL 사례 평가에 PBL 튜터, 교육 활동의 정렬에 대한 강의 및 워크샵 제공자 또는 프로그램 평가에서 자신의 역할을 수행하는 멘토를 참여시키는 것을 고려하십시오(박스 3 참조).

[메타 수준]에서, 교수진은 또한 프로그램 평가 절차의 평가에 참여할 수 있다. 코스 코디네이터의 성과에 대한 공식적인 평가 데이터가 없음을 고려하여, 과목 책임교수course coordinators는 피드백 대화와 성찰 또는 보고 세션에 참여할 수 있도록 교직원들을 적극적으로 초대할 수 있다. 또한, 교육 인력이 (일부) IQA 접근 방식을 공동 설계할 수 있도록 권한을 부여함으로써, 이러한 관행과 필요한 후속 조치에 대한 교사들의 참여가 더욱 증가할 수 있다(Bendermacher 2021).

Not only students’ input can be insightful, inviting faculty into the evaluation process can give great insight into practical teaching and organizational aspects and simultaneously increase buy-in and commitment. While faculty is mostly the user of evaluation data to improve courses and training programmes, they can also become evaluation respondents and thereby contribute to IQA. Teaching staff could also be included structurally during or at the end of an educational activity to evaluate observed pitfalls or organizational challenges.

• As an example, consider involving PBL tutors in the evaluation of PBL cases, lectures and workshop providers on the alignment of their educational activities, or mentors in fulfilling their roles in programmatic assessment (see Box 3).

On a meta-level, faculty can also be engaged in the evaluation of programme-evaluation procedures. Considering the absence of formal evaluation data for course coordinators’ performance, course coordinators could actively invite faculty to engage in feedback dialogues and reflection or debriefing sessions. Moreover, by empowering teaching staff to co-design (part of the) IQA approaches, their involvement in these practices and their required follow-up might be further increased (Bendermacher 2021).

 

학생들의 [미래 고용주]는 또한 IQA의 중요한 이해당사자이다.

• 직업 현장의 대표들은 졸업생들에 대해 어떻게 생각하는가? 
  
• 취업 현장에 참여하는 학생들은 필요한 기술, 지식 및 태도를 잘 준비하고 갖추고 있는가? 
  
• 교육과정이 노동력의 요구를 반영하고 있는가? 

고용주는 새로운 커리큘럼을 설계할 때 대화나 설문지를 통해 임시로 상담받거나 인턴십, 커리큘럼 또는 동문 평가 동안 학생들의 성과를 논의하기 위해 더 정기적으로 상담받을 수 있다.
The future employers of students are also important stakeholders in IQA:

• how do representatives from the work field feel about the graduates?
• Are students joining the work field well-prepared and equipped with the required skills, knowledge and attitudes?
• Does the curriculum reflect the needs of the workforce?

Employers could be consulted ad-hoc in dialogue or through questionnaires when designing a new curriculum or on a more regular basis to discuss students’ performance during internships or curriculum or alumni evaluations.

[동문]들은 평가 설문지를 통해 [프로그램에서 놓친 영역]과 [가르치고 훈련한 역량이 자신의 경력(선택)에 어느 정도 도움이 되었는지]에 대한 귀중한 정보를 제공할 수 있다. 이는 교육과정 재설계에 직면할 때 특히 통찰력이 있을 수 있으며, 이는 구조적인 차원에서 동문들의 참여가 필요하지 않음을 나타낸다.
Alumni can provide valuable information through evaluation questionnaires about areas they missed in the programme and the extent to which the competences taught and trained have helped them in their career(choice). This can be particularly insightful when facing a curriculum redesign, indicating that involvement of alumni is not required on a structural level.

이와 유사한 맥락에서, [고객이나 환자]는 학생들의 현장진출 준비성이나 교육의 질 향상에 대해 그들의 관점에서 조명할 수 있다(Romme et al. 2020). 이것은 교육을 설계하는 맥락일 수 있지만, 모의 환경이나 임상 순환 중에 학생들의 성과에 대한 피드백을 초대하는 것을 통해서도 가능하다. 그러나 이를 위해서는 검증된 설문지의 개발과 사용, 전력 역학에 대한 인식 및 성과 평가 제공과 관련된 개별 환자 선호도에 대한 존중이 필요하다.
In a similar vein, clients or patients can shed light on students’ preparedness to enter the field or on educational quality improvement from their perspective (Romme et al. 2020). This can either be in the context of designing education but also through inviting their feedback on student’s performance in a simulated setting or during clinical rotations. This, however, requires the development and use of validated questionnaires, awareness of power dynamics and respect for individual patient preferences concerning the provision of performance evaluation (Sehlbach et al. 2020).

 

체계적이고 구조적이며 통합된 IQA에 대한 주기적인 접근 방식
A cyclical approach to IQA – systematic, structural and integrated

IQA 관행에 의해 생성된 데이터가 지속적인 교육 품질 향상으로 이어지도록 하기 위해, IQA는 (1) 체계적이고 (2) 구조적이며 (3) 통합적인 실천으로 특징지어지는 [주기적 과정]을 필요로 한다(그림 3).
To ensure that data generated by IQA practices results in continuous improvement of educational quality, IQA requires a cyclic process characterised by practices that are (1) systematic, (2) structural and (3) integrated (Dolmans et al. 2003) (Figure 3).

[체계적]이라는 것은 커리큘럼의 [모든 중요한 교육 설계 요소]가 [다양한 평가 도구와 절차]에 의해 다루어지고 포괄된다는 것을 의미한다. 체계적인 것은 이해관계자의 참여에도 적용된다. 예를 들어, PBL 커리큘럼을 평가하려면 강의, 실습, 튜토리얼 그룹 미팅, PBL 튜터의 질, 평가의 질, 학생들의 수행 등 각 과정의 다양한 측면에 대한 정보가 필요합니다. 이 정보는 학생, 강사, 교사, PBL 튜터, 코스 코디네이터와 같은 과정에 관련된 이해 관계자에 의해 제공되어야 합니다.
Systematic implies that all important educational design elements of a curriculum are addressed and covered by a variety of evaluation instruments and procedures (Dolmans et al. 2003). Systematic also applies to the involvement of stakeholders. For example, evaluating a PBL curriculum requires information about various aspects of each course: lectures, practicals, tutorial group meetings, the quality of PBL tutors, the quality of the assessment and performance of students. This information should be provided by the stakeholders involved in the course: students, lecturers, teachers, PBL tutors, course coordinators.

[구조적]이라는 것은 정기적인 간격의 주기적 평가의 중요성을 지적한다(Dolmans et al. 2003). 이러한 간격의 빈도는 평가되는 측면의 중요도에 따라 결정해야 한다(그림 3). 예를 들어, 2학년이 지난 후 과정의 질이 안정되었다면, 평가 피로를 피하기 위해 2년에 한 번만 프로그램의 일부를 심층적으로 평가하기로 결정할 수 있다. 이러한 관행이 명확하고 합의된 것이 중요하다. 정책 문서를 통해서 다음을 전달해야 한다.

• 활동 유형(예: 설문지, 포커스 그룹 등), 
  
• 활동 목적(예: 모니터 대 강화) 
  
• 활동 빈도(예: 정기적인 간격, 임시 평가 회피) 
  
• 커리큘럼 수준(예: 과정 수준 대 커리큘럼 수준) 및 
  
• IQA와 관련된 관련 이해관계자(예: 책임자)

Structural points to the importance of periodic evaluation at regular intervals (Dolmans et al. 2003). Frequency of these intervals should be determined based on the importance of the aspect being evaluated (Figure 3). For instance, if after two academic years the course quality has stabilised, one may decide to evaluate parts of the programme in depth only once in 2 years to avoid evaluation fatigue (Svinicki and Marilla 2001). It is important that these practices are clear and agreed upon. Policy documents should communicate the

• different activities (e.g. questionnaire, focus groups etc.),
• purposes (e.g. monitor versus enhance), frequency
• of activities (e.g. regular intervals, avoid ad-hoc evaluations),
• levels of curriculum (e.g. course level versus curriculum level) and
• relevant stakeholders (e.g. responsibilities) involved in IQA.

마지막으로, IQA 관행은 [통합적]이어야 해야 하며, 이는 관련 이해 관계자가 교육 품질을 모니터링하고 향상시키는 데 있어 [자신의 책임을 인식하고 구체화한다는 것]을 의미한다. 교육 기관은 IQA 프로세스에 발언권을 부여함으로써 이해관계자의 적극적인 참여를 가능하게 해야 한다. 또한 조직은 [개선 계획]이 [개발, 구현 및 평가]되고, 이 [프로세스가 정기적으로 투명하게 논의되는지 확인]해야 합니다. 전반적으로, IQA 활동이 [조직의 정규 업무 패턴에 통합]될 때, 이는 지속적인 주기적 과정과 지속적인 교육 품질 향상에 기여할 것이다.
Finally, IQA practices should be integrated, meaning that relevant stakeholders are aware of and give shape to their responsibilities within monitoring and enhancing educational quality (Dolmans et al. 2003). Educational organisations should enable active involvement of stakeholders by giving them a voice in the IQA process. Furthermore, organisations need to ensure that improvement plans are developed, implemented and evaluated, and that this process is discussed regularly and transparently. Overall, when IQA activities are integrated in the organisation's regular work patterns, this will contribute to a continuous cyclical process and continuous enhancement of educational quality.

양질의 문화 구축 – 문화적, 심리적 요소
Building a quality culture – cultural & psychological components

IQA 목적을 위해 수집된 데이터가 모든 이해 관계자가 지속적으로 교육의 질을 향상시키겠다는 약속을 인식하고 느끼는 퀄리티 문화에 확실히 반영되기를 원한다면, 몇 가지 요소에 대한 관심이 필요하다.

• 성찰과 대화를 자극하는 것
• 교수개발과 실천공동체를 가능하게 하여 이해 관계자를 지원하는 것
• 퀄리티 문화를 육성하는 리더십

If we want to ensure that the data collected for IQA purposes will indeed feed into a quality culture in which all stakeholders are aware of and feel commitment towards continuously enhancing educational quality, several components require attention:

• the extent to which reflection and dialogue are stimulated,
• supporting stakeholders through faculty development and enabling communities of practice, and
• leadership that fosters a quality culture.

교육의 질에 대한 성찰과 대화의 자극
Stimulating reflection and dialogue regarding educational quality

성찰 자극
Stimulating reflection

[교육의 퀄리티에 관한 데이터를 갖는 것]이 [자동적으로 교육의 질 향상]으로 이어지지는 않는다. 이론적인 원칙에 입각한 평가 설계를 바탕으로 이론적으로 근거가 있는 풍부한 데이터가 생성되지만, 상황별적이고 보다 실행 가능한 연구도 해당 데이터의 수신자가 교육 품질을 향상시키는 활동으로 데이터를 번역하는 데 도움이 필요할 수 있음을 보여줍니다. 종이와 행동 사이에는 긴 길이 있을 수 있다. 데이터를 행동으로 변환하는 것은 다른 방식으로 자극될 수 있다. [대조적인 평가 데이터]를 제공함으로써 조치를 취할 수 있다.

• 예를 들어, 과정의 평가 결과를 보고할 때, 과정의 평가 결과 옆에 상대적 평가 데이터(예: 다른 과정과의 비교, 전년도 과정과의 비교)를 보고하는 것을 고려할 수 있습니다(상자 4 참조). 
• 이와 유사하게, 그러나 개별 교사에게 피드백을 제공하는 경우, 해당 교사에 대한 실제 학생 평가와 함께 교사들에게 자기 평가를 작성하도록 요청하고 이러한 결과를 제시하면 해당 교사에게 개선해야 할 부분에 대한 추가적인 통찰력을 제공할 수 있다.

Having data on educational quality does not automatically lead to enhancement of education quality (Richardson and Placier 2001; Hashweh 2003). Although grounding the design of your evaluation in theoretical principles will generate rich data that is theoretically grounded, context-specific and more actionable (Bowden and Marton 1999) research also demonstrates that the recipients of that data, may need help translating the data to activities that will enhance educational quality (Stalmeijer et al. 2010; Boerboom et al. 2015; van Lierop et al. 2018). There may be a long road between paper and action. Translating data to action may be stimulated in different ways. Action may be spurred by providing contrasting evaluation data.

• For example, when reporting evaluation results of a course, one can consider to report relative evaluation data (e.g. comparison with other courses, with the course results of the previous year) next to the evaluation results of a course (see Box 4).
• Similarly, but in the case of providing feedback to individual teachers, asking teachers to fill out a self-assessment and presenting these results next to actual student evaluations of the teacher in question could provide the teacher in question with added insights of areas to improve in.

 

임상교사들이 이러한 자기평가 효과에 대해 인터뷰를 한 결과, 특히 자기평가와 학생평가 사이에 부정적인 불일치가 변화에 대한 강력한 자극으로 경험된 것으로 나타났다. 그러나 같은 연구에서 임상 교사들은 피드백의 특정 측면을 행동으로 옮기는 데 도움이 필요하다고 지적했다. 예를 들어, 교수들은 [학생들이 학습 목표를 세우는 것을 돕는 것]에 어려움을 겪었고, 이에 대한 추가적인 코칭을 요청했습니다. 또한, 평가 데이터가 부정이나 방어 같은 감정적 반응을 일으킬 수 있다는 증거가 있어 데이터에 대한 논의가 필수적이다. 반 리에로프 외 연구진(2018)은 임상 교사들이 자기 평가와 학생 평가에 대해 논의하는 동료 그룹 성찰 회의를 도입하여 임상 교사들을 위한 코칭을 실험했다. 이 연구는 또래 집단 성찰 회의가 임상 교사들이 개선 계획을 수립하는 데 도움이 된다는 것을 발견했다.

Clinical teachers being interviewed about the effect of this self-assessment indicated that especially negative discrepancies between their self-assessment and the evaluations of students were experienced as a strong impetus for change (Stalmeijer et al. 2010). However, in the same study, clinical teachers indicated needing help to translate certain aspects of the feedback to action. For example, they had a hard time helping students to formulate learning goals and requested additional coaching. Furthermore, there is evidence that evaluation data may cause emotional reactions like denial or defensiveness (DeNisi and Kluger 2000; Sargeant et al. 2008; Overeem et al. 2009) making discussion of the data essential. van Lierop et al. (2018) experimented with coaching for clinical teachers by introducing peer group reflection meetings in which clinical teachers would discuss their self-assessments and student evaluations. The study found that the peer group reflection meetings assisted clinical teachers in formulating plans for improvement.

대화.
Dialogue

교육의 질을 지속적으로 향상시키려면, 수집 중인 데이터가 개선 이니셔티브에 inform하고, 교육 조직의 [모든 계층과 구조에 의해 논의되는 것]이 중요하다. 마찬가지로 [조직적 대화organizational dialogue]도 퀄리티 보증quality assurance으로서 조직 [프로세스 내에 구조적으로 포함되어야] 한다. 그렇지 않으면 평가 결과에 따라 적절한 조치를 취하지 않고, 정보의 정글이 될 위험이 있습니다. 그러기 위해서는 평가는 커리큘럼의 여러 수준(예: 과정, 사무직, 연도, 학사)의 의제에 대한 반복적인 주제가 되어야 한다. 평가 활동에 대한 [공개적 대화]는 교육 기관의 여러 수준에 대해 조정자가 수립한 실행 계획에 의해 inform되어야 한다. 이러한 실행 계획의 구현과 평가는 정기적으로 논의되어야 한다. 성과가 지속적으로 교육 개선에 효과적으로 활용될 수 있도록 공개적으로 논의되어야 한다. 즉, judgemental하지 않으면서, 결과와 성과를 논하는 방법을 평가하고, 개선을 지원하는 건설적인 언어에 초점을 맞춘다. 이러한 방식으로 대화는 개선 목적을 위한 평가 데이터의 사용을 향상시킬 것이다(Kleijnen et al. 2014). 이 대화의 기회를 창출하는 것은 [구조적 특성structural character]을 띠어야 하는데, 이는 이러한 논의가 [정해진 빈도]로 조직되고, [모든 관련 이해 관계자가 참여]한다는 것을 의미한다. 예를 들어, 코스 코디네이터는 반성 세션 동안 교사 및 학생 대표와 평가 보고서를 논의하고, 구체적인 실행 계획을 수립하고, 구조적으로 이러한 계획의 이행 및 평가에 타임라인을 첨부할 수 있습니다. 더 큰 규모로 (Griffin 및 Cook 2009) 강의에서 평가 결과와 개선 계획을 제시함으로써 학생들을 교육 품질의 적극적인 소유자로 만들 수 있습니다. 학생을 토론의 일부로 만드는 것은, 학생들이 그들의 [참여 결과를 보고, 교수진의 의견을 듣고, 의견을 교환할 수 있는 기회]만 주어진다면, 평가 절차에 참여할 수 있는 추가적인 인센티브를 제공할 것이다.

To ensure continuous enhancement of educational quality, it is important that the data which is being collected informs improvement initiatives and is discussed by all layers and structures of the educational organisation. The organisational dialogue should similarly be structurally embedded within the organisational process as quality assurance. Otherwise it may run the risk of becoming a jungle of information without appropriate steps being taken to act on the evaluation results. To do so, evaluation should be a recurring topic on the agenda of different levels in the curriculum (e.g. course, clerkship, year, bachelor). This open dialogue about the evaluation activities should be informed by action plans formulated by coordinators on the different levels of the educational organisation. Implementation and evaluation of these action plans should be discussed regularly. Results must be discussed openly so that they can be used effectively to improve education continuously (Dolmans et al. 2011; Bendermacher et al. 2020). That is, avoiding judgemental, assessing way of discussing results and performances, instead focus on constructive language supporting improvement. In this way, dialogue will enhance the use of evaluative data for improvement purposes (Kleijnen et al. 2014). Creating opportunities for this dialogue should take on a structural character, meaning that these discussions are organised with a set frequency and involving all relevant stakeholders. For example, course coordinators can discuss evaluation reports with teachers and student representatives during reflection sessions (van der Leeuw et al. 2013), formulate specific plans for action and attach a timeline to implementation and evaluation of these plans on a structural basis. On a larger scale, students can be made active owners of educational quality by presenting evaluation results and plans for improvement during (online) lectures (Griffin and Cook 2009). Making them a part of the discussion will provide students with an extra incentive to participate in evaluation procedures if they see the results of their participation and are afforded the opportunity to be heard by faculty and exchange views (Griffin and Cook 2009; Healey et al. 2015).

 

교수진 개발 및 실무 커뮤니티를 통한 이해관계자 지원
Supporting stakeholders through faculty development and communities of practice

품질 보증에 관한 교수 개발
Faculty development on quality assurance

QA 과정에서 적극적으로 참여하는 이해관계자에게 [교수 개발]을 제공하는 것은 교육의 질에 관한 데이터가 효과적으로 교육의 질 향상에 번역될 수 있도록 하기 위해 사용될 수 있는 또 다른 전략이다. 품질 보증 프로세스 내에서 특정(그룹) 이해관계자가 갖는 역할에 따라 교수진 개발 워크숍에서 다양한 측면을 다룰 수 있다. 예를 들어, FHML에서는 학생 평가 위원회(SEC)와 교육 프로그램 위원회(EPC)의 구성원을 위한 연간 워크숍을 제공한다. SEC는 보통 10-12명의 학생들로 구성되어 있으며, 그들의 목표는 교육 활동에 대한 질적 데이터를 생성하고 교수 팀과 결과에 대해 논의하는 것이다. 연례 워크숍에서 SEC 회원들은 자신의 역할을 효과적으로 수행하는 방법에 대한 지침을 받는다(박스 5).

Providing faculty development for stakeholders actively involved within the process of quality assurance, is another strategy that may be employed to ensure that data on educational quality can be effectively translated to enhancement of educational quality. Depending on the role that a certain (group of) stakeholder(s) has within the process of quality assurance, different aspects can be addressed during faculty development workshops. For example, at FHML we provide yearly workshops for members of the student evaluation committees (SEC) (Stalmeijer et al. 2016) and the educational programme committees (EPC). The SEC, usually comprise 10–12 students, and their goal is to generate qualitative data on educational activities and to discuss outcomes with teaching teams. In a yearly workshop, members of the SEC are provided with guidelines on how to effectively fulfil their role (Box 5).

EPC 회원들에게는 또 다른 연례 워크숍이 제공된다. 네덜란드에서는 각 대학 프로그램에 EPC가 의무화되어 있다. EPC는 직원 및 학생 대표가 섞여 있으며, 프로그램 수준에서 교육 품질을 전반적으로 모니터링하는 역할을 한다. EPC는 [시험 규정과 그 시행, 교육 예산, 교육 혁신, IQA 시스템 등과 같은] 교육 문제에 대해 요청하거나 자발적으로 조언을 제공할 수 있다. 연례 워크숍(상자 5 참조) 동안 EPC 구성원은 공동으로 교육을 받고 교육 품질 보증 과정에서 자신의 역할에 대한 활발한 토론에 참여한다.

Another yearly workshop is provided to members of the EPC. In the Netherlands, each university programme is mandated by law to have an EPC. An EPC consists of a mix of staff and student representatives and is tasked with overall monitoring of educational quality at the programme level. The EPC can give advice, either on request or on their own initiative, on education matters like examination regulation and its implementation, education budget, educational innovation, and the system of IQA. During the yearly workshop (see Box 5) EPC members are trained jointly and involved in an active discussion about their role in the process of educational quality assurance.

실천 공동체
Communities of practice

CoP(Community of Practice)는 '중첩된 지식 기반, 공통 관행 및 상호 기업mutual enterprise에 초점을 맞춘 [신념, 가치, 역사 및 경험의 집합]을 [공유하고 발전]시키는 [개인들의 지속적이고 지속적인 사회적 네트워크]'로 정의할 수 있다.

• CoP(Community of Practice)의 설립은 [혁신을 위한 전문 지식과 아이디어의 교환]을 촉진하기 때문에 교육을 더욱 향상시킬 수 있습니다.
• CoP는 [모범 사례를 공유]하는 등의 방법으로 직원이 [새로운 관점 및 개선 기회]를 얻는 데 도움이 됩니다.
• CoP는 특히 [퀄리티 문화의 심리적 차원을 육성]하는 것과 관련이 있다. CoP는 교수와 학습의 가치, 일상적인 업무 경험과 과제에 대한 성찰, 교사 정체성 구축이 중심이 되는 [환경을 형성]한다.
• CoP의 [건설적인 동료 피드백 프로세스]와 [상호 전문직업적 및 사회적 지원 제공]은 주인의식을 개발하는 것과 교육 향상에 대한 책임감을 느끼는 사이의 관계를 균형 있게 유지하는 데 도움이 됩니다.
• CoP의 [개방적이고 종단적인 특성]은 그들의 성공에 필수적이다. CoP는 단순히 이미 고도로 관련되고 교육에 헌신하는 사람들로 구성된 임시적 그룹을 만드는 것을 넘어서야 한다.

A Community of Practice (CoP) can be defined as a ‘persistent, sustaining, social network of individuals who share and develop an overlapping knowledge base, set of beliefs, values, history, and experiences focused on a common practice and/or mutual enterprise’ (Barab et al. 2002, p. 495).

• The establishing of communities of practice (CoPs), can further educational enhancement as they foster an exchange of expertise and ideas for innovation (de Carvalho-Filho et al. 2020).
• CoPs facilitate staff in gaining new perspectives and opportunities to improve, e.g. by means of sharing good practice.
• CoPs are specifically relevant for the nurturing of the psychological dimension of a quality culture; they form an environment in which the valuing of teaching and learning, reflection on daily work experiences and challenges, and teacher identity building is central (Cantillon et al. 2016).
• Constructive peer feedback processes in CoPs, and the offering of mutual professional and social support help to balance the relation between developing a sense of ownership and feeling accountable for educational enhancement (Bendermacher et al. 2020).
• An open and longitudinal character of CoPs is essential to their success; they should go beyond the mere establishment of a temporal group of those already highly involved and committed to education.

FHML에서 우리는 저널 클럽, 교육 혁신이 제시되고 논의되는 월간 회의, 참가자들이 동료들과 경험을 공유하도록 명시적으로 초대되는 과정 조정자를 위한 종단 리더십 훈련과 같은 CoP를 자극하기 위한 몇 가지 활동을 조직한다. 우리는 교수 개발 목적으로 CoP를 구현하는 방법에 대한 영감을 얻기 위해 Carvalho-Filho와 동료들의 12가지 팁을 추천한다.
At FHML we organise several activities aimed at stimulating CoPs like journal clubs, monthly meetings in which educational innovations are presented and discussed, and a longitudinal leadership training for course coordinators in which participants are explicitly invited to share experiences with their colleagues. We recommend the twelve tips by Carvalho-Filho and colleagues (2020) for inspiration on how to implement a CoP for faculty development purposes.

퀄리티 문화를 육성하는 리더십
Leadership that fosters a quality culture

학생과 교직원의 목소리를 중시하기 위해, 교육 지도자들은 교육의 질에 대한 토론을 촉진하고, 또한 조직 내의 다른 사람들에게 귀를 기울이고 반응함으로써 차이를 만들 수 있습니다. Bland 등이 수행한 검토 결과, 성공적인 교육과정 개발을 위한 바람직한 [리더십 행동]은 [개방적인 커뮤니케이션 환경을 조성]하는 것 외에도, 적극적이고 참여적이며 문화적/가치에 영향을 미치는 행동과 관련이 있는 것으로 나타났다(Bland 등). 2000). 즉, 성공적인 리더는 협업을 촉진하고, 계획된 변화에 비추어 가치를 공유하며, 신뢰를 구축하고 참여를 촉진합니다.

To value the voice of students and staff members, educational leaders can make a difference by facilitating debate about the quality of education (Sursock 2011), but also by listening and being responsive to others within the organisation (Knight and Trowler 2000). A review conducted by Bland et al, indicated that, in addition to creating an open communication climate, favourable leadership behaviours for successful curriculum development concern assertive, participative and cultural/value-influencing behaviours (Bland et al. 2000). That is, successful leaders promote collaboration, share values in the light of the envisioned change, and build trust and facilitate involvement (Bland et al. 2000).

Bendermacher et al(2021)은 퀄리티 문화를 육성하기 위한 그들의 노력에서, 조직 내에서 다양한 수준에서 행동하는 리더들은 [다양한 도전에 직면한다]고 강조했습니다.

• [상급 관리 수준]에서 리더는 일반적으로 퀄리티 문화가 뿌리내리는 데 필요한 규칙, 정책, 책임 및 책임과 관련된 '정치적', '전략적' 및 '구조적' 문제를 다룬다. 교육 리더십은 [현재의 구조와 시스템]과 [직원 가치] 사이의 균형을 잡는 것을 의미하며, [자원을 위한 연합 구축, 협상 및 중재]를 필요로 한다. 이를 위해 교육 리더들은 기관 내에서 [강력한 관계와 네트워크]를 구축하고 협력과 상호작용을 촉진하기 위해 노력해야 한다.
• 조직적인 meso 또는 micro 수준에서 일하는 리더들은 [교육 내용의 직접적인 개선]에 더 많이 참여하고, [팀 학습을 촉진]하는 데 더 집중하는 것으로 보인다. 

Bendermacher et al. (2021) highlighted that in their efforts to nurture a quality culture, leaders acting at different levels within the organisation face various challenges.

• On the higher management level, leaders typically deal with ‘political’, ‘strategic’ and ‘structural’ issues which concern rules, policies, responsibilities and accountability, needed for a quality culture to take root. Educational leadership entails a balancing of present structures and systems with staff values and requires coalition building, negotiation and mediating for resources (Bolman and Deal 2003). To this end, educational leaders should work to build strong relationships and networks within the institution and stimulate collaboration and interaction (O’Sullivan and Irby 2011).
• Leaders working on the organisational meso, or micro level appear to be more engaged in the direct improvement of the educational content and focus more on facilitating team learning.

보건 전문직 교육에서 [복잡한 조직 구조와 학제간 협력]이라는 새로운 경향은 리더의 영향력이 점점 더 [간접적인 형태]로 행사되게 한다. 교육의 질 향상에 대한 리더의 영향은 점점 더 [공유되고 협력적이며 분산된 접근 방식]을 통해 나타나고 있다. 따라서, 리더는 '강인한' 리더에게 교육의 질적 향상에 대한 책임을 전가하는 대신 동기부여자, 멘토, 촉진자 역할을 할 것으로 기대되며, 보건직 교육의 리더십은 [개별 직원의 감독, 지도, 지원]을 넘어서, 보다 [광범위한 집단적인 것]으로 바뀌고 있다.

Complex organisational structures and emerging trends of interdisciplinary collaboration in health professions education, cause the influence of leaders to be exerted more and more in indirect ways (Meeuwissen et al. 2020; Bendermacher et al. 2021). The influence of leaders on educational quality enhancement is increasingly being manifested through shared, collaborative and distributed approaches (e.g. McKimm and Lieff 2013; Sundberg et al. 2017; Sandhu 2019). Hence, instead of attributing responsibility for educational quality enhancement to ‘strong’ leaders, leaders are expected to be motivators, mentors, and facilitators and leadership in health professions education is changing from individual staff supervision, guidance, and support to a focus on the broader collective.

보건 전문 교육 기관의 지식 집약적 환경에서 교육 지도자와 기타 교직원은 [조직 문제에 대한 의미와 해결책을 함께 구성]합니다. 보건직 교육에서의 리더십은 [다층적]이기 때문에, (의학) 학교 위계구조의 현실 안에서 [동시에 리더이자 팔로워]가 될 수 있다. 더욱이, 학계는 단순한 리더십 수혜자가 아니라 공동창조를 통해 다른 이들의 리더십을 주도하고 조직 발전에 영향을 미칠 수 있다.
In the knowledge-intensive setting of health professions education institutes, educational leaders and other teaching staff members co-construct meaning and solutions to organisational issues (Tourish 2019). As leadership in health professions education is multi-layered, within the reality of (medical) school hierarchies, one might be a leader and a follower at the same time (McKimm and O’Sullivan 2016). Moreover, instead of being mere leadership recipients, academics can steer the leadership of others and impact organisational developments through co-creation (Uhl-Bien et al. 2014).

교육 리더가 양질의 문화 발전과 IQA를 최대한 활용할 수 있도록 지원하는 개입으로는 리더를 양성하여 성찰, 전문성 및 지식 공유를 자극하고, 리더를 학습하여 교사 팀의 안전과 신뢰 관계를 배양하고, 리더의 상황 민감성을 강화하는 것이 포함된다. 보건 전문직 교육은 여러 스타일을 결합할 수 있고 다양한 이해 관계자의 목표와 야망을 통합할 수 있는 리더에게 가장 잘 제공됩니다.
Interventions that can aid educational leaders to make the most out of quality culture development and IQA include: training leaders to stimulate reflection, expertise, and knowledge sharing, learning leaders to foster safety and trust relations in teacher teams, and strengthen leader’s situational sensitivity (Hill and Stephens 2005; Edmondson et al. 2007; Nordquist and Grigsby 2011). In order to continuously enhance, health professions education is best served with leaders who are able to combine multiple styles and who are able to coalesce different stakeholder goals and ambitions (Lieff and Albert 2010).

결론
Conclusion

본 AMEE 가이드는 '품질 문화'의 개념을 사용하여 교육 기관이 IQA가 자주 제기하는 '체크박스' 연습에서 벗어나도록 도울 수 있는 다양한 관행에 대해 설명했습니다. 우리는 이것이 쉬운 작업이라고 주장하는 것이 아니다. 지속적인 교육의 질 향상은 많은 사람들의 기여를 필요로 하는 진정한 팀의 노력이다. 품질 문화의 체계적/관리적 측면과 문화적/심리적 측면을 창출하는 데 필요한 관행을 다루어(그림 1 참조) 본 AMEE 가이드가 교육 품질에 이해관계가 있는 모든 사람들에게 영감과 방향을 제공하기를 바랍니다.

Using the concept of ‘Quality Culture’ this AMEE Guide has described various practices that can aid educational organisations in moving beyond the ‘tick-box’ exercises that IQA practices often evoke. We are not claiming that this is an easy task. Continuous enhancement of educational quality is a veritable team effort requiring the contribution of many. By addressing practices needed to create the systematic/managerial and cultural/psychological aspects of a quality culture (see Figure 1), we hope this AMEE Guide provides inspiration and direction for all those with a stake in educational quality.

 

---

Med Teach. 2022 Apr 25;1-11. doi: 10.1080/0142159X.2022.2057285. Online ahead of print.

Continuous enhancement of educational quality - fostering a quality culture: AMEE Guide No. 147

Renée E Stalmeijer 1, Jill R D Whittingham 1, Guy W G Bendermacher 1, Ineke H A P Wolfhagen 1, Diana H J M Dolmans 1, Carolin Sehlbach 1

Affiliations collapse

Affiliation

1School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.

PMID: 35469546

DOI: 10.1080/0142159X.2022.2057285

Abstract

Internal quality assurance (IQA) is one of the core support systems on which schools in the health professions rely to ensure the quality of their educational processes. Through IQA they demonstrate being in control of their educational quality to accrediting bodies and continuously improve and enhance their educational programmes. Although its need is acknowledged by all stakeholders, creating a system of quality assurance has often led to establishing a 'tick-box' exercise overly focusing on quality control while neglecting quality improvement and enhancement. This AMEE Guide uses the concept of quality culture to describe the various dimensions that need to be addressed to move beyond the tick-box exercise. Quality culture can be defined as an organisational culture which consists of a structural/managerial aspect and a cultural/psychological aspect. As such this AMEE Guide addresses tools and processes to further an educational quality culture while also addressing ways in which individual and collective awareness of and commitment to educational quality can be fostered. By using cases within health professions education of both formal and informal learning settings, examples will be provided of how the diverse dimensions of a quality culture can be addressed in practice.

Keywords: Internal quality assurance; programme evaluation; quality culture.