어떻게 시스템 공학이 보건의료전문직교육(HPE)에서 프로그램 평가 방법에 도움이 될 것인가? (Med Educ, 2018)

어떻게 시스템 공학이 보건의료전문직교육(HPE)에서 프로그램 평가 방법에 도움이 될 것인가? (Med Educ, 2018)

How can systems engineering inform the methods of programme evaluation in health professions education?

David Rojas,1,2 Lawrence Grierson,3 Maria Mylopoulos,1,4 Patricia Trbovich,5 Darius Bagli6&Ryan Brydges1,2

도입 

INTRODUCTION

프로그램 평가에는 데이터 수집 및 분석에 대한 체계적인 접근방식이 포함되며, 일반적으로 프로그램의 효과와 관련된 질문을 다루는 데 사용된다.1 보건직 교육(HPE) 평가는 고품질 프로그램 보장의 핵심 요소로 인식된다.2-4 그러나 HPE의 전통적인 프로그램 평가 프레임워크는 [학생과 교직원 참여의 수준과 같이] 교육 프로그램과 관련된 프로세스와 결과에 영향을 미치는 여러 요인을 다루지 못할 수 있다. 모든 관련 요소들 간의 상호작용을 평가하기 위해, HPE의 학자들은 프로그램 평가를 다시 개념화하여 다음과 같은 질문에 답하였다: 프로그램이 어떻게 그리고 왜 작동하고 있는가? 프로그램 내에서 또 무슨 일이 일어나고 있는가?5

Programme evaluation involves a systematic approach to data collection and analysis, and is generally used to address questions relating to a programme’s effectiveness.1 Evaluation in health professions education (HPE) is recognised as a key element of assuring high-quality programmes.2–4 However, traditional programme evaluation frameworks in HPE may not address the multiple factors affecting the processes and outcomes associated with educational programmes, such as differing levels of student and faculty member engagement. To evaluate the interplay between all relevant factors, scholars in HPE have re- conceptualised programme evaluation to answer questions such as: How and why is the programme working? What else is happening within a programme?.5

HPE의 전통적인 프로그램 평가 프레임워크는 환원주의6부터 시스템 이론, 복잡성 이론에 이르기까지 다양한 시대의 두드러진 이론에 의해 영향을 받아왔다. 복잡한 프로그램을 평가할 때, 현재 표준은 발달적developmental 평가로, [사회적 상호작용과 연관된 불확실성의 난해함]을 해결하기 위해 시스템 사고의 복잡성 이론과 개념을 사용한다.

Traditional programme evaluation frameworks in HPE have been influenced by the prominent theories of different eras, from reductionism6 to systems theory7–9 to complexity theory.10,11 When evaluating complex programmes, the current standard is developmental evaluation,12 which uses complexity theory and concepts of systems thinking to address the messiness of social interactions and associated uncertainties.

발달적 평가 모델에는 [프로그램 및 이해관계자가 환경 특성에 적응하여 발생하는 것]으로 생각되는 출현emergence이라는 구인construct이 포함된다.13 HPE에서 하지 외 연구진은 '창발emergence'을 분석의 핵심 영역으로 꼽았으며, 교육 프로그램이 [계획된 프로세스, 계획된 결과, 창발적 프로세스와 창발적 결과]를 포함하고 있음을 제안하였다. 그들은 평가자들에게 네 가지 유형의 모든 데이터를 수집하고 분석하도록 조언하고, 프로그램이 어떻게 그리고 왜 작동하는지, 프로그램 내에서 그리고 프로그램 때문에 일어나는 다른 일들을 식별하도록 조언한다.

The developmental evaluation model includes the construct of emergence, which is thought to result from a programme and its stakeholders adapting to environmental characteristics.13 In HPE, Haji et al.5 also note emergence as a key dimension of analysis, suggesting that educational programmes contain planned processes, planned outcomes, emergent processes and emergent outcomes. They advise evaluators to collect and analyse all four types of data, to discern how and why the programme is working, as well as what else happens within and because of the programme.

시스템 엔지니어링 원칙을 사용하여 창발emergence을 개념화하는 방법과 계획된 프로세스, 계획된 결과, 새로운 프로세스 및 새로운 결과를 포착하는 방법을 식별하는 방법을 세분화할 것을 제안한다.

We propose using systems engineering principles to refine how to conceptualise emergence, and how to identify methods for capturing planned processes, planned outcomes, emergent processes and emergent outcomes.

개념적 프레임워크 

CONCEPTUAL FRAMEWORK

시스템 엔지니어링

Systems engineering

문제 해결에 대한 공학적인 접근법은 전형적으로 기초 과학을 사용하여 손에 잡히는tangible 해결책을 만드는 것을 포함한다.14,15 대부분의 공학 하위 학문은 과학 영역의 특정 문제에만 초점을 맞춘다. 예를 들어 토목 공학자들은 주로 도로, 교량, 운하 및 건물과 같은 자연적으로 건설된 물리적 환경의 설계, 건설 및 유지관리에 힘쓴다.

Engineering approaches to problem-solving typically involve using basic sciences to create a tangible solution.14,15 Most engineering subdisciplines focus only on specific problems in the spectrum of science. Civil engineers, for example, work primarily on the design, construction and maintenance of physical and naturally built environments, such as roads, bridges, canals and buildings.

대조적으로, 시스템 엔지니어들은 특정 분야에 초점을 맞추지 않고, 대신에 여러 엔지니어링 하위 학문이 함께 일해야 하는 복잡한 문제를 해결한다.16,17 시스템 엔지니어들은 각 엔지니어링 하위 학문의 고유한 전문지식을 이해해야 하며, 그들은 각각의 학문분야가 문제 해결 접근법에 어떤 정보를 제공할 것인지 분석해야 하며, 그들은 서로 다른 팀 구성원들이 시스템 관점을 이용한 협업이 필요하다는 것을 이해하도록 해야 한다. 시스템 공학의 경우, 게스탈트 원칙이 시사하는 바와 같이 [전체는 부분의 합보다 크다].18 유명한 예는 아폴로 13 프로젝트인데, 이 프로젝트에서는 여러 하위 학문의 엔지니어들이 우주비행사를 지구로 데려오는 고도로 복잡한 문제를 해결하기 위해 함께 일했다.

By contrast, systems engineers do not focus on a specific area, and instead address complex problems requiring multiple engineering subdisciplines to work together.16,17 Systems engineers must understand the unique expertise of each engineering subdiscipline, they must analyse how each will inform the problem-solving approach, and they must ensure the different team members understand the need to collaborate using a systems perspective. For systems engineering, as the Gestalt principle suggests, the whole is greater than the sum of the parts.18 A famous example is the Apollo 13 Project, wherein engineers from multiple subdisciplines worked together to solve the highly complex problem of bringing astronauts back to earth.

인지시스템공학

Cognitive systems engineering

시스템 엔지니어링의 한 종류인 인지 시스템 엔지니어링은 엔지니어가 종종 [사회-기술 시스템]이라고 불리는 [이해관계자-리소스 동맹]으로서 시스템을 개념화하도록 촉구한다.20–22 

• 기술적 요소는 시스템을 구속하는 조직 구조 및 프로세스뿐만 아니라 가용 자원(예: 물리적 재료)을 가리킨다. 

• 사회적 요소는 기술적 요인과 상호작용하거나 기술적 요인에 의해 형성되는 모든 이해당사자를 의미한다.23,24 

인지 시스템 엔지니어는 시스템의 행동을 더 잘 이해하기 위해 [기술적 요인과 사회적 요인 사이의 상호작용]을 연구한다.20 그러한 시스템은 사회적 요인과 기술적 요인이 상호작용을 하여 기대하지 않은 행동을 나타낼 때 '복잡complex'하다고 정의된다.

Cognitive systems engineering, a type of systems engineering, prompts engineers to conceptualise systems as a stakeholder–resources alliance, often called a socio-technical system.20–22 

• The technical factor refers to the available resources (e.g. physical materials), as well as the organisational structures and processes binding the system. 

• The societal factor refers to all stakeholders who interact with or get shaped by the technical factors.23,24 

Cognitive systems engineers study the interaction between the technical and the societal factors to better understand a system’s behaviour.20 Such systems are defined as complex when the societal and technical factors interact to exhibit unexpected behaviours.25

엔지니어링 복합 사회 기술 시스템

Engineering complex socio-technical systems

그림 1은 사회 기술 시스템 엔지니어링을 위한 공통적인 5단계 프레임워크를 보여준다.26

Figure 1 illustrates a common five-stage framework for engineering socio-technical systems.26

우리는 초기 '준비 및 프레임' 단계를 건너뛰고, 엔지니어들이 시스템 요소에 대한 강력한 설명을 생산하기 위해 일하는 '지식 도출' 단계에 초점을 맞추었다. 인지 시스템 엔지니어링에 사용되는 많은 지식 도출 도구knowledge elicitation tools가 있지만, 인지 작업 분석cognitive work analysis에는 사회-기술 시스템을 분석하기 위한 이상적인 도구 상자가 포함될 것을 제안한다.27

Thus, we moved past the initial ‘preparation and framing’ stage to focus on the ‘knowledge elicitation’ stage, in which engineers work to produce a robust description of system elements. Although there are many knowledge elicitation tools employed in cognitive systems engineering, we suggest that cognitive work analysis includes an ideal toolbox for analysing socio-technical systems.27

엔지니어는 인지 작업 분석CWA을 사용하여 각 시스템의 특정 특성을 검사하고 표현함으로써 복잡한 사회-기술 시스템을 모델링하고, 결과 모델을 작업 영역work domain으로 참조refer to한다.27 작업 영역은 주어진 사회기술 시스템의 자원, 정책, 공간 및 사회적 특성을 강조한다.28–30

Engineers use cognitive work analysis to model complex socio-technical systems by inspecting and representing each system’s specific characteristics, and refer to the resulting model as a work domain.27 A work domain highlights the resources, policies and spatial and societal characteristics of a given socio-technical system.28–30

인지 작업 분석CWA을 수행할 때 엔지니어는 사회적 요인에 의해 수행되는 작업의 유형에 관계없이 [시스템의 기술적 특성이 대체로 일정하게 유지될 것]으로 가정한다. 예를 들어, 교육 프로그램에서 [자원, 위치, 정책 및 지원 인력]은 학생들이 목표를 달성하기 위해 선택할 수 있는 다른 선택에도 불구하고 그대로 유지될 것이다.24,31

When conducting a cognitive work analysis, engineers assume that the system’s technical characteristics will largely remain constant no matter the type of task performed by the societal factors. For example, in an educational programme, the resources, location, policies and support personnel will remain the same despite the different choices students may make to achieve their goals.24,31

엔지니어는 작업영역이 '이벤트-독립적'인 경우 강건한robust 것으로 판단하며, 이는 사회적 요인의 작용이 작업영역에 의미 있게 영향을 미치지 않는다는 것을 의미하며, 따라서 시스템 특성이 포괄적으로 명시되었다. 정확한 작업 영역work domain은 시스템 내에서 수행될 수 있는 [가능한 행동과 사건(계획적이거나 창발적인)]을 분석할 수 있는 플랫폼을 제공한다.27

Engineers judge a work domain as robust if it is ‘event independent’, meaning actions of the societal factor do not influence the work domain meaningfully, and therefore, the system characteristics have been specified comprehensively. Accurate work domains provide a platform to analyse the possible behaviours and events (planned and emergent) that might be carried out within the system.27

추상 분해 공간

Abstract decomposition space

작업영역 분석을 실시할 때, 시스템 엔지니어는 추상 분해 공간(ADS)을 데이터 수집 도구로 사용한다. ADS는 작업영역의 다양한 특성을 시스템의 목표에 관련시키고, 그러한 특성이 서로 다른 목표를 지원하는지 검토하기 위해 사용된다.32 ADS를 개발할 때 엔지니어는 [추상적 차원] 및 [분해 차원]이라는 두 가지 직교적 차원을 따라 데이터를 나타낸다.30,33 표 1

When conducting a work domain analysis, system engineers use the abstract decomposition space (ADS) as their data collection instrument. The ADS is used to relate a work domain’s various characteristics to the system’s goals, and to examine whether those characteristics support the different goals.32 When developing the ADS, engineers represent data along two orthogonal dimensions: the abstract dimension and the decomposition dimension.30,33 Table 1

ADS의 [추상적 차원]은 그 안에 존재하는 수단-목적 관계에 따라 시스템을 분할할 것을 요구한다.32

The abstract dimension of the ADS requires dividing a system according to the means–ends relationships that exist within it.32

이 수준들은 결코 엄격하거나 의무적이지 않다. ADS의 추상적 차원을 개발하기 위해서는 시스템의 목표 식별부터 시작하는 하향식 접근법을 시스템 자원 식별부터 시작하는 상향식 접근법과 혼합하는 것이 필요하다.32 따라서, 목적은 [시스템을 탐색하고 ADS를 세분화하여], 추상화 수준이 특정 시스템에 최적화되도록 하는 것이다. 이는 결국 [시스템에서 사용할 수 있는 리소스가 시스템 목표 달성을 지원하는지 여부]를 분석하는 데 사용된다.

These levels are by no means rigid or mandatory. Developing the abstract dimension of an ADS requires mixing a top-down approach starting with identifying goals of the system with a bottom-up approach starting with identifying system resources.32 Thus, the aim is to explore the system and refine the ADS so that the abstraction levels are optimised for that specific system, which informs the analysis of whether the resources available in the system support achieving the system goals.

[분해 수준]을 통한 작업(표 1 참조)은 시스템의 '줌 인, 줌 아웃'에 비유할 수 있으며, 여기서 포커스는 전체 시스템에서 하위 시스템 또는 시스템을 구성하는 요인에 따라 달라진다. [분해 차원]은 시스템 내에서 [이해관계자가 절절하게 기능하기 위하여 필요한 주의 범위attention span]를 반영하는 것으로 설명할 수 있다.

Working through the decomposition levels (see Table 1), can be likened to ‘zooming in and out’ of the system, where the focus varies from the whole system to the sub-systems or factors that constitute the system.30,32 The decomposition dimension can be described as reflecting the attention span required of stakeholders as they function in the system.

학생들은 일반적으로 그들의 임상실습에서 좋은 점수를 얻는 것에 초점을 맞출 수 있지만, 그들이 다른 회전을 하는 동안, 그들의 주의 범위는 개별 로테이션을 성공적으로 완료하는 데 필요한 모듈이나 특정한 활동(확대)으로 옮겨갈 가능성이 있다.

The students may focus generally on achieving a good mark in their clerkship, but while they are going through the different rotations, their attention span will likely shift to the modules or specific activities that are required to successfully complete the individual rotation (i.e. zooming in).

프로그램 평가를 위한 인지 시스템 엔지니어링 개념 적용

APPLYING COGNITIVE SYSTEMS ENGINEERING CONCEPTS TO CONDUCT A PROGRAMME EVALUATION

우리는 교육 프로그램을 복잡한 사회-기술적 시스템으로 개념화하기 위해 위의 시스템 엔지니어링 원칙을 사용할 것을 제안한다.20 필요 조건을 충족하는 교육 프로그램은 다음의 것을 포함한다. 

• 사회적 요소(예: 교육생, 교사, 프로그램 감독 및 기타 이해관계자) 

• 기술적 요소(즉, 교육 리소스, 학습 리소스, 기술 및 커리큘럼 정책) 

더욱이 교육 프로그램을 복잡한 사회-기술적 시스템으로 구성한다는 것은 주로 이해관계자 사이의 상호작용(즉, 사회적 요인), 자원(즉, 기술적 요인) 및 프로그램을 지배하는 정책(즉, 맥락)에 의존하는 창발적 특성을 나타낼 것임을 의미한다.

We propose using the systems engineering principles above to conceptualise educational programmes as complex socio-technical systems.20 

Educational programmes satisfy the necessary conditions: they include 

• a societal factor (i.e. trainees, teachers, programme directors and any other stakeholders) and 

• a technical factor (i.e. teaching resources, learning resources, technologies and curriculum policies). 

Moreover, framing educational programmes as complex socio-technical systems implies they will exhibit emergent properties that will depend primarily on interactions between the stakeholders (i.e. societal factor), resources (i.e. technical factor) and policies that govern the programme (i.e. context).

우리의 시스템 엔지니어링 프레임워크는 프로그램-특이적 ADS를 만들기 위한 [작업영역 분석]을 실시하는 것으로 시작한다. 우리는 강력한 프로그램-특이적 ADS를 통해 평가자가 프로그램의 특정 특성이 이해관계자의 행동을 어떻게 형성하는지, 그리고 프로그램 자원이 프로그램 목표 달성을 지원하는지 여부를 연구할 수 있도록 할 것을 제안한다.

Our systems engineering framework begins with conducting a work domain analysis to produce a programme-specific ADS. We propose that a robust programme-specific ADS will allow evaluators to study how the programme’s specific characteristics shape the behaviours of the stakeholders, and whether programme resources support achieving programme goals.

케네스 버크가 말했듯이, '모든 보는 방법은 보지 않는 방법이다.'34

As Kenneth Burke stated: ‘Every way of seeing is also a way of not seeing’.34

창발 및 창발적 요소의 조작화

Operationalising emergence and emergent elements

각기 다른 분야의 연구자들은 창발의 개념을 다르게 정의하고 측정한다. 

Researchers from different fields define and measure the concept of emergence differently. 

HPE에서 Christancho 외 연구진 al.35는 외과의사와 그들의 맥락이 분리될 수 없어 [모든 임상적 결정이 외과의사와 다른 시스템 요소들 사이의 지속적인 교환을 통해 발생하는 경우 '창발적인 것'으로 특징지어질 수 있음]을 제안하면서 외과적 의사결정에서 출현을 연구했다. 이런 시각은 새로운 전략이 '의도가 완전한 결여'된 전략이라는 민츠버그의 입장과도 일치한다.36

In HPE, Cristancho et al.35 have studied emergence in surgical decision making, suggesting surgeons and their context are so inseparable that all clinical decisions can be characterised as emergent, given they arise via the constant exchange between the surgeon and other system elements. This view resonates strongly with Mintzberg’s position that emergent strategies are those with a ‘total absence of intention’.36

엔지니어들은 시스템 내에서 두 가지 형태의 새로운 요소를 설명하면서 다른 관점을 제공한다. 

• 첫째, 시스템 내의 다른 요소들이 상호작용을 할 때 출현한다. 예를 들어, trainee가 새로운 오더 세트 사용자 인터페이스를 만났을 때 잘못된 약물 복용 오더가 발생할 수 있다. 

• 둘째로, 'whole' 시스템이 그것의 환경과 상호작용을 할 때 출현한다. 예를 들어, 병원이 새로운 임상교육 단위를 조직 구조에 도입할 때 예상치 못한 관행과 과정이 발생할 수 있다.

Engineers offer a different view, describing two forms of emergent elements within systems. 

• First, emergence arises when different elements within a system interact. For example, incorrect drug dosage orders may arise when trainees interact with a new order-set user interface. 

• Second, emergence arises when the ‘whole’ system interacts with its environment. For example, unexpected practices and processes may arise when a hospital introduces a new clinical teaching unit into its organisational structure.

우리는 '창발'을 식별하는 것은 계획된 것과 관찰된 것 사이의 차이를 이해해야 한다고 제안한다. 이러한 산술적 접근방식은 두 가지 주요 아이디어와 일치한다. 즉, 창발적 요소는 의도하지 않은 것이며, 창발적이든 아니든 시스템 요소, 프로세스 및 상호작용은 관찰되고 기록될 수 있다. 이를 운용할 때, 프로그램 설계자 및 기타 이해관계자의 의도가 없는 경우 프로그램 특정 ADS에서 관찰된 모든 요소와 함께 모든 계획 요소를 고려한 후 발견된 시스템에서 발생하는 요소를 창발적인 것으로 정의할 수 있음을 제안한다. 

we propose that identifying emergence requires understanding the difference between what was planned and what is observed. This arithmetic approach aligns with two main ideas: that emergent elements are unintentional; and that systemelements, processes and interactions, emergent or otherwise, can be observed and documented. In operationalising this, we propose that elements arising in a system, found after considering all the planned elements alongside all observed elements in the programme-specific ADS, can be defined as emergent, given the absence of the programme designer’s and other stakeholders’ intentions

시스템 엔지니어링에서 제공하는 프로그램 평가의 예비 방법

Preliminary methods of programme evaluation informed by system engineering

공학에서 교육으로 지식 번역을 용이하게 하기 위한 기초 교육 ADS(그림 2)

a basic educational ADS (Fig. 2) to facilitate knowledge translation from engineering to education.

우리가 제안한 프레임워크는 평가자가 [기본적인 교육적 ADS(그림 2)로 시작하고 프로그램별 ADS를 개발하기 위해 여러 개의 데이터를 수집할 것]을 요구한다. 우리가 제안한 데이터 수집 방법에는 문서 분석, 구조화된 관찰 및 준구조화된 인터뷰가 포함되지만, 추가적인 형태의 데이터도 활용될 수 있다.

Our proposed framework requires that the evaluator starts with a basic educational ADS (Fig. 2) and collects several iterations of data to develop a programme-specific ADS. Our proposed methods of data collection include document analysis, structured observations and semi-structured interviews, although additional forms of data could be utilised.

• 평가자는 프로그램과 관련된 모든 기존 문서(예: 강의록, 서면 자료, 보고서 및 이전 평가)를 분석하는 것으로 시작한다. 

• 그런 다음 평가자는 프로그램의 모든 차원(예: 계획된 프로세스, 계획된 결과, 새로운 프로세스 및 새로운 결과)을 탐색하기 위해 일련의 관찰을 수행한다. 

• 가능한 경우(예: 여러 코호트와 함께 반복되는 과정) 평가자는 프로그램을 여러 번 반복하는 동안 관찰을 수행하여 매번 프로그램별 ADS를 업데이트하고 다듬는다. 

• 관찰 결과와 동시에, 평가자는 모든 관련 프로그램 이해관계자(예: 교육생, 교수진, 과정 감독 등)의 표본과 함께 반구조화된 인터뷰를 실시하도록 권고한다.

• An evaluator begins by analysing all the existing documentation related to the programme (e.g. syllabus, written materials, reports and previous evaluations). 

• The evaluator then conducts a series of observations to explore all the dimensions of the programme (i.e. planned processes, planned outcomes, emergent processes and emergent outcomes). 

• Where possible (e.g. in courses that are repeated with several cohorts), the evaluator conducts observations during several iterations of the programme, updating and refining the programme-specific ADS each time. 

• Concurrent with the observations, we recommend that the evaluator should also conduct semi-structured interviews with a sample of all relevant programme stakeholders (i.e. trainees, faculty members, course directors, and so on).

데이터 수집의 모든 단계에서, ADS는 프로그램 요소뿐만 아니라 프로그램을 더 잘 표현하도록 조정되고 업데이트된다. 이러한 미세화 과정에는 [연역적 데이터 분석과 귀납적 데이터 분석]의 조합이 필요하다. 평가자는 먼저 수집된 모든 데이터를 연역적으로 분석하여 수집된 데이터가 ADS와 어느 정도 일치하는지 검증한다. 평가자가 불일치를 감지하는 경우, ADS는 이전 연역 분석에 수집된 모든 데이터에 대한 귀납적 분석을 추가함으로써 프로그램의 세부사항을 보다 잘 다루도록 개선된다. 평가자는 추가적인 관찰 및 인터뷰 데이터가 프로그램 특이적 ADS(즉, 정보 포화도에 도달)에 [의미 있는 변화를 초래하지 않을 때까지 모든 데이터 수집 반복 동안 연역적 분석에서 귀납적 분석에 이르기까지 이 주기를 반복]한다.

Throughout all phases of data collection, the ADS is refined and updated to better represent the programme as well as its elements. This refinement process requires a combination of deductive and inductive data analyses. An evaluator first analyses all collected data deductively, seeking factors from the basic educational ADS, to verify the degree to which the collected data align with the ADS. Where the evaluator detects misalignment, the ADS is refined to better address the specifics of the programme by adding an inductive analysis of all collected data to the previous deductive analysis. The evaluator repeats this cycle, from deductive to inductive analyses, during every data collection iteration until additional observation and interview data do not result in meaningful changes to the programme-specific ADS (i.e. information saturation is reached).

그런 다음 평가 팀은 Eqn 1을 사용하여 [어떤 프로그램 요소가 계획되어 있고 어떤 것이 창발적인 것인지 판단]할 목적으로 수집되고 추상적 차원의 각 범주에 [할당된 데이터를 검사]한다. 다양한 요소의 예상치 못한 존재 외에도, 그들은 요소들의 일관된 부재를 문서화해야 한다. 즉, 평가팀이 데이터 수집 및 분석 중에 '계획된 요소'와 관련된 데이터를 관찰하지 못했을 경우, 해당 요소의 부재를 창발적인 것으로 간주할 수 있다.

The evaluation team then inspects the data collected and assigned to each category of the abstract dimension, with the aim of judging which programme elements are planned and which are emergent, using Eqn 1. In addition to the unexpected presence of various elements, they must document consistent absence of elements. That is, if the team does not observe data related to a planned element during data collection and analysis, then they would consider its absence as emergent.

시스템의 계획적 요소와 창발적 요소를 정의한 후, 각 범주 내에서뿐만 아니라 범주 간의 모든 요소 사이의 관계를 매핑할 것을 요구한다. 이렇게 철저한 자료수집과 분석과정은 평가단이 교육프로그램에서 '지금 일어나고 있는 일'에 대한 종합지도를 개발할 수 있도록 설계됐다.

After defining the planned and emergent elements of the system, our analysis requires mapping the relationships between all elements within each category as well as between categories. Such a thorough data collection and analysis process is designed to allow the evaluation team to develop a comprehensive map of ‘what is happening’ in the educational programme.

가상 시스템 엔지니어링 정보 프로그램 평가

HYPOTHETICAL SYSTEMS ENGINEERING INFORMED PROGRAMME EVALUATION

예를 단순하게 유지하기 위해, 그림 3은 ADS 추상적 차원에 대한 세 가지 수준만을 보여준다: 과정 목표, 자원이 제공하는 교육 및 학습, 그리고 과정 자원.

To keep the example simple, Figure 3 only illustrates three levels on the ADS abstract dimension: course goals, teaching and learning afforded by resources, and course resources.

따라서 프로그램-특이적 ADS를 생산하면 추상적 차원 수준이 다소 낮아질 수 있으며, 평가자는 분석에 대한 경험에 따라 이러한 수준을 자체적으로 명명할 수도 있다(예: '잠재적 목표potential object'라는 수준을 산출할 수 있다). 레벨이 정의되면 특정 방법을 사용하여 요소를 채운다. 예를 들어 문서 분석, 관찰 및 인터뷰의 결과로 계획된 요소가 작성된다.

Thus, producing a programme-specific ADS might result in more or fewer abstract dimension levels, and evaluators might produce their own labels for these levels, depending on their experience in the analysis (e.g. one might produce a level of ‘potential objectives’). Once levels are defined, the elements are populated using specific methods; for example, planned elements result from document analysis, observations and interviews.

코스 리소스 수준의 분석을 통해 모든 요소가 계획되어 있음을 알 수 있으며, 이는 잘 계획된 프로그램에서 자원이 등장할 가능성이 낮기 때문에 예상할 수 있다. 특히 프로그램 자원은 유형적이고 물질적인 요소일 뿐만 아니라 강사, 교육생, 지원 인력 등 인적 요소도 포함하고 있다. 이 수준에 대한 추가 분석은 일부 요소가 자원 수준에 의해 제공되는 교육 및 학습의 요소와 연결되지 않음을 보여줄 것이다. 이 경우에 평가자는 프로그램에 이러한 연결되지 않은 [자원이 필요하지 않을 수도 있고], 또는 [이들의 존재를 정당화하기 위해 향후 반복에서 연결을 형성할 필요가 있다고 판단]할 수 있다.

An analysis of the course resources level shows that all elements are planned, which might be expected because it is unlikely that resources would emerge in a well-planned programme. Notably, programme resources are not only tangible, material elements, but also include human elements such as instructors, trainees and support personnel. Further analysis of this level would show some elements are not connected to elements in the teaching and learning afforded by resources level. An evaluator might judge that such unconnected resources might not be needed in the programme, or that connections need to be formed in future iterations to justify their presence.

자원 레벨이 제공하는 교육 및 학습을 분석하면, 과정 설계에서 명시적으로 계획되지 않은 두 가지 새로운 교육 및 학습 프로세스(자체 규제 및 피어 투 피어 학습)가 나타난다. 이러한 새로운 요소들의 출현을 통해 교육생들이 코스 목표의 일부를 달성하기 위해 작업하면서 다른 프로세스를 사용하고 있음을 알 수 있다. 평가자와 과정 설계자는 향후 프로그램을 반복할 때, 예를 들어, 이러한 프로세스를 지원할 수 있는 충분한 자원이 있는지 확인함으로써 이러한 프로세스를 설계의 일부로 설명할 수 있다.

Analysing the teaching and learning afforded by resources level reveals two emergent teaching and learning processes (self-regulated and peer-to-peer learning) that were not planned explicitly in the course design. The appearance of these emergent elements shows that trainees are using different processes as they work to reach some of the course goals. Evaluators and course designers, in future iterations of the programme, would account for these processes as part of the design by, for example, ensuring there are enough resources to support them.

'거꾸로 교실' 과정은 다른 요소와 연결되지 않는다.

the ‘flipped classroom’ process is not connected to any other element,

이러한 단절은 중요하다. 왜냐하면 과정 설계자가 다른 기초underpinning 교육 프로세스(연결되지 않은 프로세스와 관련된 간접 자원)로 프로그램을 재설계하거나, 적어도 하나의 프로그램 목표를 달성하는 데 도움이 되는 프로세스와 지원 자원 사이의 연결을 개발할 수 있기 때문이다.

This disconnect is important because course designers could either redesign the programme with different underpinning educational processes (redirect resources associated with the disconnected process) or develop connections between that process and supportive resources that help achieve at least one programme goal.

코스 목표 수준을 분석하면 두 가지 중요한 결과가 나타난다. 첫 번째 발견은 [새로운 목표]인데, 그것은 연습생들이 그들의 또래들과 강한 관계를 형성하는 것을 목표로 했다는 것이다. 비록 이 목표가 초기 코스 설계에서는 고려되지 않았지만, 코스 설계자와 이해관계자는 코스가 진행됨에 따라 개발될 수 있다는 것을 알게 되었고, 그들은 향후 코스 반복에서 그 목표를 공식화하고 지원할 것인지를 결정할 수 있다. 두 번째 발견은 [계획된 '모르면 말하라' 목표]가 ADS에 연관성이 없다는 것으로, 이는 이 과정 반복에서 달성되지 않고 있음을 시사한다. 평가자와 과정 설계자는 이 목표가 달성되지 않는 이유를 분석하고, 이 목표를 달성하도록 과정을 세분화하거나 코스의 목표를 변경하고자 할 수 있다.

Analysing the course goals level reveals two important findings. The first finding is the emergent goal, which is that trainees aimed to create strong relationships with their peers. Although this goal was not considered in the initial course design, course designers and stakeholders would now be aware that it may develop as the course unfolds, and they can decide whether to formalise and support that goal in future course iterations. The second finding is that the planned ‘speak up when you don’t know’ goal has no connections in the ADS, suggesting it is not being achieved in this course iteration. Evaluators and course designers may wish to analyse why this goal is not being achieved, and either refine the course to achieve this goal or change the goals of the course.

본 예에서 제시하는 소규모 과정을 넘어, 평가자는 전체 프로그램과 커리큘럼을 평가하기 위해 우리의 프레임워크를 사용할 수 있으며, 여기서 '프로그램별' ADS는 추상적 및 분해 차원 모두에서 더 많은 수준을 포함할 수 있다고 주장한다.

Beyond the small-scale course we present in our example, we argue that evaluators can use our framework to evaluate full programmes and curricula, wherein the ‘programme-specific’ ADS would contain more levels in both the abstract and decomposition dimensions.

시스템 엔지니어링 정보 프로그램 평가 프레임워크와 대체 프로그램 평가 프레임워크 비교

COMPARING OUR SYSTEMS ENGINEERING INFORMED PROGRAMME EVALUATION FRAMEWORK WITH ALTERNATIVE PROGRAMME EVALUATION FRAMEWORKS

우리는 우리의 프레임워크를 HPE에 공통적인 특정 평가 대안들과 대조한다(표 2 참조).

we contrast our framework with specific evaluation alternatives common in HPE (see Table 2).

결론 

CONCLUSION

우리는 평가자가 Haji et al.5에 의해 기술된 계획적, 창발적 요소를 포착할 수 있도록 돕기 위해 제안된 시스템 엔지니어링 프로그램 평가 프레임워크를 설계했다. 우리는 평가자가 프로그램-특이적 ADS를 만들기 전에 평가자의 출발점이 되도록 기초 교육용 ADS(basic educational ADS)를 개발했다. ADS를 반복적으로 사용하여 프로그램을 지정함으로써 평가자는 시스템의 강건한 표상robust representation of the system을 만들게 되는데, 이는 평가 매개변수가 미리 정의된 HPE에서 사용되는 다른 프로그램 평가 프레임워크와 구별하는데 핵심이다(예: CIPP는 매우 구체적인 초점을 가지고 있다).

We designed our proposed systems engineering programme evaluation framework to help evaluators capture the planned and emergent elements described by Haji et al.5 We developed a basic educational ADS to serve as the starting point for evaluators before they create a programme-specific ADS. By specifying the programme iteratively using the ADS, evaluators create a robust representation of the system, which is key in distinguishing it from the other programme evaluation frameworks used in HPE, where evaluation parameters are predefined (e.g. CIPP has a very specific focus).

교육 프로그램을 [복잡한 사회-기술적 시스템]으로 개념화함으로써, 우리의 프레임워크는 평가자들로 하여금 [프로그램에서 발생가능한 상호작용이 어떻게 새로운 요소들로 이어질 수 있는지]에 주의를 기울이도록 도울 것이다.

by conceptualising educational programmes as complex socio-technical systems, our framework will help evaluators attend to how possible interactions in a programme may lead to emergent elements.

우리는 평가자들이 그들의 평가 문제를 해결하기 위한 원칙, 도구 및 방법을 선택하면서 혼합된 접근법에 사용할 두 개 이상의 프레임워크를 선택할 수 있을 것으로 기대한다. 우리는 우리의 프레임워크가 그러한 혼합된 접근법에 새로운 요소의 독특하고 보완적인 개념화를 추가한다고 믿는다.

We expect that evaluators might choose two or more frameworks to use in a blended approach, selecting principles, tools and methods to address their evaluation question. We believe our framework adds a unique and complementary conceptualisation of emergent elements to such a blended approach.

---

Review

 

. 2018 Apr;52(4):364-375.

 doi: 10.1111/medu.13460. Epub 2017 Nov 6.

How can systems engineering inform the methods of programme evaluation in health professions education?

David Rojas 1 2, Lawrence Grierson 3, Maria Mylopoulos 1 4, Patricia Trbovich 5, Darius Bagli 6, Ryan Brydges 1 2

Affiliations 

Affiliations

• 1Wilson Centre, University of Toronto, Toronto, Ontario, Canada.
• 2Department of Medicine, University of Toronto, Toronto, Ontario, Canada.
• 3Department of Family Medicine, McMaster University, Hamilton, Ontario, Canada.
• 4Department of Pediatrics, University of Toronto, Toronto, Ontario, Canada.
• 5Institute of Health Policy, Management and Evaluation, University of Toronto, Toronto, Ontario, Canada.
• 6Department of Surgery, University of Toronto, Toronto, Ontario, Canada.

• PMID: 29105813
 
• DOI: 10.1111/medu.13460

Abstract

Context: We evaluate programmes in health professions education (HPE) to determine their effectiveness and value. Programme evaluation has evolved from use of reductionist frameworks to those addressing the complex interactions between programme factors. Researchers in HPE have recently suggested a 'holistic programme evaluation' aiming to better describe and understand the implications of 'emergent processes and outcomes'.

Framework: We propose a programme evaluation framework informed by principles and tools from systems engineering. Systems engineers conceptualise complexity and emergent elements in unique ways that may complement and extend contemporary programme evaluations in HPE. We demonstrate how the abstract decomposition space (ADS), an engineering knowledge elicitation tool, provides the foundation for a systems engineering informed programme evaluation designed to capture both planned and emergent programme elements.

Methods: We translate the ADS tool to use education-oriented language, and describe how evaluators can use it to create a programme-specific ADS through iterative refinement. We provide a conceptualisation of emergent elements and an equation that evaluators can use to identify the emergent elements in their programme. Using our framework, evaluators can analyse programmes not as isolated units with planned processes and planned outcomes, but as unfolding, complex interactive systems that will exhibit emergent processes and emergent outcomes. Subsequent analysis of these emergent elements will inform the evaluator as they seek to optimise and improve the programme.

Conclusion: Our proposed systems engineering informed programme evaluation framework provides principles and tools for analysing the implications of planned and emergent elements, as well as their potential interactions. We acknowledge that our framework is preliminary and will require application and constant refinement. We suggest that our framework will also advance our understanding of the construct of 'emergence' in HPE research.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.