테크놀로지-강화 학습 평가하기: 포괄적 프레임워크 (Med Teach, 2015)

테크놀로지-강화 학습 평가하기: 포괄적 프레임워크 (Med Teach, 2015)

Evaluating technology-enhanced learning: A comprehensive framework

David A. Cook & Rachel H. Ellaway

비록 우리가 이 전에 의학교육에서의 평가를 지적한 바 있지만, TEL의 검토와 평가에 대한 지속적 과제를 관찰 한 바 있다. 이것에는 다음의 것들이 포함된다.

Although we have both previously tackled the challenges of evaluation in medical education (Ellaway 2006, 2010a; Cook 2010), we have observed ongoing challenges in the review and evaluation of technology-enhanced learning (TEL), both in practice and in the literature. These challenges include 

• a lack of comprehensiveness or a clear focus on the function of the evaluation, 
• unclear relationships between what happened and what was evaluated, and 
• the absence of a sound conceptual grounding for the subject or the methods of the evaluation. 

의학교육에서 다른 연구자들도 가이드라은과 구체적 도구를 제시한 바 있다. 

Previous authors in medical education have proposed guide- lines (Atkins & O’halloran 1995; Glenn 1996; Olson & Shershneva 2004) and specific instruments (Knight et al. 2004; Alyusuf et al. 2013) for judging the quality of computer- based learning materials. Standards and benchmarks for online instruction have also been proposed for education generally (Merisotis & Phipps 2000; Oliver 2000; Moore 2005; Quality Matters Program2014).

포괄적 평가를 위한 일반적 모델

A general model for comprehensive evaluation

Fig 1은 요구(목적과 가이드 질문)부터 원칙(개념 모델이나 문제 접근법), 실천(구체적인 요소와 평가정보, 정보수집)까지

Figure 1 illustrates a progression from needs (purpose and guiding questions), through prin- ciples (conceptual model or approach to inquiry), to practice (specific elements of desired and evaluation information, to collect this information) in a comprehensive activities evaluation.

TEL 평가의 중요성

The importance of evaluating technology-enhanced learning

TEL은 교육활동을 지원하고 중개하기 위하여 디지털 테크놀로지 활용의 모든 부분을 커버하는 넓은 분야이다. TEL은 웹 기반 기술, 모바일 디바이스와 어플, 컴퓨터, 테블릿, 기타 디지털 기기 등을 모함하며 완전히 디지털-기반으로 이뤄지는 것과 기술을 하이브리드 한 것 등을 포함한다.

TEL is a broad field that covers all uses of digital technology to support and mediate educational activities (Goodyear & Retalis 2010). TEL can involve web-based technologies, mobile devices and apps, computers, tablets, and other digital devices, and may include activities that are entirely digitally-mediated or those that integrate technology into hybrid or blended activities.

의학교육에서 TEL의 평가에 있어서 포커스를 둘 필요가 있다.

Yet, we see a need to focus on the evaluation of TEL in medical education for the following reasons: 

(1) 의학교육에서 새로운 모델의 등장은 불안을 야기한다. 새로운 기술은 이 불안을 증폭시키며, 특히 성공적으로 통합되기 위해서는 설비 투자와 교수개발이 필요하다. TEL활동의 철저한 평가는 이해관계자들의 우려에 잘 반응하는 것이 된다.

(1) There is often great anxiety about new models of medical education. Using new technologies tends to amplify this anxiety, especially given the investments in infrastructure and faculty development required for their successful 962 integration. Responding to these stakeholder concerns necessitates rigorous evaluation of TEL activities. 

(2) TEL의 여러 측면 - 활용가능성, 접근가능성, 자료의 기술적 신뢰도, 학습환경 - 등은 종종 평가의 주류에서 간과되는 것이며, 반면 TEL에서는 더 중요한 역할을 한다.

(2) Aspects of TEL such as usability, accessibility, and technical reliability of materials and learning environment are often overlooked in mainstream evaluation practice but play a much more substantial role in TEL evaluation. 

(3) TEL에서 교사와 학습자의 상호작용은 그 양상이 다르며, 비공식적 평가와 피드백에 관해서 교수-학생 관계는 전통적 방법에서와 그 기회가 다르다. 이는 TEL은 더 종합적 평가 접근법이 필요함을 제시한다.

(3) Because interactions between teachers and learners in TEL tend to be different (i.e. mediated by technology), teacher–learner relationships do not yield the same opportunities for informal evaluation and feedback as do traditional modalities. This suggests that TEL requires a more comprehensive evaluation approach than other educational activities. 

(4) TEL은 더 많은 자료를 만들어낼 수 있다. 다양한 교육적 분석과 빅데이터 분석 기술은 그 절차와 개념 모두에 있어 평가에 대한 새로운 접근법을 제시한다.

(4) TEL can generate much more data (and different kinds of data) than traditional educational approaches. The devel- opment of educational analytics and ‘‘big data’’ analysis techniques affords new approaches to supporting evalu- ation, both procedurally and conceptually (Ellaway et al. 2014b). 

(5) TEL이론과 실천에 관한 최근의 담화는 교육기술에 대한 평가와 다양한 활용맥락에서의 평가를 구분한다. 구체적으로 무엇을(어떻게) 평가하는지에 대해서 더 정밀함이 필요하다. TEL을 

• 기술로서 평가하는 것(신뢰할 수 있는지, 안전한지, 지역 환경과 잘 맞는지, 지속가능한지), 
• 교육 내용으로서 평가하는 것(정확한지, 최신의 것인지, 효과적 학습의 원칙을 따르는지), 
• 더 넓은 범위의 교육활동의 한 부분으로서 평가하는 것(전체적 목표와 성과를 달성하는지)가 구분되어야 한다.

(5) Emerging discourses in TEL theory and practice distin- guish between evaluating an educational technology in its own right and evaluating it in different contexts of use (Ellaway et al. 2014a). A greater precision in what exactly is being evaluated (and how) leads to different lines of inquiry. There are clear differences between evaluating TEL as a technology (is it reliable, safe, aligned to local environment, and sustainable?), evaluating its educational content (is it accurate, current, and in adherence to principles of effective learning?), and evaluating it as part of an overarching educational activity (did it achieve overall objectives and outcomes?) (Ellaway 2014).

니즈, 활용, 질문

Needs, uses, and guiding questions

Box 1 summarizes several of the evaluation frameworks noted below.

활용

Uses

평가의 목적은 총괄 혹은 형성 으로 구분될 수 있다.

The purposes of an evaluation can be broadly classified as summative or formative.

어떻게 교육 인터벤션이 성과에 영향을 주는지, 혹은 개별 참가자 수준/집단이나 교실 수준/기관 수준/전문직 집단 수준/사회적 수준 등 다양한 수준의 이해관계자에게 어떠한 경험으로 다가오는지를 고려해야 한다.

It is also helpful to consider how an educational interven- tion influences outcomes for, or is experienced by, stake- holders at the individual participant level, the group or class level, and the institutional, professional or societal level. 

• 개별 학습자: 무엇을 경험하고 배웠나? At the level of the individual learner, cognitive events might be the primary consideration: what did they experience or learn? 
• 집단: 학습자 간, 교수자 간, 기술 간, 교육자료 간 어떠한 일이 벌어졌나? 전체로서 어떠했는가?
  At the level of the group, observable activity and aggregate performance might be the foci (e.g. what went on amongst the learners and between learners, instructors, technologies, and other materials; and how well did they perform as a whole?). 
• 기관, 사회: 그 인터벤션을 가져온 맥락과 교실 바깥의 사람들 혹은 시스템에 미친 영향
  At the level of the institution or society we might ask about the context that gave rise to the intervention, and the value or impact on people and systems outside the classroom (e.g. the contribution to the mission of a school or to the goals of a national initiative).

질문

Questions

질문은..

• 묘사(무엇이 벌어졌는가?), 
• 정당화(제대로 작동했는가? 비용은 얼마나 들었는가?), 
• 명확화(어떻게, 왜 작동했는가, 어떻게 개선 가능한가) 로 구분가능하다. 명확화 질문은 더 나아가서 
• 설명을 요구하는 것(어떻게 왜 작동했으며, 어떤 경험을 제공했는가)와 
• 실험을 제안하는 것(어떻게 개선할 수 있는가?)로 구분 가능하다. 
• 규범적 질문(무엇이 일어났어야 했는가?)도 할 수 있으며, 이를 '판단'이라고 부를 수도 있다. 

이는 평가 계획시 핵심 질문에 대한 5-영역 모델을 제시한다. (묘사, 정당화, 명확화-설명, 명확화-실험, 판단)

We can classify questions in terms of description (‘‘What was done?’’), justification (‘‘Did it work and at what cost?’’), and clarification (‘‘How or why did it work, and how can it be improved?’’) (Cook et al. 2008).Clarification questions can be further classified as those that seek explanation (‘‘How or why did it work, or how was it experienced?’’) and those that suggest experimentation (‘‘How can it be improved?’’). We can also ask normative questions such as ‘‘What should have happened?’’, which we might label ‘‘judgment’’. This suggests a five-domain model defining key questions for planning an evaluation (i.e. description, justification, clarification-explanation, clarification-experimentation, and judgment).

평가의 일반 모델

General principles of evaluation

목적-지향적 접근: 얼마나 기존 목적이 달성되었는가에 초점을 둠. 과목 목표와 관련 자료에는 등록자 수, 이수자 수, 학습목표, 총 수입과 지출 등이 포함될 수 있다. 목적-지향적 접근은 상대적으로 도입이 직관적이나, 좋은 쪽이든 그렇지 않은 쪽이든 기대하지 못한 발전을 잡아내는데는 실패할 수 있다.

Objectives-oriented approaches focus on how well a priori objectives were met. Course objectives and corresponding data might include enrollment and completion numbers, learning outcomes (knowledge, skills, attitudes), and net income and expenditures. The objectives- oriented approach is relatively straightforward in implementation, but tends to be poorly suited to capturing unexpected developments (good or bad) in the course. 

참가자-지향적 접근: 일반적으로 질적(종종 양적) 접근을 활용하며, 다양한 출처로부터 자료를 수집하고, 귀납적으로 무엇이 벌어졌는가를 넘어서, 왜 그 일이 벌어졌고, 어떤 경험을 가져왔는지를 밝혀준다. 이 접근법은 기대하지 못한 사건을 찾아주며, 큰 프로그램의 복잡성과 로컬-콘텍스트를 잡아내는데 충분한 유연성을 가지고 있다.

Participant-oriented approaches typically use qualitative, and occasionally quantitative, methods to collect data from multiple sources and inductively explore not only what happened, but why it happened and how it was experienced. This approach is responsive to unexpected events, and flexible enough to capture the complexity of large programs and local contexts.

절차-지향적 평가: 과목이나 프로그램의 전체 생활주기를 고려하여, 아이디어의 유래, 프로그램의 도입과 시행, 향후 재반복의 질에 관한 판단과 요약 등

Process-oriented evaluations consider the entire lifecycle of a course or program, from the inception of the idea, through implementation and delivery, to summative and decisions judgments about quality about future iterations.

접근법을 선택하는 것은 기대하는 활용과 관련 질문에 따라 이뤄지며, 혼합적 활용이 유용하다.

The choice of approach depends in large part upon the anticipated  uses and corresponding guiding questions.Combining approaches is often useful

CIPP모델은 절차와 목적 지향을 강조하는 흔한 평가 접근법으로 참가자-지향적 접근도 필요에 따라 포함가능하다. 

The Context-Inputs-Processes-Products (CIPP) model (Stufflebeam 2003) is a common evaluation approach that emphasizes the process (and objectives) orientation, and also accommodates a participant orientation if desired. 

• Context addresses the needs, assets, and opportunities that prompted the change and the desired goals. 
• Inputs consider alternative approaches, feasibility, and cost-effectiveness. 
• Processes focus on the actual development and implementation. 
• Products focus on both short- and long-term outcomes as well as the sustainability and transportability (i.e. practicability of adoption elsewhere) of the intervention. 

많은 경우, 전부는 아니더라도, 평가에 양적 자료가 들어간다. 이러한 성과는 커크패트릭 모델을 활용 가능하다.

Many (but not all) educational evaluations explore quantitative outcomes. Such outcomes can be classified using the hierarchy developed by Kirkpatrick (1996). 

그러나 Yardley and Dornan 는 "각 레벨에서 고려하는 수혜대상자가 다르다"라고 하였으며, 다른 사람들(교사 등)을 모두 배제하는 것 등은 커크패트릭 모델만 활용하는 것이 여러 맥락과 적용에 부적절함을 지적했다.

However, Yardley and Dornan (2012) observe that ‘‘different levels concern different beneficiaries’’ and omit others altogether (such as teachers),suggesting that Kirkpatrick-type outcomes alone will be inadequate for many contexts and applications. 

원칙부터 실천까지: 자료 수집을 위한 구체적 활동

Principles into practice: Specific activities to collect evaluation data

평가를 위해서는 정보가 필요하다. 분석할/해석할/행동을 할 근거가 될 정보가 필요하다. 실용적 관점에서 평가자는 이런것을 물어볼 수 있다 "나의 가이딩 질문에 대답하기 위해서 어떠한 정보가 수집되어야 하는가?" 에 이어서 "이 정보를 어떻게 수집해야 하는가?

Evaluation requires information – information that can be analyzed, interpreted,and acted upon. In a practical sense, then, the evaluator might ask: ‘‘What information should be collected to help answer my guiding questions?’’ (i.e. description, justification, or clarifica-tion), followed by, ‘‘How can I collect this information?’’

1. 요구분석과 환경 분석

1. Conduct needs analysis and environmental scan

형성 단계에서 요구분석은 변화의 필요성을 명확하게 해주고, (보건의료 시스템의 다른 요소와 비교해서) 교육적 변화가 옳은 해결책인지, 그리고 이 변화를 위해서 자원을 사용할 수 있는지를 확인하는 것 등에 도움이 된다.

A needs analysis in the formative stages helps to clearly identify the need for change,determine whether educational change (as con-trasted with adjustments to other components inthe healthcare system) is the correct solution, andconfirm that resources can be marshaled to imple-ment this change (Cook & Dupras 2004). 

변화의 필요에는 다음과 같은 것이 있다.

The need for change can be determined by considering 

• 사회/조직에서 필요로하는 니즈와 능력 organizational/societal needs and capacities required (e.g. specific knowledge and skills by a school or hospital, or emerging regulatory requirements, political trends, and eco-nomic policies), 
• 직업적 요구 occupational needs (the roles and specific capabilities required to meet new or existing organizational needs), and 
• 개인적 요구 individual needs (the target group’s present performance, work environ-ment, and ability to participate in training) (Kernet al. 1998; Training and Executive Development Group 2014). 

이런 니즈는 원래 있었던 혹은 계획된 교육적 경험과 자원(공식 교육과정, 임상 경험, 온라인 지식 출처, 동료, 교수, 활용가능한 테크놀로지) 과 비교되어야 한다.

These needs should be contrasted with educational experiences and resources already exist-ing or planned, including formal courses, clinical experiences, online knowledge resources, peers, and faculty; and with available technology resources(infrastructure and human expertise). 

궁극적으로 변화의 필요성은 교육과정이나 교육방법의 갭(gap)을 확인하여 정당화될 수 있다.

Ultimately, a need for change can be justified by identifying a gap in the 

• curriculum (i.e. inadequate depth or breadth in the specific clinical topic) or agap in the 
• instructional approach (i.e. failure of existing instructional strategies to optimally facilitate learning or reach desired learners). 

2. 절차, 결정, 최종 결과물의 기록

2. Document processes, decisions, and final product

로컬 니즈와 문화에 유기적 반응과 함께 과목의 개발은 다음의 것들을 혼합하게 된다.

The development of a course typically blends

• formal instructional design models (such as 4CID [van Merrie¨nboer et al. 2002],
• conversational exchange [Laurillard 2001], or
• significant learning [Fink 2003]) and
• instructional design processes (such as the Analyze, Design, Develop, Implement, and Evaluate (ADDIE) framework (Morrison et al. 2010)) with an organic response to local needs and culture. 

종합적 평가는 이 과정에서 각각의 활동과 결정을 잘 기록해야 한다.

A comprehensive evaluation will carefully document each activity and decision in this process. 

 

TEL과정을 개발하고 도입하는데 필요한 진짜 비용은 잘 잡히지 않는데, 그래도 잡아야 한다. 

The real cost of developing and implement-ing TEL courses is rarely captured, but should be;

구체적인 절차와 중요한 단계들을 기록하여야 하며, 구체적인 목적과 목표의 개발, 구체적인 교수법의 선택, 구체적인 테크놀로지의 선택과 배치등을 포함한다.

Specific processes or milestones that might be documented include the development of specific goals and objectives, the selection of specific instruc-tional approaches, and the selection and configur-ation of specific technologies. 

3. 활용가능성을 검사하라

3. Test usability

활용가능성은 모든 교육활동에서 중요하며, TEL에서도 마찬가지다.

Usability is likely important particularly in all educational activities, but it is relevant to TEL given its inherent artifacts.

 

dependence on technological mediating

 

활용가능성에 대한 평가는 테크놀로지가 의도한 대로 작동할 때 사용자가 기대한 활동을 얼마나 쉽게 수행할 수 있는가와 더불어 기능과 내용상의 오류를 찾아내는 것을 포함한다. Nielson은 다섯 개의 핵심 요소를 지적했다.

Usability evaluation considers both the ease with which the user can perform desired activities when the technology functions as intended, and also identifies errors in function or content (Krug 2000;Nielsen 2012). Nielsen identified five key elements ofusability (2012):

• 학습능력: 사용자가 테크놀로지를 처음으로 활용하면서 마주하는 기본적 과제를 얼마나 쉽게 달성할 수 있는가
  Learn ability refers to how easily users can accomplish basic tasks the first time they encounter the technology.
• 효율성: 어느 단계를 일단 배웠을 때 얼마나 과제를 잘 수행할 수 있는가.
  Efficiency looks at how well users can perform tasks once they have learned the steps.
• 기억가능성: 한동안 그 테크놀로지 사용하지 않은 다음에 다시 활용할 때 얼마나 능숙하게 활용할 수 있는가
  Memorability refers to how easily learnerscan reestablish proficiency when they return to thetechnology after a period of not using it.
• 에러: 에러의 수, 심각성, 복구 난이도
  Errors, interms of their number, severity, and ease of recoveryfrom, are a fourth key element.
• 만족(사용자):
  Satisfaction (of users)constitutes the final element.

활용가능성에 대한 검사는 Mayer’s multimedia principles 등과 같은 근거에 기반한 교육 테크놀로지의 설계 등도 고려해야 한다.

Usability testing mayalso consider conformance to evidence-based stand-ards for the design of instructional technologies, suchas Mayer’s multimedia principles (Mayer 2005). 

그러나 무결점의 과정을 만들려는 열망은 오히려 생산성을 악화시킬 수 있다. 많은 경우에 개발자는 TEL 인터벤션을 가급적 빨리 내놓고(minimal viable product), 신중하게, 그리고 조심스럽게 결과를 평가하고, 빠르게 근거-기반 개선을 하는게 나을 것이다.

However, aspiring to create flawless course may be counterproductive (Cook2014). In many instances, a developer gains much from releasing a TEL intervention relatively early (the‘‘minimal viable product’’), carefully and deliberately evaluating the result, and then quickly makingevidence-based improvements (Ries 2011). 

4. 도입과 최종 결과물의 핵심 이벤트를 기록하라

4. Document key events during implementation and final product 

문서화는 도입 단계에서도 이어지며 이제는 실제로 버어진 일이 무엇인지에 대한 객관적 설명에 초점을 둔다.

Documentation continues into implementation, now focusing on objective accounts of what actually happens. 

비록 이 문서화 활동이 관찰된 사건을 객관으로 묘사하는 것이지만(다음 단계에서 참여자의 주관적 경험과 비교됨), 문서화를 누가 하는가가 중요한 과정이다. 다양한 사람들은 서로 다른 정보를 가지고 있으며, 서로 다른 것을 받아들이고, 같은 것을 다르게 해석한다. 교육팀의 멤버가 이 기능을 할 수 있으나 어떤 경우에는(distance learning) 학습자가 핵심 사건의 보고자 역할을 할 수 있다.

Although this Documentation activity is about objectively observed events (as compared with thesubjective experiences of participants described inthe next section), those doing part the of documentingconstitute an important the process.Different people may have access to different infor-mation, notice different things, or interpret the samething in different ways. A member of the instructor team would usually perform this function, but insome cases (e.g. distance learning) learners may need to be enlisted as reporters of key events. 

5. 참가자 경험과 만족을 평가하라

5. Assess participant experience and satisfaction

이 활동은 참가자의 TEL 활동에 대한 주관적 경험에 초점을 둔다. 또한 경험에 대하여 이들이 어떤 가치와 의미를 두는지, 그리고 그들이 사용한 자료나 도구의 질에 대한 인식은 어떠한지 등이 포함된다.

This activity focuses on the subjective experiences of participants in a TEL activity, the value and meaning they attribute to those experiences, and their per-ception of the quality of the materials or tools they used. 

6. 학습성과를 평가하라

6. Assess learning outcomes

교육 개입의 효율성과 효과성 평가에서 가장 중요한 요소이다. 교육훈련사건과 관찰된 결과의 관계는 2, 3, 4 레벨로 갈수록 더 어려워진다.

These arguably constitute the most critical element in determining the efficacy and effectiveness of an educational intervention. The link between the training event and the observed out- come becomes more difficult to establish as one progresses from level 2 to 3 to 4 (Cook & West 2013),

 

레벨 2~4의 성과를 타당화하는 것은 다른 연구에서 많이 다뤚ㅆ다.

Since the development and validation of level 2–4 outcomes have been extensively explored in other sources (Kirkpatrick 1996; Case & Swanson 2001; Cook & Beckman 2006; Kogan et al. 2009; Schuwirth & van der Vleuten 2011; Pangaro & ten Cate 2013), we will not discuss these further.

7. 비용, 재활용가능성, 지속가능성을 추정하라

7. Estimate cost, reusability, and sustainability

가장 무시되어왔던, 그러나 가장 중요하다고도 볼 수 있는 평가의 측면은 TEL 과정을 개발, 도입, 유지하기 위해 재정적, 인적, 시설적, 기타 자원 등에 대한 것이다. 각 요소를 찾아내고 그 가치를 매김으로써 교육활동의 진짜 비용을 평가할 때, Levin’s ‘‘ingredients’’ and (Levin 2001) the ‘‘total cost of ownership’’ (TCO) model (Ellaway 2010b) 등은 다음을 포함시킴

One of the most neglected (Zendejas et al. 2013), yet arguably one of the most important (Sandars 2010), aspects of evaluation focuses on the financial, per- sonnel, facilities, and other resource costs required to develop, implement, and maintain a TEL course 2002). (Clune 2002; Hummel-Rossi & Ashdown model Approaches such as Levin’s ‘‘ingredients’’ and (Levin 2001) the ‘‘total cost of ownership’’ (TCO) model (Ellaway 2010b) estimate the true cost of an educational activity by identifying and valuing each component, including costs related to

• equip- ment and materials,
• licensing,
• personnel,
• facilities and infrastructure,
• 학습자가 부담한 비용 learner expenses (such as transporta- tion or meals),
• 상실한 기회 lost opportunities (e.g. lost clinical revenue), and
• 중지된 기존 활동이나 한 medium에서 다른 것으로 옮긴 것 stopping an existing activity or moving it from one medium to another (for instance when the hosting technology changes).

실제 적용

Practical applications

참가자 인식 평가를 위한 새로운 도구

New instruments to assess participant perceptions

To facilitate practical application of this model, we present three generic instruments for capturing the perceptions and experiences of learners and instructors following their partici- pation in a TEL course: the Evaluation of Technology- Perceptions Enhanced Learning Materials for Learner (ETELM-LP) and for Instructor Perceptions (ETELM-IP), and a shortened version of the ETELM-LP for use with very brief courses (ETELM-LP-S); see online supplemental materials.

귀납적, 연역적으로 개발함

We developed the ETELM instruments both deductively and inductively.

질문 중 일부만이 테크놀로지 이슈에 직접적으로 관계된다. 이는 테크놀로지가 TEL에 중요한 요소이지만, 평가는 전체 교육활동에 초점을 둬야 한다는 것.

We note that only some of the questions directly refer to technology issues. This reflects that while technology is an essential mediating factor in TEL, evaluation should focus on the whole educational activity.

간단한 TEL 평가 계획

A simple TEL evaluation plan

우리는 교육자들이 대부분 익숙하지 않음을 안다. 평가 '레시피'를 사용할 수 있다.

We acknowledge that most educators are not trained as evaluators, and may have difficulty planning a comprehensive evaluation (Oliver 2000). One potential solution to this challenge is the use of evaluation ‘‘recipes’’ (Harvey 1998) – brief outlines of evaluation plans designed to address a given audience and need.

 

The Evaluation Cookbook

The Evaluation Cookbook (available at http://www.icbl.hw.ac.uk/ltdi/cookbook/) lists additional evaluation recipes.

Fig 1, Table 1, Table 2 등 활용

In considering the applicability of this work, we note that our general model (Figure 1) and many of the specific activities information elements (Table 1) and evaluation (Table 2) are not specific to the TEL context. Moreover, the ubiquity of TEL in contemporary medical education suggests that in many instances TEL evaluation is becoming synonym- ous with educational evaluation in general. As such, we believe this work has application beyond TEL.

 

 

Cook DA, West CP. 2013. Reconsidering the focus on ‘‘outcomes research’’ in medical education: A cautionary note. Acad Med 88: 162–167.

Schuwirth LW, van der Vleuten CP. 2011. General overview of the theories used in assessment: AMEE Guide No. 57. Med Teach 33:783–797. 

Yardley S, Dornan T. 2012. Kirkpatrick’s levels and education ‘evidence’.Med Educ 46:97–106. 

Pangaro L, ten Cate O. 2013. Frameworks for learner assessment inmedicine: AMEE Guide No. 78. Med Teach 35:e1197–e1210. 

 

---

Med Teach. 2015;37(10):961-70. doi: 10.3109/0142159X.2015.1009024. Epub 2015 Sep 4.

Evaluating technology-enhanced learning: A comprehensive framework.

Cook DA1, Ellaway RH2.

Author information

• 1a Mayo Clinic College of Medicine , USA .
• 2b Northern Ontario School of Medicine , Canada.

Abstract

BACKGROUND:

The absence of a standard, comprehensive approach to evaluating technology-enhanced learning (TEL) limits the utility of individual evaluations, and impedes the integration and synthesis of results across studies.

PURPOSE:

To outline a comprehensive framework for approaching TEL evaluation in medical education, and to develop instruments for measuring the perceptions of TEL learners and instructors.

METHODS AND RESULTS:

Using both theoretical constructs of inquiry in education and a synthesis of existing models and instruments, we outlined a general model for evaluation that links utility, principles, and practices. From this we derived a framework for TEL evaluation that identifies seven data collection activities: needs analysis; documentation of processes, decisions, and final product; usability testing; observation of implementation; assessment of participant experience; assessment of learning outcomes; and evaluation of cost, reusability, and sustainability. We then used existing quality standards and approaches to develop instruments for assessing the experiences of learners and instructors using TEL.

CONCLUSIONS:

No single evaluation is likely to collect all of this information, nor would any single audience likely find all information elements equally useful. However, consistent use of a common evaluation framework across different courses and institutions would avoid duplication of effort and allow cross-course comparisons.

PMID:

 

25782599

 

[PubMed - in process]