의학교육에서 디자인-기반 연구 접근을 활용한 이론과 실천의 다리놓기: AMEE Guide No. 60 (Med Teach, 2012)

의학교육에서 디자인-기반 연구 접근을 활용한 이론과 실천의 다리놓기: AMEE Guide No. 60 (Med Teach, 2012)

Building bridges between theory and practice in medical education using a design-based research approach: AMEE Guide No. 60

DIANA H. J. M. DOLMANS & D. TIGELAAR

Maastricht University, The Netherlands

도입 Introduction

뭐가 문제야?

What is the problem?

의학 교육 연구는 지난 20년 동안 전세계적으로 엄청나게 성장했다. 과학 학술지가 늘고 의료교육 연구 국제회의 참가자도 늘었다(Eva 2009). 그러나 의학 교육 연구는 교육 관행의 개선으로 이어지고 지식의 발전에 기여하는가?

Medical education research has grown enormously over the past 20 years worldwide. The number of scientific journals has increased and also the number of participants at international conferences on medical education research (Eva 2009). But, does medical education research lead to improvements in educational practice and does it contribute toward the advancement of knowledge?

교육 실무자들은 종종 교육 연구와 교육 실무 사이에 차이가 있다고 불평한다(Badley 2003). 일반교육영역 내에서 이뤄지는 연구는 교육실무와 관련이 없다는 주장이다. 의학 교육 연구 내에서는 의학 교육 연구가 지식체나 이론의 증대에 기여하지 않는다는 주장이 종종 제기된다(Albert et al. 2007).

Educational practitioners often complain that there is a gap between educational research and educational practice (Badley 2003). They argue that the research that is conducted within the general education domain is not relevant for educational practice. Within medical education research, it is often argued that medical education research does not contribute toward an increase of a body of knowledge or theory building (Albert et al. 2007).

많은 연구가 이론적 배경이 부족하다(Albert et al. 2007; Norman 2007). 이건 큰 문제야. 이론에 기반을 두지 않는 연구가 행해지고 있다면, 그 기초적인 요소나 원인을 이해하거나 설명하거나 개입이 작용하거나 작용하지 않는 이유를 설명하는 것은 매우 어려워질 것이다.

A number of studies lack a theoretical background (Albert et al. 2007; Norman 2007). This is a big problem. If studies are being conducted that do not rest on theories, then it will become very difficult to understand or explain the underlying factors or causes or to explain why an intervention works or does not work.

교육 연구는 일반 교육과 의료 교육 모두에서 지식체와 이론 구축(Ribes et al. 2008; Monruxe & Rees 2009)과 교육 실무에서 직면하는 문제 이해(Eva 2009)에 모두 기여해야 한다.

Educational research, both in general education and medical education, should both contribute toward the building of a body of knowledge and theories (Reeves et al. 2008; Monrouxe & Rees 2009) and understanding problems encountered in educational practice (Eva 2009).

교육 연구는 [개입이 작동하는지 여부]를 증명하는 데 목적이 있어야 할 뿐만 아니라 이러한 [복잡성을 이해]하는 데도 목적이 있어야 한다(Regehr 2010).

Education research should not only be aimed at proving whether an intervention works or not but also should be aimed at understanding this complexity (Regehr 2010).

본 가이드에서는, 설계 기반 연구(DBR)가 한편으로는 이론 시험과 정교화, 다른 한편으로는 교육 관행 개선에 기여하기 때문에, 연구와 실천 사이의 격차를 해소하는 데 도움이 될 수 있다고 주장할 것이다.

In this Guide, it will be argued that design-based research (DBR) can help to bridge the gap between research and practice, because it does contribute toward theory testing and refinement on the one hand and improvement of educational practice on the other hand.

DBR 뒤의 이론

The theory behind DBR explained

DBR의 특징은 무엇인가?

What are the characteristics of DBR?

• 첫 번째 중요한 특징 중 하나는 DBR이 실험실 환경에서 이루어지는 것이 아니라, 학습이 정상적으로 이루어지는 실세계 환경에서 일어난다는 것이다(Barab & Squire 2004). DBR 연구는 실제 학습 맥락에서 학습의 본질에 대한 복잡한 문제에 초점을 맞춘다(Collins et al. 2004).

One first important characteristic is that DBR does not take place in a laboratory setting, but in a reallife setting where learning normally takes place (Barab & Squire 2004). DBR studies’ focus on complex problems about the nature of learning in a real learning context (Collins et al. 2004).

• DBR의 또 다른 중요한 특징은 설계, 평가, 재설계(Design-Based Research Collective 2003)의 연속적인 사이클에서 일어난다는 것이다. 따라서 설계는 진정한 학습 환경에서 시험되거나 평가된다. 평가는 새로운 통찰력으로 이어지며, 이에 기초하여 설계를 더욱 개선하거나 재설계할 수 있다.

Another important characteristic of DBR is that it takes place in continuous cycles of design, evaluation, and redesign (Design-Based Research Collective 2003). Thus, a design is tested or evaluated in an authentic learning environment. The evaluation leads to new insights, based on which the design can be further improved or redesigned.

• DBR의 세 번째 중요한 특징은 학습 환경의 설계가 이론적 원리에 기초한다는 것이다. DBR은 이론의 진보를 목표로 한다(Barab & Squire 2004). 이론은 많은 다른 변수들이 상호 작용하는 교육 같은 복잡한 환경에서 특정한 상황에서 어떤 것이 어떻게 작용하거나 작용하지 않는지를 이해하는 데 도움을 주기 때문에 교육 연구에서 매우 중요하다. 즉, 좋은 DBR은 이론과 실무를 발전시킨다(Barab & Squire 2004).

A third important characteristic of DBR is that the design of the learning environment is based on theoretical principles. DBR is aimed at advancing theories (Barab & Squire 2004). Theories are very important in education research because they help us to understand how or why something works or does not work under particular circumstances in a complex environment such as education, in which many different variables interact with each other. In other words, good DBR advances theories and practice (Barab & Squire 2004).

• DBR의 네 번째 중요한 특성은 설계 평가에 단일 방법을 사용하지 않으며, 혼합 방법 연구가 특징이다. 학생, 교사, 학습 자료 및 평가 도구 사이의 복잡한 상호작용을 더 잘 이해하기 위해 DBR은 어떤 상황에서 어떤 것이 작용하는지 명확히 하는 양적 방법과 질적 방법 모두를 혼합한 방법을 사용한다. 한 연구 내의 혼합된 방법은 자연 환경에서 복잡한 상호작용을 연구할 때 매우 유용하다. 왜냐하면 그 연구 결과가 서로 보완될 수 있고, 결과를 교차 점검할 수 있고 불일치를 발견할 수 있게 할 수 있기 때문이다(Schifferder & Reed 2009).

A fourth important characteristic of DBR is that not a single method is used to evaluate the design, but DBR is characterized by mixed-methods studies. In order to better understand the complex interactions between students, teachers, learning materials, and assessment tools, DBR makes use of mixed methods, both quantitative and qualitative methods that clarify what works under which circumstances. Mixed methods within one study are very useful when studying complex interactions in natural settings, because the findings may complement each other, make it possible to cross-check findings and make it possible to discover inconsistencies (Schifferdecker & Reed 2009).

• DBR의 다섯 번째 중요한 특징은 서로 다른 전문지식을 가진 설계자, 연구자 및 실무자들이 학습 환경을 설계, 평가 및 재설계하는데 긴밀히 협력한다는 것이다(Barab & Squire 2004). 그들은 서로 자주 교류하고 소통하며, 그들의 생각을 공유하며, 함께 이론과 실무를 다듬는다. 그래서 디자이너, 교사, 연구자와 연구자가 협력하여 전파한다. 이것은 교사와 학습자들의 소유권과 헌신을 만드는 데 기여한다. 또한, 그 디자인이 교육 실무에서 어떻게 재해석되고 각색되는지 명확히 한다(Design-Based Research Collective 2003).

A fifth important characteristic of DBR is that designers, researchers, and practitioners with different expertise work closely together in designing, evaluating, and redesigning the learning environment (Barab & Squire 2004). They interact and communicate with each other frequently, share their ideas, and together refine theories and practice. So, designers, teachers, and research and researchers collaborate in conducting the disseminating it. This contributes toward creating ownership and commitment from teachers and learners. It also makes us clear on how the design is reinterpreted and adapted in educational practice (Design-Based Research Collective 2003).

표 1. DBR의 다섯 가지 중요한 특성.

Table 1. Five important characteristics of DBR.

설계, 평가 및 재설계의 연속적인 사이클에서 수행

Takes place in continuous cycles of design, evaluation, and redesign

학습이 정상적으로 이루어지는 실제 학습 환경에서 수행

Takes place in authentic real-life learning settings where learning takes place normally

이론을 테스트하고 다듬는 동시에 실무의 진보를 목표로 함

Is aimed both at testing and refining theories and also advancing practice

혼합 방법 연구가 특징임

Is characterized by mixed-methods studies

서로 다른 전문지식을 가진 설계자, 연구자 및 실무자가 자주 상호 작용하여 아이디어를 공유

Designers, researchers, and practitioners with different expertise interact frequently and share their ideas

DBR의 짧은 역사

A short history of DBR

DBR 또는 설계 연구는 1990년대 초반에 처음 설명되었다(Ribes et al. 2005). 1992년 브라운(1992년)이 디자인 실험이라는 용어를 도입한 이유는 그 때부터 학습을 연구하기 위해 사용한 방법론의 틈새를 설계 실험이 채울 수 있다는 의견 때문이었다(Collins et al. 2004). [설계 실험design experiment]은 실제 학습 맥락에서 학습의 본질에 관한 이론적 질문을 다루고 이론 원리에 기초하여 교육 설계를 시험하고 다듬는 형성적 평가를 실시하는 것을 목적으로 했다(Collins et al). 2004년). 그 때부터 문헌에서는 설계 실험, 설계 연구, 개발 연구, DBR 등 다른 용어가 사용되고 있다. 이 용어는 서로 바꾸어 사용할 수 있지만, 본조에서는 설계 기반 연구 또는 DBR이라는 용어를 사용한다.

DBR or design research was first described in the early 1990s (Reeves et al. 2005). In 1992, the termdesign experiments was introduced by Brown (1992) because she was of the opinion that design experiments could fill a niche in the methodologies that were used since that time to study learning (Collins et al. 2004). Design experiments were aimed at addressing theoretical questions about the nature of learning in a real learning context and at conducting formative evaluations that test and refine educational designs based on theoretical principles (Collins et al. 2004). Since that time, different terms are being used in the literature such as design experiments, design research, development research, and DBR . The terms can be used interchangeably, but in thisarticle, we use the term design-based research or DBR.

DBR 및 기타 접근 방식

DBR and other approaches

지금까지 이 가이드를 읽은 후 일부 독자들은 DBR이 형성적 평가 또는 행동 연구, 즉 강사가 이를 개선하기 위해 자신의 교수 실습을 연구하거나 평가하는 연구의 새로운 단어라는 결론을 내릴 수 있다. DBR은 설계, 평가 및 재설계의 반복적이고 순환적인 과정과 같이 이러한 접근방식이 많은 공통점을 가질 수 있음에도 불구하고 형성적 평가 연구나 행동 연구action research와는 다르다. DBR은 특정 개입이 특정 기본 표준을 충족하는지 또는 어떤 측면의 개입에 개선이 필요한지를 형성적으로 평가하는 문제만은 아니다.

After having read this Guide so far, some readers might come to the conclusion that DBR is a new word for formative evaluation or action research; i.e., research in which instructors study or evaluate their own teaching practice in order to improve it. DBR is different from formative evaluation studies or action research, even although these approaches might have a lot in common, such as the iterative and cyclic process of design, evaluation, and redesign. DBR is not only a matter of formatively evaluating whether a particular intervention meets certain basic standards or which aspects of the intervention need improvement.

좋은 DBR은 또한 복잡한 학습 환경의 특성에 관한 이론을 시험하거나 다듬는 것을 목적으로 한다(Design-Based Research Collective 2003). 즉, 그 개입이 시험과 밀접하게 연결되어 있는 것은 이론과 정교함, 그리고 학습 환경을 설계하고 개선하는 데 얽혀 있는 이론들이다. [이론과의 연관성]은 DBR과 형성적 평가 또는 행동 연구의 기본적인 차이점이다. DBR은 학습 및 학습 환경에 대한 이론적 지식을 발전시키는 것을 목적으로 한다(Barab & Squire 2004). 이론적 토대와 주장claims이 DBR 접근법의 핵심이다(리브스 외 2005).

Good DBR is also aimed at testing or refining theories about the nature of complex learning environments (Design-Based Research Collective 2003). In other words, the interventions are closely connected to the testing is theories and refinement and of theories intertwined with designing and improving the learning environment. The connection with theory is the basic difference between DBR and formative evaluations or action research. DBR is aimed at advancing theoretical knowledge about learning and learning environments (Barab & Squire 2004). Theoretical foundations and claims are at the heart of the approach (Reeves et al. 2005).

DBR 및 혼합 방법 연구

DBR and mixed-methods research

또한 명심해야 할 중요한 것은 DBR이 여러 가지 방법을 사용한다는 것이다. 

• 서로 다른 변수가 서로 어떻게 영향을 미치는지에 대한 통찰력을 제공하는 방법. 

• 결과뿐만 아니라 개입이 왜 작용하는지, 어떻게 작용하지 않는지를 설명할 수 있는 기본 프로세스에 대해서도 주의를 기울이는 방법. 

실험실 환경에서 실험 연구는 DBR에서는 수행되지 않는다. 교육 개입에서 통제된 실험은 다소 환원적이고 사소한trivial 운동으로 이어질 수 있다는 문제 때문이다(Gruppen 2008).

What is also important to keep in mind is that DBR uses multiple methods; 

• methods that provide insight in how different variables influence each other; and 

• methods in which not only attention is paid to outcomes but also to the underlying processes that could explain why and how an intervention does work or not. 

Experimental studies in laboratory settings are not conducted within DBR. The problem is that controlled experimentation in educational interventions may lead to a rather reductionist and trivial exercise (Gruppen 2008).

우리는 통제된 실험이 절대 실행되어서는 안 된다고 주장하지 않는다. 그러나 이론과 교육 실습의 시험과 정교함을 모두 향상시키는 진정한 학습 환경에서 학습의 본질에 대한 연구 질문에 답하려면 DBR 접근법과 혼합된 방법론을 사용해야 한다. 혼합 방법 연구는 단일 연구에서 양적, 질적 연구 기법, 방법 또는 접근법을 사용하는 연구에 대한 접근법이다(Johnson & Onwegbuzie 2004).

We do not argue that controlled experiments should never be done. But, if we want to answer research questions about the nature of learning in authentic learning environments that both enhance the testing and refinement of theories and educational practice, we should use a DBR approach and a mixed-methods approach. Mixed-methods research is an approach to research in which quantitative and qualitative research techniques, methods, or approaches are used in a single study (Johnson & Onwuegbuzie 2004).

앞서 설명했듯이 연구자들이 서로 보완하고 강화하는 다른 전략과 방법을 이용해 복수의 데이터를 수집해야 한다는 취지다. 질적 방법은 DBR에서 중요한 역할을 한다. 정성적 방법은 풍부한 데이터를 생성하며 서로 다른 관점을 더 깊이 이해할 수 있다(Kuper et al. 2008). 질적 데이터는 복잡한 현상이 발생하는 방법과 이유를 탐구하고 동적 과정을 연구할 수 있도록 해준다(Johnson & Onwegbuzie 2004). 그러나 질적 데이터가 실제로 복잡한 현상을 설명하는 데 기여하는지는 물론 [질적 데이터가 잘 분석되고 조사 결과를 설명하는 데 기여하는지]에 달려 있다. 그저 테마들 사이의 관계는 설명하지 않고 데이터에서 나온 주제들을 설명하기만 해서는 안 된다(Pope & Mays 2009).

The idea is that researchers should collect multiple data using different strategies and methods that complement and strengthen each other, as also explained before. Qualitative methods play a crucial role in DBR. Qualitative methods generate rich data and can lead to deeper understanding of differing perspectives (Kuper et al. 2008). Qualitative data lend themselves to explore how and why complex phenomena occur and to study dynamic processes (Johnson & Onwuegbuzie 2004). But, whether qualitative data indeed contribute toward explaining complex phenomena is of course dependent on whether qualitative data are well analyzed and contribute toward explaining the findings and not just describing the themes that emerged from the data without explaining the relationships between the themes (Pope & Mays 2009).

실천에서 이론 The theory in practice

DBR 연구의 맥락

The context of the DBR studies

본 기사의 저자들이 참여한 DBR의 예는 고등교육의 맥락 안에서 교사의 전문적 발전을 촉진하기 위한 교수 포트폴리오의 개발을 다루었다(Tigela et al. 2006b, 2008). [평가, 교사의 전문적 개발 및 교수 포트폴리오에 관한 현대적 이론]이 교수 포트폴리오 프로토타입을 개발하기 위해 사용되었다(Tigelaar 등). 2004b).

An example of DBR in which the authors of this article were involved dealt with the development of a teaching portfolio for stimulating teachers’ professional development within the context of higher education (Tigelaar et al. 2006b, 2008). Modern theories on assessment, teachers’ professional development, and teaching portfolios were used to develop a teaching portfolio prototype (Tigelaar et al. 2004b).

교수 포트폴리오는 서로 다른 측정 기구를 포함하고 서로 다른 교수 역량과 관련되며 피드백이 중요한 역할을 하는 진정한 평가 도구다. 학습에 대한 구성주의적 견해와 그에 따른 학습과 평가의 정렬 필요성에 따라, 우리는 고등교육에서 형성적 목적과 총괄적 목적 모두에 적합한 교수 포트폴리오의 절차를 개발하고자 했다. 포트폴리오는 교사들에게 가르치는 과정에서 발생하는 학습 과정에 대한 통찰력을 주어야 하며, 동시에 승진 결정에 대한 적절한 근거를 제공해야 한다. 즉, 실제 교육 성과에 기초하여 교사 경력career을 추구persue할 수 있는 [타당한 결정]을 제공해야 한다. 이러한 결합된 목표는 포트폴리오 절차의 품질과 판단 방법에 높은 요구를 한다. 따라서 본 논문에서 다룬 일반적인 문제의 정의는 다음과 같다.

A teaching portfolio is an authentic assessment tool in which different measurement instruments are included, related to different teaching competencies, and in which feedback plays a crucial role. In line with constructivist views of learning and the corresponding need for alignment of learning and assessment, we wanted to develop a procedure for a teaching portfolio that was suitable for both formative and summative purposes in higher education. The portfolio should give teachers insight into their learning processes that occur as they are teaching and at the same time it should provide an appropriate basis for promotion decisions, i.e., decisions about the feasibility of pursuing a career in teaching on the basis of actual teaching performance. These combined objectives place high demands on the quality of the portfolio procedure and the judgment methods. Thus, the definition of the general problem that we addressed in this thesis was:

형성적 목적과 총괄적 목적 모두에 적합하기 위해 어떤 형태의 교육 포트폴리오를 취해야 하며, 그러한 포트폴리오의 품질을 어떻게 보장할 수 있는가?

What form should a teaching portfolio take to be appropriate for both formative and summative purposes and how can the quality of such a portfolio be guaranteed?

포트폴리오의 설계, 평가 및 재설계와 관련된 다른 단계들은 아래에 설명되어 있다. 또한, 상기 DBR의 5가지 특성이 어떻게 실제 적용되었는지에 대해서도 설명한다. 또한 이 DBR 연구에서 이론시험과 이론의 정교화와 실천의 진보가 어떻게 결정적인 역할을 했는지에 대해서도 설명한다.

The different steps involved in the design, evaluation and redesign of the portfolio are explained below. In addition, it is illustrated as to howthe five characteristics of DBR above were applied in practice. It is also illustrated how theory testing and theory refinement and advancement of practice played a crucial role in this DBR study.

포트폴리오의 설계, 평가 및 재설계의 지속적인 사이클

Continuous cycles of design, evaluation, and redesign of the portfolio

이론적 기초와 설계, 평가 활동 및 재설계를 정의하는 순환 과정이 형태 형성적 및 요약적 교사 평가를 위한 포트폴리오 절차의 개발의 기초가 되었다. 이 연구는 세 가지 주요 단계로 구성되었다.

A cyclic process of defining theoretical underpinnings and design, evaluation activities, and redesign was the basis for the development of a portfolio procedure for both formative and summative teacher assessments. The research consisted of three main steps:

(1) 분석 및 재설계 

(2) 평가 및 재설계 

(3) 분석 및 재설계

(1) Analysis and redesign; 

(2) Evaluation and redesign; and 

(3) Analysis and redesign

첫 번째 분석 및 재설계 단계는 두 개의 하위 단계로 구성되었다. 

The first analysis and redesign phase consisted of two substeps. 

• 1a단계에서는 고등교육의 교육역량 프레임워크를 개발, 검증하여, 교사의 고등교육 수행평가를 위한 출발점으로 활용할 수 있도록 하였다. 이 틀은 교육 전문가들이 ''고등교육에 경험이 많은 교사에게 각 영역에서 다음과 같은 교수 역량이 얼마나 중요한가?'라는 질문에 답하도록 하는 델파이 연구를 통해 개발되었다.’’

In step 1a, a framework for teaching competencies in higher education was developed and validated, which could be used as a starting point for appraisal of teachers’ performance in higher education. This framework was developed by means of a Delphi study in which educational experts were asked to answer the question: ‘‘How important are the following teaching competencies in each domain for an experienced teacher in higher education?’’

• 1b단계에서는 이론적 기초에 기초하여 교원양성과 평가를 위한 교수 포트폴리오의 프로토타입이 개발되었다. 이 프로토타입은 포트폴리오를 재설계한 후 포트폴리오 전문가의 의견에 따라 테스트되었다.

In step 1b, a prototype for a teaching portfolio for teacher development and assessment was developed based on theoretical underpinnings. This prototype was tested against the opinions of portfolio experts after which the portfolio was redesigned.

평가 및 재설계 단계는 2a, 2b, 2c 단계로 구성되었다.

The evaluation and redesign step consisted of steps 2a, 2b, and 2c.

• 2a단계에서는 설계를 구체화하고 수정하기 위해 소규모 연구에서 포트폴리오의 형성적 기능을 탐구했다. 우리는 포트폴리오 과제를 분석하여 교사들의 기능 측면에 대한 성찰의 다양한 예시를 파악했다.

In step 2a, we explored the formative function of the portfolio in a small-scale study in order to specify and revise the design. We analyzed portfolio assignments to identify illustrative teachers’ a variety examples of reflections on of aspects of their functioning.

• 2b단계에서는 포트폴리오 작업 과정에서 교사의 협력적 성찰의 질을 분석했다. 참여 교사들의 동료 회의 영상 녹화는 세부적인 방식으로 분석되었다.

In step 2b, we analyzed the quality of teachers’ collaborative reflections during the process of working on the portfolio. Video recordings of peer meetings from the participating teachers were content analyzed in a fine-grained way.

• 2c단계에서는 포트폴리오에 의한 교사의 전문적 발전 자극과 관련된 활성화 및 비활성화 요인을 조사했다. 우리는 또한 교사들이 그 포트폴리오가 전문적 발전을 촉진하고 교육 분야의 직업 전망에 대한 종합적인 결정을 위한 좋은 도구라고 생각하는지 문의했다.

In step 2c, we examined enabling and disabling factors in relation to the stimulation of teachers’ professional development by the portfolio. We also inquired whether teachers thought the portfolio was a good instrument for fostering professional development and for summative decisions about prospects for a career in education.

3단계에서는 정성적 데이터를 평가하는 방법에 대한 이론적 관점을 분석하여 교육 포트폴리오 평가를 위한 품질 기준이나 설계 지침을 정의했다. 본 연구에서 제시된 주장에 기초하여, 교수 포트폴리오에 대한 평가 절차의 구성을 위한 설계 지침이 개발되었다.

In step 3, we defined quality criteria or design guidelines for assessing teaching portfolios based on an analysis of a theoretical perspective on how to assess qualitative data. On the basis of the arguments presented in this study, design guidelines were developed for the organization of assessment procedures for teaching portfolios.

마지막으로, 우리는 일반적인 문제 정의와 목표로 돌아가 우리의 설계와 개발 노력에서 배운 것뿐만 아니라 이론적 기초와 교수 포트폴리오의 실제 구현에 관한 시사점에 대해 토론했다.

Finally, we returned to the general problem definition and aims and discussed what we learned from our design and development efforts as well as the implications with regard to the theoretical underpinnings and the practical implementation of teaching portfolios.

이번 연구는 설계, 평가, 재설계 등의 순환 과정으로 진행됐다. 

The research was carried out as a cyclic process of design, evaluation, and redesign. 

• 1b단계에서는 포트폴리오 평가 경험이 풍부한 교육자에게 포트폴리오 프로토타입을 평가하도록 했다. 이로 인해 포트폴리오 설계 지침이 몇 가지 갱신되었다. 예를 들어, 교사의 창의성과 학습 과정을 촉진하기 위해 포트폴리오 구조가 개방적이고 유연해야 하며 지나치게 규범적이지 않아야 한다는 설계 지침이 있다.

In step 1b, educationalists with ample experience with portfolio assessment were asked to evaluate the portfolio prototype. This resulted in several updates of the portfolio design guidelines. For example, The design guideline that the portfolio structure should be open and flexible and not be too prescriptive, in order to stimulate teachers’ creativity and learning processes.

• 2단계에서는 일정한 형성적 평가 과정도 수행했다. 포트폴리오 설계는 다음을 기반으로 업데이트 되었다. 다양한 포트폴리오 과제에 의해 추진되는 교사의 성찰 내용 분석 (2a 단계)

  동료 회의 중 교사의 협력적 성찰의 질에 대한 세분화된 분석 (2b 단계)

  포트폴리오의 유용성에 대한 교사들의 의견 (2c 단계) 

  이는 예를 들어, 교사 개인의 필요에 따라 포트폴리오를 조정할 수 있는 가능성을 열기 위해 차별화된 포트폴리오 과제를 사용해야 한다는 지침에서 비롯되었다.

In step 2, a constant formative evaluation process was carried out as well. The portfolio design was updated based on
an analysis of the content of teachers’ reflections promoted by the different portfolio assignments (step 2a, Tigelaar et al. 2004b),
a fine-grained analysis of the quality of teachers’ collaborative reflections during the peer meetings (step 2b, Tigelaar et al. 2008), and
teachers’ opinions about the usefulness of the portfolio (step 2c, Tigelaar, et al. 2006b).
This resulted, for example, in the guideline that differentiated portfolio assignments should be used in order to open the possibility to tailor a portfolio to a teacher’s individual needs.

• 포트폴리오 평가를 위한 가이드라인을 구체화하는 데 초점을 맞춘 3단계에서는 설계 가이드라인도 업데이트하는 결과를 낳았다. 문헌 연구에 기초하여, 우리는 이론적 기초와 설계 지침을 업데이트했다. 포트폴리오 평가에 대한 가장 적절한 접근방식은 포트폴리오 내 정보의 질적 특성에 대한 정의가 작용하기 때문에 hermeneutic, 해석적 접근방식이 될 것이라고 결론지었다.

Step 3, which focused on specifying the guidelines for portfolio assessment, resulted in an update of the design guidelines, too. On the basis of a literature study, we updated our theoretical underpinnings and design guidelines. We concluded that the most appropriate approach to portfolio assessment would be a hermeneutic, interpretative approach, because this would do justice to the qualitative nature of the information in portfolios.

또한, 우리는 포트폴리오 평가 프로세스에 대한 설계 가이드라인을 구축하기 위해 [헤르메뉴틱, 해석적 연구에 사용되는 기준](Guba & Lincoln 1989년)이 가장 적합하다고 결론지었다. 우리는 가능한 한 권력power의 불균형이 거의 없는 상태에서 우리의 조형적이고 포괄적인 포트폴리오 평가 절차가 청취, 대화 및 의견 교환으로 특징지어지는 과정이 되도록 설계 지침을 재설계했다.

In addition, we concluded that criteria that are used in hermeneutic, interpretative research (Guba & Lincoln 1989) would be the most appropriate ones for building design guidelines for portfolio assessment processes. We redesigned our design guidelines in such a way that our formative and summative portfolio assessment procedure would be a process that is characterized by listening, dialog, and exchange of views with as little imbalance of power as possible.

설계 지침의 몇 가지 예는 다음과 같다: 

• 평가자는 포트폴리오의 모든 증거를 신중히 고려해야 하며, 포트폴리오 증거에서 대수를 검색하면서 동료 평가자와 그들의 해석에 도전해야 한다. 

• 후보자에게는 포트폴리오에 대한 평가 기준과 해석에 대해 토론할 수 있는 기회가 주어지고 최종 판단이 내려지기 전에 포트폴리오에 정보를 추가할 수 있는 기회가 주어진다.

Some examples of design guidelines are: 

• Assessors should carefully consider all evidence in a portfolio, and challenge their interpretations with a peer assessor, searching for counterexamples in the portfolio evidence. 

• Candidates should be given the opportunity to discuss about assessment criteria and interpretations about their portfolio and be given the chance to add information to their portfolio before final judgment is being made.

실제 설정

Authentic, real-life settings

평가(2a, 2b, 2c 단계)는 진실한authentic 실생활 환경에서 수행되었다. 5명의 경험 많은 선생님들과 그들의 개인 코치들이 이번 연구에 참여하였다.

The evaluation (steps 2a, 2b, and 2c) was carried out in an authentic, real-life setting. Five experienced teachers and their personal coaches were involved in the study,

평가 단계 동안, 미래 종합 사용의 선택권은 열려있었지만, 교육 포트폴리오의 목적은 주로 형성적이었다. 우리는 교사들에게 다음과 같은 교사들의 역할에 따라 포트폴리오를 구성하도록 요청했다. 2004a:

During the evaluation phase, the purpose of the teaching portfolio was primarily formative, although the option of future summative use was kept open. We asked the teachers to organize the portfolio according to the following roles of teachers: (Tigelaar et al. 2004a):

. 교사로서의 사람, 내용 지식 전문가, 학습 과정 촉진자, 조직자, 학자/평생 학습자. 

. the person as a teacher, expert on content knowledge, facilitator of learning processes, organizer, and scholar/ lifelong learner. 

게다가 교사들은 다음과 같은 6가지 과제를 수행했다. 

In addition, teachers carried out six assignments: 

. 당신의 교수 경력 이력을 설명하시오. 

. 교사로서 당신의 발전에 있어 중요한 사건들을 기술하시오. 

. 개인 학습 목표를 설계하고, 증빙 자료를 선택하시오. 

. 좋은 선생님의 프로필을 작성하시오

. 반성적인 포트폴리오를 짜시오

. describe your teaching career history; 

. describe critical incidents in your development as a teacher; 

. design personal learning goals; select evidential materials; 

. compose a profile of a good teacher; and 

. compile a reflective portfolio.

각각의 과제가 끝난 후, 교사들은 교대로 두 가지 유형의 사회적 상호작용 중 하나를 수행했다: 개인 코치와 세 번의 만남, 그리고 또래 회의에서 세 번의 만남. 사회적 상호작용을 통해 지원 및 피드백, 심층 분석, 실천 개선 제안, 교사의 인식에 대한 성찰 장려, 자신의 교육실무를 보다 잘 이해하기 위한 결정 등을 통해 과제의 효과를 강화할 수 있을 것으로 기대되었다.

After each assignment, the teachers alternately engaged in one of two types of social interactions: three meeting with their personal coach and three at a peer meeting. The social interactions were expected to reinforce the effects of the assignments through support and feedback, in-depth analysis, suggestions for improving practice, encouragement for teachers to reflect on their perceptions, and decisions in order to better understand their own teaching practice.

이론 테스트 및 정제 및 개선 실습

Testing and refining theory and advancing practice

위의 설명에서, [교사의 창의성과 학습 과정을 자극하기 위해서는], 연구들은 (포트폴리오 구조와 같이) 실천을 개선하기 위한 가이드라인이 개방적이고 유연해야 하며 너무 규범적이어서는 안 된다는 것이 분명해졌다. 아래에서는 형태 형성 평가 동안 지속적으로 그것들을 시험한 결과, 이론적 기초( – 교사 – 학습에 관한 이론에서 파생됨)가 얼마나 정제되었는지 더 자세히 설명한다.

From the description above, it became clear that the studies revealed design guidelines that advanced practice, such as the portfolio structure should be open and flexible and not be too prescriptive, in order to stimulate teachers’ creativity and we learning processes. Below, we illustrate further how refined our theoretical underpinnings (derived from theories about – teacher – learning) as a result of constantly testing those during the formative evaluations,

포트폴리오의 이론적 기초에 대한 첫 번째 개선은 포트폴리오의 목적을 다루었다. 우리는 평가에서 학습, 교육, 평가의 높은 일관성이 요구된다는 이론적 기초에서 출발했다. 이를 흔히 학습과 평가의 높은 일관성이 있는 '정렬alignment'의 원칙이라고 한다(Biggs 1996). 우리의 관점은 포트폴리오가 교사의 학습과 전문적 발전(형성적 기능)을 촉진하고 교육적 직업의 가능성(요약적 기능)과 같은 문제에 대한 결정의 근거를 제공해야 한다는 것이었다. 딜레마는 이것이 두 가지 유형의 목표를 바람직하지 않은 간섭을 일으킬 수 있다는 것이다. 문헌에 따르면 교사 학습 과정에 부정적인 역효과(backwash)가 있을 수 있다. 예를 들어, 교사들은 총괄 평가 기준과 관련하여 자신의 강점만을 제시하려고 할 수 있다(Biggs 1996, 1999).

A first refinement of our theoretical underpinnings of the portfolio dealt with the purpose of the portfolio. We departed from the theoretical underpinning that in assessments, a high consistency between learning, instruction, and assessment is required. This is often referred to as the principle of ‘‘alignment,’’ that is a high consistency between learning and assessment (Biggs 1996). Our viewpoint was that a portfolio should stimulate teachers’ learning and professional development (formative function) and provide a basis for decisions about issues such as the possibility of an educational career (summative function). The dilemma is that this may cause undesirable interference of the two types of goals. The literature indicates that there may be negative backwash effects on teacher learning processes, for instance teachers might be only willing to present their strong points in relation to the criteria for summative assessment (Biggs 1996, 1999).

이것은 교사들의 학습 과정과 그들의 전문적 발달과 같은 [형성적 기능]을 심각하게 약화시킬 것이다. 왜냐하면 그것은 개선이 필요한 영역이 피드백과 비판적 성찰에 노출되지 않은 채로 남아 있을 것이기 때문이다. 평가가 학습을 촉진한다고 알려져 있으므로(Longhurst & Norton 1997), 평가 과정은 의미 있는 학습 경험을 제공할 수 있도록 설계되어야 한다. 우리의 연구는 [교사의 학습과 그들의 전문적 발전]에 주안점을 두고 평가 과정이 신중하고 신뢰할 수 있는 방식으로 수행된다면, 두 가지 목표가 하나의 포트폴리오 절차로 결합될 수 있다는 것을 보여주었다. 포트폴리오 프로토타입에 대한 전문가 자문부터, 그리고 교육 포트폴리오의 유용성에 대한 참가자의 의견을 바탕으로 포트폴리오 목적에 관한 이론적 토대를 정비했다.

This would seriously weaken the formative function, i.e.: teachers’ learning processes and their professional development, because it would mean that areas that need improvement would remain underexposed to feedback and critical reflection. Since it is known that assessment drives learning (Longhurst & Norton 1997), assessment processes should be designed to provide meaningful learning experiences. Our studies demonstrated that the two aims can be combined in one portfolio procedure as long as the primary focus is on the learning of teachers and their professional development and the assessment process is performed in a careful and trustworthy manner. From our consultation of experts about the portfolio prototype (Tigelaar et al. 2004b), and on the basis of participants’ opinions on the usefulness of the teaching portfolio (Tigelaar et al. 2006b), we refined our theoretical underpinning with respect to portfolio purpose.

우리는 처음부터 총괄적 결정을 위해 사용할 수 있다는 것이 교사들로 하여금 그들의 포트폴리오에 대해 일하도록 동기를 부여한다고 주장했다. 분명, 본질적인 동기 부여가 교사들이 그들의 포트폴리오와 그들의 교육 성과에 대한 성찰에 시간을 소비하는 충분한 동기 부여라고 기대하는 것은 현실적이지 않다. 교사들 또한 궁극적인 목표와 이익이 그들의 노력을 가치 있게 만든다는 것을 확신할 필요가 있다. 따라서 우리는 가능한 한 권력의 불균형이 적은 분위기에서 좋은 가르침에 대한 의견 교환과 평가 기준에 대한 피드백과 대화로 특징지어지도록 설계 지침을 조정했다.

We argued that being able to work toward a summative decision from the start motivates teachers to work on their portfolio. Apparently, it is not realistic to expect that intrinsic motivation is a sufficient incentive for teachers to spend time on their portfolios and on reflecting on their teaching performance. Teachers also need to be convinced that the ultimate goals and profits make their efforts worthwhile. We therefore refined our design guidelines in such a way that a combined formative and summative portfolio procedure should be characterized by feedback and dialog about assessment criteria and an exchange of views about good teaching in a climate with as little imbalance of power as possible.

우리의 [이론적 기반]에 대한 또 다른 개선은 [코치의 역할]을 다루었다. 코치는 코칭 관계의 안전한 환경을 극대화하기 위해 지원 제공자만 되어야 하는가, 아니면 코치가 평가자의 종합적 기능을 가져야 하는가? 드라이센 외 (2005) 코치는 코칭하는 교사와 너무 밀접하게 관련되어 있기 때문에 코칭하는 교사의 공식적인 평가자가 되어서는 안 된다고 명시한다. 우리 연구에서 두 역할이 엄격하게 분리되어서는 안 된다는 결론을 내렸다. 장기간 교전(Guba & Lincoln 1989년)의 이론적 원리에 따르면, 평가자는 후보자의 교육 성과에 대해 이용할 수 있는 모든 종적 정보를 신중하게 고려해야 한다.

Another refinement of our theoretical underpinnings dealt with the role of the coach. Should coaches only be support providers so as to maximize the safe climate of the coaching relationship or should coaches also have the summative function of assessor? Driessen et al. (2005) state that coaches should not be the formal assessors of the teachers they coach, because they are too closely involved with them. In our studies, we concluded that the two roles should not be strictly separated. According to the theoretical principle of prolonged engagement (Guba & Lincoln 1989), it is important that assessors should carefully consider all the longitudinal information that is available about candidates’ teaching performance.

이는 후보들과 가장 오랜 교류가 있는 코치들도 좋은 가르침이 무엇인지에 대해 논의할 평가인 팀에 참여해야 함을 시사한다. 본 연구에서는 [장기간의 참여 원리]와 [학습자의 참여와 통제를 강조하는 학습 및 평가]에 대한 구성주의적 관점을 결합하여 코치 역할에 대한 이론적 원리를 다듬었다(Birenbaum 2003; Segers 2004). 이러한 관점에서, 코치가 [다른 관점에서 가르치는 것에 정통한 다른 멤버들로 구성된 평가자 팀의 일원으로서] candidate에 대한 추가적인 맥락 정보를 제공할 수 있다고 주장하면서, 평가를 받고 있는 교사의 코치에 대한 우리의 설계 지침은 정비되었다.

This suggests that coaches, who have the most prolonged engagement with the candidates, should also be involved in the team of assessors who will discuss about what constitutes good teaching. In our research, we refined our theoretical principle about the coach role by combining the principle of prolonged engagement with constructivist views on learning and assessment, which stress learner participation and control (Birenbaum 2003; Segers 2004). From this viewpoint, our design guideline about the coach of the teacher who is being assessed was refined, arguing that coaches might provide additional context information about their candidates as a member of the team of assessors, which is otherwise comprised of other members, who are knowledgeable on teaching from different perspectives.

우리의 [이론적 기초]에 대한 세 번째 개선은 [분석적 평가]와 [전체론적 평가]의 차이를 다루었다. 분석적 평가는 정밀한 기준과 표준화된 절차의 적용에 초점을 맞추는 반면, 전체론적 평가는 모든 평가 정보에 기초하여 가설을 지속적으로 개발하고 시험하는 모든 구성 요소에 비추어 전체적인 이해를 도모하는 것을 목적으로 한다. 한편, 투명성과 공정성을 촉진하기 위해 명확하게 정의된 분석 평가 기준이 필요한 반면, 그러한 기준에 지나치게 의존하는 것은 포트폴리오 평가를 무의미한 빈칸 채우기 연습으로 바꿀 수 있다. 전체론적인 포트폴리오 평가는 그 반대이다. 

A third refinement of our theoretical underpinnings dealt with the difference between analytic and holistic assessments. Analytic assessment focuses on the application of precise criteria and standardized procedures, whereas holistic assessment is aimed at seeking to understand the whole in the light of all its constituents, constantly developing and testing hypotheses based on all assessment information. On the one hand, clearly defined analytic assessment criteria are needed to promote transparency and fairness, whereas on the other hand too much reliance on such criteria might turn portfolio assessment into a meaningless exercise of filling in blanks. The opposite holds for holistic portfolio assessment. 

우리의 연구로부터, 우리의 [이론적 토대]는 투명성과 공정성보다 의미와 학습 기회가 우선되어야 한다는 결론에 도달했다는 점으로 정제되었다. 설계 지침 업데이트의 경우, 이는 기준이 [지원자는 자신의 기능을 성찰하도록 자극]하고, [평가자는 자신의 관점을 명확히 하도록 장려]하는 가이드로 간주되어야 함을 의미한다. 무엇이 좋은 교육을 구성하는지에 대한 토론과 대화는 평가자들이 포트폴리오를 평가하는 동안 나타나는 다양한 해석을 의미 있는 전체론적 판단으로 통합하도록 유도할 것이다. 즉, 정밀한 기준에 대한 판단을 내릴 필요 없이 평가기준이 고려의 단서를 제공해야 한다. 해석의 기준 또는 단계는 정기적인 개정의 대상이 되어야 한다.

From our studies, our theoretical underpinnings were refined in the sense that we came to the conclusion that meaningfulness and learning opportunities should take precedence over transparency and fairness. For our updates of the design guidelines, this means that criteria should be seen as guidelines that stimulate candidates to reflect on their functioning and encourage assessors to clarify their perspectives. Discussion and dialog about what constitutes good teaching will invite assessors to integrate different interpretations that emerge during the assessment of a portfolio into a meaningful holistic judgment. This means that assessment criteria should offer cues for consideration, without the need to pronounce judgment on precise criteria. The criteria, or steps for making interpretations, should be subject to regular revision.

혼합 방법 연구

Mixed-methods studies

표 2. 교육 포트폴리오를 설계, 평가 및 재설계하기 위해 수행된 연구의 개요.

Table 2. Overview of studies conducted to design, evaluation, and redesign a teaching portfolio.

1단계: 분석 및 재설계

Step 1: Analysis and redesign

1a: 역량강화 프레임워크 개발. 델피는 교육 전문가들 사이에서 연구한다. (티겔라르 외). 2004a)

1a: Development of a framework for teaching competence. Delphi study among educational experts. (Tigelaar et al. 2004a)

1b: 포트폴리오 프로토타입 개발. 포트폴리오 전문가와 인터뷰 연구(Tigelaar 등) 2004b).

1b: Development of portfolio prototype. Interview study with portfolio experts. (Tigelaar et al. 2004b)

2단계: 평가 및 재설계

Step 2: Evaluation and redesign

2a: 교사의 성찰 탐구. 문서 분석. (Tigelaar 등 2006a)

2a: Exploration of teachers’ reflections. Document analysis. (Tigelaar et al. 2006a)

2b: 동료 회의 중 교사의 상호작용 및 협력적 반영 프로세스 비디오 분석. (Tigelaar 등 2008)

2b: Teachers’ interactions and their collaborative reflection processes during peer meetings. Video analysis. (Tigelaar et al. 2008)

2c: 포트폴리오의 유용성에 대한 참가자들의 의견. 인터뷰 연구 (Tigelaar et al.

2c: Participants’ opinions about the usefulness of the portfolio. Interview study. (Tigelaar et al. 2006b)

3단계: 분석 및 재설계

Step 3: Analysis and redesign

3: 포트폴리오 평가 절차와 관련된 품질 기준 및 권고 사항. 문헌 연구 (Tigelaar et al. 2005)

3: Quality criteria and recommendations with regard to the portfolio assessment procedure. Literature study. (Tigelaar et al. 2005)

연구의 1단계에서는 양적 방법과 질적 방법을 조합하여 사용했다. 교육 역량 프레임워크를 개발하기 위해 1a단계에서 델파이 메소드를 사용했다. 우리는 교육 전문가가 작성한 설문지를 여러 라운드에서 개발했다.

In step 1 of the research, a combination of quantitative and qualitative methods was used. In order to develop a teaching competency framework, in step 1a, the Delphi-method was used; we developed a questionnaire which was filled out by educational experts, in different rounds.

이후 이론 원리에 기초한 포트폴리오 프로토타입의 개발인 1b 단계에서, 우리는 프로토타입에 이론적 기초가 어느 정도 반영되어 있는지를 결정하고, 그들이 필요하다고 생각하는 어떤 수정이 필요한지를 나타내기 위해 인터뷰 연구를 수행했다.

Subsequently, in step 1b, the development of a portfolio prototype based on theoretical principles, we carried out an interview study to determine to what extent the theoretical underpinnings were reflected in the prototype and to indicate any modifications they thought were required.

평가 단계인 2단계는 소규모로 진행됐다. 따라서 양적 방법은 그다지 적합하지 않았다. 그러나 서로 다른 질적 방법을 조합하여 혼합 방법 접근법을 적용하였다. 이는 포트폴리오에 의해 자극을 받은 학습 과정과 복잡한 상호작용에 대한 통찰력을 얻기 위해 수행되었다.

Step 2, the evaluation phase, was carried out on a small scale. Therefore, quantitative methods were not very suitable. However, a mixed-methods approach was applied by combining different qualitative methods. This was done in order to gain insight into the learning processes and complex interactions that were stimulated by the portfolio.

2a단계에서는 교사의 과제를 바탕으로 교사의 성찰적 글쓰기 내용을 분석하는 텍스트 분석을 실시했다. 이어서 2b단계에서는 또래회의 중 사회적 상호작용과 교사의 협력적 성찰 과정의 범위에 대해 세분화된 영상분석을 실시했다. 2c단계에서는 포트폴리오 구조의 유용성과 전문성 개발을 촉진하는 사회적 상호작용에 대한 교사와 코치의 의견으로 이러한 데이터를 보완했다. 포트폴리오의 유익성, 활성화 및 비활성화 요인과 관련된 카테고리를 사용하여 인터뷰 연구를 수행하고 결과를 분석하였다.

In step 2a, we carried out a document analysis, analyzing the contents of teachers’ written reflections, based on their assignments. Subsequently, in step 2b, we carried out a fine-grained video analysis on the social interactions during the peer meetings and on the scope of teachers’ collaborative reflection processes. In step 2c, we complemented these data with the opinions of teachers and their coaches about the usefulness of the portfolio structure and social interactions for stimulating their professional development. We carried out an interview study and analyzed findings using categories related to benefits, enabling and disabling factors in the portfolio.

마지막으로, 3단계에서는 포트폴리오 평가를 위한 정교한 설계 가이드라인에 도달하기 위해 포트폴리오 평가 방법 및 포트폴리오 평가 프로세스의 건전성을 보장하기 위한 품질 기준quality criteria에 대한 문헌 연구를 실시했다.

Finally, in step 3, in order to arrive at refined design guidelines for portfolio assessment, we carried out a literature study on methods for judging portfolios and quality criteria for guaranteeing the soundness of portfolio assessment processes.

설계자, 연구자 및 실무자 간의 빈번한 상호 작용

Frequent interaction between designers, researchers, and practitioners

설계 과정에서 연구과정의 일환으로 설계자, 연구자, 실무자 간의 고빈도 커뮤니케이션이 조직되었다. 연구 개발 과정은 4명의 교육 연구원으로 구성된 연구팀이 수행했는데, 이들은 2개의 교육 개발에도 전문지식이 있었다. 이 기사의 저자는 그 팀의 구성원이었다. 디자인 과정에서 교육 전문가와 실무자 모두의 의견을 구했다.

During the design process, frequent communication between designers, researchers, and practitioners was organized as part of the research process. The research and development process was carried out by a research team, consisting of four educational researchers, who also had expertise in two educational development. The authors of this article were members of that team. During the design process, we sought the opinions of both educational experts and practitioners from the field.

교수역량 프레임워크 개발에 초점을 맞춘 델파이 연구(1a단계)에는 고등교육에 종사하는 교육 전문가가 선정됐다. 이후 1b단계에서는 개발 및 평가를 위한 교육 포트폴리오의 프로토타입을 개발 및 테스트했다. 포트폴리오 평가 경험이 풍부한 9명의 교육자의 판단을 위하여 제출된 포트폴리오. 우리의 이론적 선택이 프로토타입에 어느 정도 반영되고 어떤 수정이 필요한지 조사했다.

For the Delphi study (step 1a), which was focused on developing a teaching competency framework, educational experts were selected who work in higher education. Subsequently, in step 1b, we developed and tested a prototype of a teaching portfolio for development and assessment was the purposes. The portfolio submitted to judgment of nine educationalists with ample experience with portfolio assessment. We investigated to what extent our theoretical choices were reflected in the prototype and which modifications were needed.

2a, 2b, 2c 단계에서는 실무자들이 참여하였다. 5명의 숙련된 교사들과 그들의 개인 코치들이 연구에 참여했고, 모든 의사들이 이 연구에 참여했다. 이러한 실무자들은 모두 포트폴리오의 유용성을 평가하는 데 참여했으며, 이들의 의견은 포트폴리오 설계 지침을 최적화하는 데 큰 도움이 되었다.

In steps 2a, 2b, and 2c, practitioners were involved. Five experienced teachers and their personal coaches were involved in the study, all medical doctors. All these practitioners were involved in evaluating the usefulness of the portfolio, and their opinions were of great benefit for optimizing the portfolio design guidelines.

일반적으로 DBR의 함정과 과제

Pitfalls and challenges of DBR in general

국지적 상황에 대한 실제적 목적의 경우에만 해당

Only of practical relevance for local situation

진정한 실세계 학습 환경 내에서 연구를 수행할 때의 단점은 [한 지역적 맥락 안에서 특정 혁신적 학습 환경]에서 흥미로운 통찰력을 얻을 수 있다는 점일 수 있지만, 이러한 연구는 다른 맥락에서는 가치가 제한될 수 있다. 즉, 연구는 종종 소수의 학생 또는 교사가 참여하는 특수 설계 환경에서 이루어졌기 때문에 다른 맥락에서 일반화되지 않을 수 있다.

A disadvantage of conducting studies within an authentic reallife learning setting might be that they may result in interesting insights in a particular innovative learning environment within one local context, but these studies have limited added value for other contexts. In other words, the findings may not generalize to other contexts, because the study took place in a specifically designed context in which often a few students or teachers participate.

반면에, 지역 상황보다 더 광범위한 관련성을 자극하기 위해 몇 가지 이슈를 고려할 수 있다. 

On the other hand, several issues can be taken into account to stimulate a broader relevance than the local situation. 

첫째, 이론에 바탕을 두고 이론들을 사용하여 연구 결과를 설명함으로써. 

둘째, 연구 내용에 대한 상세한 설명을 포함시킴으로써, 독자들은 그 결과를 자신의 상황에 어떻게 또는 어떻게 적용할 수 있는지 이해할 수 있다. 

셋째, 설계 원리를 생성한다.

First of all, by grounding the design on theories and using theories to explain the findings. 

Second, by including a detailed description of the context in the study, due to which readers can understand how or whether the findings can be applied to their own situation. 

Third, by generating design principles.

지역적 맥락은 DBR에서 매우 중요하지만, 좋은 DBR은 유사한 진정한 혁신적 학습 환경에서 일반화될 수 있는 지침을 제공해야 한다. 따라서 DBR은 다른 설정에서 설계가 시험되어야 할 필요가 있다(Design-Based Research Collective 2003). 그러나 다른 설정에 걸친 이 시험은 모든 맥락에 광범위하게 적용될 수 있는 설계 지침으로 귀결될 필요는 없다. 가장 좋은 경우, DBR 연구는 McKenney 등이 주장하는 바와 같이 [특정 이론적 주장 때문에 특정 개입이 특정 맥락에서 구현되기 위해 어떤 특성이 중요한지 명확히 하는 설계 지침]을 정의하도록 이끌어야 한다. (2006). 따라서, 레게르(2010년)의 주장처럼, 교육 실무에 광범위하게 관련되는 모든 맥락에 일반화될 수 있는 단순한 발견이나 설계 지침을 생성하는 문제가 아니다.

Although the local context is very important in DBR, good DBR should yield guidelines that can be generalized across similar authentic innovative learning environments. Therefore, DBR requires testing a design across different settings (Design-Based Research Collective 2003). This testing across different settings does, however, not need to result in design guidelines that can be broadly applied to all contexts. At best, DBR studies should lead to defining design guidelines that make clear which characteristics are crucial for a particular intervention to be implemented in a specific context because of certain theoretical arguments, as argued by McKenney et al. (2006). So, it is not a matter of generating simple findings or design guidelines that can be generalized to all contexts that are broadly relevant for educational practice, as also argued by Regehr (2010).

이론을 발전시키지 않는다.

Does not advance theories

DBR을 수행할 때의 또 다른 단점은 DBR이 실무 설계와 재설계에만 지나치게 집중하고 이론의 시험이나 정교함에 너무 덜 초점을 맞춘다는 것이다. 그러나 앞에서 언급한 바와 같이 좋은 DBR은 복잡한 학습 환경의 특성에 관한 이론을 시험하거나 다듬는 것을 목적으로 한다(DesignBased Research Collective 2003). 그러나 물론 DBR 연구에는 변화가 있다. 일부 DBR 연구는 [이론 테스트 또는 입증(흔히 검증 연구라고 함)]에 더 초점을 맞추고 있는 반면, 다른 연구들은 [이론 사용(개발 연구라고 함)]에 더 초점을 맞추고 있다(Nieven et al. 2006). 한 가지 주요한 차이점은 전자가 이론의 진보에 기여하는 반면 후자는 설계지침의 고도화에 기여한다는 것이다. 그러나 이러한 후기 연구는 문헌의 검토를 바탕으로 설계 지침을 작성하는 것에서부터 시작되는 경우가 많다는 것을 명심해야 한다. 즉, 이러한 발전 연구도 이론을 활용한다. 더욱이 이러한 발전 연구는 이론의 정교화와 이러한 이론들이 실제로 효과가 있는지 시험하는 것으로 이어진다.

Another disadvantage of conducting DBR might be that it is too much focused on designing and redesigning practice and too less focused on testing or refinement of theories. But, as stated before, good DBR is also aimed at testing or refining theories about the nature of complex learning environments (DesignBased Research Collective 2003). But, there are, of course, variations in DBR studies. Some DBR studies focus more on testing or proving theories (often called validation studies), whereas other studies focus more on using theories (often called development studies) (Nieveen et al. 2006). One major difference is that the former contribute toward the advancement of theories, whereas the latter contribute toward de-advancement of design guidelines. However, it is important to keep in mind that these latter studies often start with formulating design guidelines based on a review of the literature. In other words, these development studies also make use of theories. Furthermore, these development studies lead to the refinement of theories and testing whether these theories work in practice.

연구자의 참여는 결과를 편향시킬 수 있다.

The involvement of the researcher might bias findings

많은 DBR 연구에서 연구자와 설계자의 역할은 동일한 사람에 의해 수행된다. 이것은 어려울 수 있는데, 한편으로는 연구자가 디자인을 비판적으로 평가해야 하지만, 다른 한편으로는 디자인을 개발한 사람이고 교사나 학습자에게 디자인의 유용성에 대해 설득해야 하기 때문이다. 물론, DBR에서 설계자, 연구자 및 실무자 간의 긴밀한 상호작용이 깊고 의미 있는 통찰력으로 이어질 것으로 기대되지만, 설계에 대한 덜 비판적인 평가로 이어질 수도 있다. 왜냐하면 연구자는 개입이 효과가 있다고 확신하거나 학습자나 교사가 디자인을 비판하기 어려울 수 있기 때문이다. 다시 말해서, 이 연구의 결과는 연구자들의 편견에 의해 더 쉽게 영향을 받을 수 있다.

In many DBR studies, the roles of researcher and designer are fulfilled by the same person. This might be difficult, because the researcher on the one hand must critically evaluate the design, but on the other hand is also the one who developed the design and must convince teachers or learners about the usefulness of the design. Of course, close interactions between designer, researcher, and practitioners in DBR are expected to lead to deep and meaningful insights, but it might also lead to a less critical evaluation of the design, e.g., because the researcher is convinced that the intervention does work or because the learners or teachers may find it difficult to criticize the design. In other words, the findings of the study might be more easily influenced by the researchers’ biases.

따라서 데이터 소스와 데이터 방법의 삼각 측정이 매우 중요하다(McKenney et al. 2006). 추가 방법이나 데이터 출처의 강점은 다른 방법의 약점을 극복하기 위해 사용될 수 있으며 혼합된 방법은 증거를 확증하기 때문에 더 강력한 증거를 제공할 수 있다(Johnson & Onwegbuzie 2004). 그러나, 또한 반사성은 매우 중요하다. 즉, 연구자들은 독자들에게 자신이 연구를 수행한 배경과 렌즈, 그리고 기존의 가정과 기대치에 대한 정보를 제공해야 한다. 이 정보를 바탕으로 독자들이 연구의 결과를 비판적으로 해석할 수 있다. (Bunniss & Kelly 2010).

Triangulation of data sources and data methods is therefore of crucial importance (McKenney et al. 2006). The strengths of an additional method or data source can be used to overcome the weaknesses in another method and mixed methods can provide stronger evidence because of corroborating evidence (Johnson & Onwuegbuzie 2004). But, also, reflexivity is of crucial importance; i.e., the researchers should make the reader clear and give them information about their backgrounds and their lenses through which they conducted the study as well as what their pre-existing assumptions and expectations are, based on which readers can critically interpret the findings of the study (Bunniss & Kelly 2010).

DBR은 위험하고 복잡하며 시간이 많이 소요됨

DBR is risky, complicated, and time-consuming

그렇다, 실제로 DBR은 여러 가지 이유로 위험하고 복잡하며 시간이 많이 걸린다. 그 이유 중 하나는 설계가 이론에 근거해야 하고 연구자, 디자이너, 교사와 긴밀한 협업을 통해 개발되어야 하며, 교사와 학습자가 밀접하게 협력하여 실제적으로 구현되어야 한다는 것이다. 그 후에, 그것은 평가될 수 있고 재설계되어야 한다.

Yes, indeed DBR is risky, complicated, and time-consuming, because of several reasons. One of the reasons is that the design must be based on theories and must be developed in close collaboration with researchers, designers, and teachers, and needs to be implemented in practice in close collaboration with teachers and learners. Thereafter, it can be evaluated and it should be redesigned.

이 순환 과정은 위험하고 복잡하며 시간이 많이 걸린다. 교사나 학습자가 철수할 수 있고 상황이 바뀔 수 있기 때문에 연구 설계가 계속 변경될 수 있기 때문에 위험하다. 계속 변화하는 연구 설계는 약하다. 그럼에도 불구하고, 실제 실무에서 유용한 개입을 설계하기 위해서는 여러 이해관계자들과 긴밀히 협력하여 설계에 대한 조정이 이루어져야 한다(McKenney et al. 2006).

This cyclic process is risky, complicated, and time-consuming. It is risky because teachers or learners may withdraw and circumstances may change, from which the research design keeps changing. A research design that keeps changing is weak. Nevertheless, it is important that adjustments can be made to the design in close collaboration with the different stakeholders in order to design interventions that are useful in real practice (McKenney et al. 2006).

실무에서 혁신을 구현하는 것은 종종 [모든 이해관계자의 요구를 충족시키기 위해 변경이 이루어져야 한다]는 것을 암시한다. 다시 말해 실제 현실에서 일어나는 일이다. 또 다른 문제는 DBR이 설계, 평가, 재설계라는 반복적인 과정 때문에 시간이 많이 걸린다는 것이다. 오늘날 연구 프로그램은 종종 여러 연구가 발표되어야 하고 많은 위험을 감수할 수 없는 3, 4년 동안 지속되는 단일 프로젝트로만 구성된다. 그럼에도 불구하고 설계 연구는 여러 연구자들이 함께 일하고 서로 다른 연구가 구축되는 오래 지속되는 잘 정의된 연구 라인이나 연구 프로그램 내에서 수행되어야 한다. DBR 연구자들은 서로 밀접하게 연관되어 있고 서로에게 구축될 수 있는 연구의 양적 방법론과 질적 방법론 모두에 대해 구체적인 전문지식을 가진 다양한 실무자 및 다양한 연구자들과 함께 일하는 팀으로 일해야 한다.

Implementing innovations in practice often implies that changes must be made in order to meet the needs of all stakeholders. In other words, this is what happens in real practice. Another problem is that DBR is time-consuming because of its iterative process of design, evaluation, and redesign. Research programs nowadays often only consist of single projects that last for 3 or 4 years in which several studies need to be published and in which not much risks can be taken. Nevertheless, design studies should be conducted within long-lasting well-defined research lines or research programs in which different researchers work together and in which different studies are built upon each other. DBR researchers should work in teams in which they work together with various practitioners and various researchers with specific expertise on both quantitative and qualitative methodologies on studies that are closely related to each other and can be built upon each other.

실무에서 DBR의 함정과 과제에 대처

Dealing with pitfalls and challenges of DBR in practice

현지 상황을 벗어난 실질적인 관련성

Practical relevance beyond the local situation

첫째로, 개발 과정을 이론적 합리성에 토디를 두고, 이러한 합리성을 이용하여 우리의 연구 결과를 설명함으로써, 우리의 연구는 더 많은 청중들이 관심을 가질 수 있도록 하기 위한 것이었다.

First, by grounding the development process on theoretical rationales, and using these rationales to explain our findings, our studies were aimed to be of interest to a broader audience.

둘째, 명확한 맥락적 정보를 제공하고, 우리의 분석 방법에 투명함을 제공함으로써, 우리는 독자들이 자신의 맥락에서 우리의 발견의 적용 가능성을 판단할 수 있도록 돕고 싶었다.

Second, by providing clear context information, and by being transparent in our analysis methods, we wanted to assist our readers in being able to judge applicability of our findings to their own contexts.

셋째, 이론과 실천 사이의 반복적인 프로세스에서 우리의 설계 원리를 생성하고, 우리의 설계 원리와 이론적 합리성의 관계를 보여줌으로써, 우리는 우리의 발견과 다른 초기 연구를 토대로 하여 독자들이 포트폴리오 설계 프로세스를 그들 자신의 맥락에서 수행하도록 고무하는 것을 목표로 했다.

Third, by generating our design principles in an iterative process between theory and practice, and by showing the relationship between our design principles and our theoretical rationales, we aimed at inspiring the reader to carry out portfolio design processes in their own contexts, by building on our findings and other earlier studies.

소견의 적용성에 관한 연구의 제한은 종합 평가 절차의 설계에 대한 세부사항의 결여, 프로토타입이 두 번밖에 시험되지 않았다는 사실, 그리고 연구의 범위, 특히 고등교육에 초점을 맞춘다는 것이었다. 따라서 포트폴리오 프로세스의 모든 요소를 세부적으로 조정할 수 있도록 포트폴리오를 먼저 서로 다른 설정에 걸쳐 테스트할 것을 권고했다.

A limitation to our study with respect to applicability of findings was the lack of detail in the design of the summative assessment procedure, the fact that the prototype was tested only twice, and the scope of the research, being particularly focused on higher education. Therefore, we recommended that a portfolio should first be tested across different settings to enable fine-tuning of all the elements in the portfolio process.

이론의 진보

Advancing theories

우리 연구의 주요 초점은 이론(즉, 개발 연구)을 사용함으로써 포트폴리오에 대한 설계 원리의 발전에 기여하고 이론(즉, 검증 연구)을 시험하거나 입증하는 것이 아니었다(Nieven et al. 2006). 다만 기존 문헌을 바탕으로 디자인 가이드라인을 짜는 것부터 시작했다. 게다가, 우리는 우리의 발견에 기초하여 이론적 합리성theoretical rationales을 다듬었다. (이 문제에 대한 자세한 내용은 "이론 테스트 및 정제 및 선진화 관행" 섹션 참조) 이러한 이론적 합리성theoretical rationales은 다른 환경에서 시험할 필요가 있다.

The main focus of our studies was to contribute toward the advancement of design principles for portfolios by the use of theories (i.e., a development study) and not on testing or proving theories (i.e., validation studies) (Nieveen et al. 2006). However, we started with formulating design guidelines based on existing literature. Furthermore, we refined our theoretical rationales, based on our findings (for more on this issue, see section ‘‘testing and refining theory and advancing practice’’). These theoretical rationales need to be tested in other settings.

연구원의 참여에 의한 소견의 편향 방지

Preventing bias of findings by involvement of the researcher

다른 많은 DBR 연구와 마찬가지로, 연구자와 설계자의 역할은 동일한 사람에 의해 수행되었다. 연구의 결과가 연구자의 편향에 의해 영향을 받는 것을 방지하기 위해, 데이터 출처와 데이터 방법의 삼각 측량을 사용했다(McKenney et al. 2006). 이것은 앞에서 설명한 것처럼 연구의 평가 단계에서 특히 행해졌다.

Similar to many other DBR studies, the roles of researcher and designer were fulfilled by the same persons. In order to prevent the findings of the study to be influenced by the researchers’ biases, we used triangulation of data sources and data methods (McKenney et al. 2006). This was particularly done in the evaluation phase of the research, as explained before.

게다가, 우리는 우리가 연구를 수행한 렌즈에 대한 정보와 기존의 가정과 기대가 무엇인지를 명확히 함으로써 반사성의 원리를 적용했다. 이것은 우리의 이론적 합리성을 명확하게 기술하고 우리의 결과를 분석하는 투명한 방법에 의해 이루어졌다. 이것은 또한 데이터의 독립적 분석 후에 저자가 서로의 해석에 도전하도록 하는 등 데이터 분석의 품질 보증 조치를 포함시키고, 해석에 대한 의견 불일치가 있을 경우 원래의 데이터로 되돌아가는 방식으로 수행되었다.

Furthermore, we applied principles of reflexivity by making them clear and providing information about the lenses through which we conducted our study as well as what our pre-existing assumptions and expectations were. This was done by clearly describing our theoretical rationales and by a transparent way of analyzing our results. This was also done by including measures for quality assurance of data analysis, such as having the authors challenge each others’ interpretations after an independent analysis of the data, and by going back to the original data in case of disagreements about interpretations.

위험 및 복잡성 감소: 연구가 너무 많은 시간을 소모하는 것을 방지

Reducing risks and complications: Preventing the research from being too time-consuming

이 포트폴리오는 실생활 환경에서 단 한 번, 그리고 소규모로 시험되었는데, 5명의 교사와 5명의 코치가 참여하여 연구가 너무 많은 시간이 걸리는 것을 방지했다. 실생활 환경에서 또 다른 시험 주기가 연구를 더 강하게 만들었겠지만, 우리는 포트폴리오가 교사의 전문적 발전에 미치는 영향에 대한 풍부한 데이터를 생성하기 위해 다른 데이터 출처와 방법을 사용하는 데 투자했다. 나아가, 비록 우리의 연구 설계와 설계 과정의 다른 단계는 처음부터 분명했지만, 연구를 전체적으로 특징짓는 끊임없는 형성적 평가의 결과에 따라 설계를 조정할 수 있었다. 이는 예비 연구 문항이 우리의 결과에 따라 다듬어지고, 그 과정에서 우리 연구에 대한 이론적 합리성이 미세 조정되었다는 것을 의미한다. 또한 연구 개발팀은 다양한 종류의 전문성을 가진 구성원으로 구성하여 서로 다른 연구 관점이 결합될 수 있도록 하였다. 마지막으로, 우리는 연구를 수행하기 위해 기존 연구 라인에 구축된 명확한 이론적 합리성을 이용했다.

The portfolio was tested in a real-life setting only once, and on a small scale, involving five teachers and their five coaches to prevent that the research would become too time-consuming. Although another cycle of testing in a real-life setting would have made the research stronger, we invested in using different data sources and methods in order to generate rich data on the impact of the portfolio on the teachers’ professional development. Furthermore, while our research design and the different steps in the design process were clear from the beginning, it was possible to make adjustments to the design according to the results of the constant formative evaluations that characterized the research as a whole. This means that preliminary research questions were refined according to our results, and that the theoretical rationales to our research were fine-tuned along the process. In addition, the research and development team consisted of members with different kinds of expertise, so that different research perspectives could be combined. Finally, we used clear theoretical rationales which built on existing research lines in order to carry out our research.

향후 애플리케이션 및 개발

Future applications and developments

물론 DBR은 의료 교육 연구에 적용할 수 있는 접근방식은 다른 것 중 단 한 가지에 불과하다. 어떤 접근법을 선택해야 하는지는 물론 답해야 할 구체적인 연구 질문에 달려 있다. DBR은 디자인 포커스가 있는 교육 연구에 잘 맞는 접근법이다(Elives et al. 2005). 디자인 포커스가 있는 많은 연구, 예를 들어, 혁신적인 학습 환경을 만들고 테스트하는 연구, 교육에 교수 기술을 도입하거나, 혁신 학습 환경을 위한 평가 프로그램을 설계하는 연구 등에 적용할 수 있다. 

DBR is, of course, only one approach among others that can be applied in medical education research. Which approach should be chosen is, of course, dependent on the specific research questions to be answered. DBR is an approach that fits well for educational research with a design focus (Reeves et al. 2005). It can be applied in many studies with a design focus, e.g., studies that focus on 

• creating and testing innovative learning environments, 

• introducing instructional technology in education, or 

• designing assessment programs for innovative learning environments. 

DBR 연구는 '어떻게 작용하는가'와 '왜 작용하는가?'와 같은 질문에 답하고자 하는 명확화 연구와 의학 교육에 대한 우리의 이해를 심화시키고 발전시키는 연구로 분류될 수 있다(Cook et al. 2008).

DBR studies can be classified as clarification studies which seek to answer questions such as ‘‘How does it work?’’ and ‘‘Why does it work?’’ and studies that deepen and advance our understanding of medical education (Cook et al. 2008).

업무 기반 학습

Work-based learning

업무 기반 학습 영역에 대한 연구는 이러한 학습 환경에 대한 몇 가지 통찰력을 밝혀냈다; WBL은 의료 교육에서 지배적인 역할을 하는 환경이다. 작업 기반 학습 환경은 학생들에게 환자 및 의료 전문가와 상호작용하거나 임상 실습에 참여할 수 있는 많은 가능성을 제공한다(Dornan et al. 2007; Teunissen et al. 2007). 학생에 대한 감독 부족 및 피드백 부족과 같은 이러한 환경 내에서 직면하는 어려움에 대해 많은 연구가 보고되었다(Grant et al. 2003; Daelmans et al.). 2004; Hofman & Donaldson 2004; Dolmans et al. 2008).

Research in the domain of work-based learning has revealed several insights about this learning environment; an environment that plays a dominant role in medical education. Workbased learning environments offer students many possibilities to interact with patients and medical experts or to participate in clinical practice (Dornan et al. 2007; Teunissen et al. 2007). Many studies reported about the difficulties encountered within this environment, such as a lack of supervision of students and lack of feedback (Grant et al. 2003; Daelmans et al. 2004; Hofman & Donaldson 2004; Dolmans et al. 2008).

이것은 큰 문제인데, 왜냐하면 슈퍼비전은 직장에서 효과적인 학생 학습을 위한 핵심 성공 요인이기 때문이다(Wimmers et al. 2006; Kilminster et al. 2007). 예를 들어, 이 분야에서의 연구는 임상 학습 환경의 품질 평가(Boor et al. 2007) 또는 임상 감독자의 성과를 평가하는 데 사용할 수 있는 기구의 개발 및 구현으로 이어졌다(Scalmeijer et al. 2008). 최근에는, 환자·감독자와의 학생 연속성을 높이기 위해 학부 의료 연수 프로그램에 longitudinal attachment을 실시하는 것으로 이어지고 있다(Wamsley et al.). 2009). 또한 인지 도제 이론에 기초한 임상 교수 모델의 개발로 이어져서, 가이드라인을 제공하기 위한 3단계 임상 교수 교사 접근법을 설명하기도 했다.

This is a big problem, because supervision is a key success factor for effective student learning at the workplace (Wimmers et al. 2006; Kilminster et al. 2007). Studies within this field have, for example, led to the development and implementation of instruments that can be used to evaluate the quality of the clinical learning environment (Boor et al. 2007) or to evaluate the performance of clinical supervisors (Stalmeijer et al. 2008). Recently, it has led to the implementation of longitudinal attachments in undergraduate medical training programs to increase student continuity with patients and supervisors (Wamsley et al. 2009). It has also led to the development of a clinical teaching model, based on theories of cognitive apprenticeship, describing a three-step clinical teaching teachers approach, that provides guidelines for (Stalmeijer et al. 2010).

그러나 직장 학습을 개선하려면 교육 실무에서 새로운 도구나 디자인의 도입뿐만 아니라, 직장 내 모든 참여자의 문화적 변화, 헌신, 참여가 필요하다. 이는 의료진, 학생, 설계자, 연구자 모두가 밀접하게 협업하는 DBR을 실시함으로써 강화될 수 있다. DBR은 업무 기반 학습 환경에 대한 보다 풍부한 이해에 기여하고, 견습 학습 이론에 기여하며, 업무 기반 학습의 추가 개선에도 기여할 수 있다.

But, improving workplace learning requires not only the introduction of new tools or designs in educational practice, but also a cultural change, commitment, and involvement from all participants at the workplace. This can be enhanced by conducting DBR in which both clinical staff, students, designers, and researchers closely collaborate. DBR could contribute toward richer understanding of work-based learning environments, contribute toward apprenticeship learning theories, and also toward further improvement of work-based learning.

평가

Assessment

여전히, 평가가 어떻게 학생들을 심층 학습으로 이끌 수 있는지 또는 학습을 강화시킬 수 있는지에 대해서는 거의 알려져 있지 않다. 어떻게 평가와 학습이 분리되어 있는 것이 아니라 통합되어 있다는 것을 보장할 수 있을까? 셰퍼드(2000년)는 평가가 학습을 강화해야 한다는 기대를 학생과 교사가 함께 가질 수 있는 학습문화를 만들어야 한다고 주장한다. 교사와 학생들은 평가를 보상과 처벌의 출처source가 아니라, 통찰력과 도움의 원천으로 보아야 한다. 슈와르트와 반데르 벨레우텐(2004)도 평가와 학습이나 가르침이 서로 일치해야 하며, 예를 들어 동료와 자기 평가를 도입하는 등의 방법으로 학생들을 평가에 참여시켜야 한다고 주장한다. 또 다른 최근의 plea는 다른 평가 방법과 학생 학습을 유도하고 의사결정을 위해 취합할 수 있는 데이터의 조합으로 구성된 교육에서 평가에 대한 프로그램적 접근법을 사용하라는 것이다(Van der Vleuten & Schuwirth 2005; Van der Vleuten et al. 제출). 이를 위해서는 학습과 평가가 얽혀 있는 실제 실천에서의 연구가 필요하다.

Still, little is known about how assessment can drive students toward deep learning or enhance learning. How can we insure that assessment and learning are not separate, but integrated? Shephard (2000) argues that we should create a learning culture where students and teachers would have a shared expectation that assessment should enhance learning. Teachers and students should look to assessment as a source of insight and help instead of a source for rewarding and punishing. Schuwirth and van der Vleuten (2004) also argue that assessment and learning or teaching should be congruent with each other and that we should involve students in our assessments, e.g., by means of introducing peer and selfassessments. Another recent plea is to use a programmatic approach about assessment in education which consists of a combination of different assessment methods and data that drive student learning and can be aggregated for making decisions (Van der Vleuten & Schuwirth 2005; Van der Vleuten et al. submitted). This requires research in actual practice in which learning and assessment are intertwined.

미래 발전

Future developments

이론은 복잡한 문제들을 살펴보는 다른 "렌즈"를 준다. 이론은 상황에 대한 우리의 이해를 넓히고 실제로 적용될 수 있다(리브스 외 2008). DBR은 이론과 실제 사이의 교량 구축에 기여할 수 있다. 의학 교육 같은 복잡한 환경에서 더 깊은 통찰력을 얻기 위해서는 DBR의 연구원, 설계자 및 실무자 간의 긴밀한 협업과 상호작용이 필수적이다. DBR은 혼합 방법을 사용하고 특정 목적을 가진 개입이 어떤 상황에서 어떤 맥락에서 성공하는지를 설명하는 다양한 정보 출처를 삼각측량한다.

Theories give different ‘‘lenses’’ through which to look at complicated issues. Theories broaden our understanding of situations and can be applied in practice (Reeves et al. 2008). DBR can contribute to bridge building between theory and practice. A close collaboration and interaction between researchers, designers, and practitioners in DBR is crucial to obtain deeper insight in such complex settings as medical education. DBR uses mixed methods and triangulates different sources of information that explain why an intervention with a particular aim is successful under which circumstances and in which context.

결론 Conclusions

DBR은 설계 연구에 있어 생산적인fruitful 접근법으로, 한편으로는 실무와 관련성이 높은 연구에 기여하고, 다른 한편으로는 이론 시험과 정교화에 기여한다. DBR은 학습이 정상적으로 이루어지는 진정한 실생활 환경에서 진행된다. 나아가 DBR에서는 연구자, 디자이너, 실무자(교사와 학생)가 서로 밀접하게 교류하며 아이디어를 공유한다. 두 가지 특성 모두 교육 실무에 대한 이러한 유형의 연구의 유용성에 기여한다. 또한 좋은 DBR은 이론의 시험과 정교화로 이어지며, 특정 목적을 가진 특정 설계가 특정 맥락에서 작동하는 이유를 명확히 하는 데 초점을 맞추고 있으며, 따라서 이론과 설계 원리의 발전에 기여한다.

DBR is a fruitful approach in design research that on the one hand contributes toward studies that are highly relevant for practice and on the other hand contribute toward theory testing and refinement. DBR is conducted in authentic real-life settings where learning normally takes place. Furthermore, in DBR, researchers, designers, and practitioners (teachers and students) closely interact with each other and share their ideas. Both characteristics contribute to the usefulness of this type of research for educational practice. Good DBR also leads to testing and refinement of theories and focuses on clarifying why a specific design with a specific aim does work in a specific context and as such contributes toward the advancement of theories and design principles.

---

. 2012;34(1):1-10.

 doi: 10.3109/0142159X.2011.595437.

Building bridges between theory and practice in medical education using a design-based research approach: AMEE Guide No. 60

Diana H J M Dolmans 1, D Tigelaar

Affiliations 

Affiliation

• 1Department of Educational Development & Research, Maastricht University, The Netherlands. d.dolmans@maastrichtuniversity.nl

• PMID: 22250671
 
• DOI: 10.3109/0142159X.2011.595437

Abstract

Medical education research has grown enormously over the past 20 years, but it does not sufficiently make use of theories, according to influential leaders and researchers in this field. In this AMEE Guide, it is argued that design-based research (DBR) studies should be conducted much more in medical education design research because these studies both advance the testing and refinement of theories and advance educational practice. In this Guide, the essential characteristics of DBR as well as how DBR differs from other approach such as formative evaluation are explained. It is also explained what the pitfalls and challenges of DBR are. The main challenges deal with how to insure that DBR studies reveal findings that are of a broader relevance than the local situation and how to insure that DBR contributes toward theory testing and refinement. An example of a series of DBR studies on the design of a teaching portfolio in higher education that is aimed at stimulating a teacher's professional development is described, to illustrate how DBR studies actually work in practice. Finally, it is argued that DBR-studies could play an important role in the advancement of theory and practice in the two broad domains of designing or redesigning work-based learning environments and assessment programs.