형성적 OSCE가 어떻게 학습을 유도하는가? 전공의 인식 분석 (Med Teach, 2017)

형성적 OSCE가 어떻게 학습을 유도하는가? 전공의 인식 분석 (Med Teach, 2017)
How do formative objective structured clinical examinations drive learning? Analysis of residents’ perceptions
Debra Pugh, Isabelle Desjardins & Kevin Eva

 

 

배경
Background

평가가 학습을 촉진한다는 데는 의학 교육자들 사이에 이견이 거의 없습니다(Newble 2016). 그러나 평가의 역할에 대한 강조가 순전히 더 나은 학습의 평가(AOL)에서 교육자가 학습을 위한 평가(AFL)를 사용할 수 있는 방법에 대한 사고 방식으로 변화함에 따라, 다양한 형태의 평가가 교육적 가치를 갖는 방법과 시기를 결정하는 자극이 있다. 
There is little disagreement among medical educators that assessment drives learning (Newble 2016). However, as the emphasis for the role of assessment shifts purely from better assessment of learning (AOL) toward thinking in ways about how educators can use assessment for learning (AFL), there is an impetus to determine how and when assessments of various forms have educational value. 

평가가 학습자에게 직접적 및 간접적 영향을 미칠 수 있다는 것을 알게 되었습니다(Larsen et al. 2008). [직접적인 효과]는 평가 자체가 학습을 촉진할 때 발생합니다. 예를 들어, [테스트 효과]는 동일한 시간을 할애했을 때, 그냥 공부보다 테스트가 학습에 더 강력한 영향을 미칠 수 있다는 잘 확립된 현상을 말한다(Larsen et al. 2008, 2009; Kromann et al. 2009; Larsen 2013). 반면 [간접적인 효과]는 학습자에게 평가를 받을 것임을 알려 학습 동기를 제공하는 데서 발생합니다. 또한, 시험이 끝난 후 학습자에게 제공되는 피드백은 학습자가 평가가 끝난 후에도 주제를 계속 탐색하도록 동기를 부여할 수 있는 장점과 단점을 강조하여 학습 방향을 안내하는 데 도움이 될 수 있습니다(Agrawal et al. 2012). 
It has become understood that assessment can have both direct and indirect influences on learners (Larsen et al. 2008). Direct effects arise when the assessment itself prompts learning. For example, the testing effect refers to a well-established phenomenon that testing can have a more powerful influence on learning than when an equal amount of time is devoted to studying (Larsen et al. 2008, 2009; Kromann et al. 2009; Larsen 2013). Indirect effects, in contrast, arise from providing an incentive to study by informing learners that they will be assessed. In addition, the feedback provided to learners after a test can help to guide their learning by highlighting areas of strength and weakness that may, in turn, motivate learners to continue exploring the topic after the assessment is over (Agrawal et al. 2012). 

이러한 명확한 평가의 이점에도 불구하고, 시험이 학습에 해로울 수도 있습니다. 예를 들어, 시험 이벤트로 인한 스트레스는 학습자들이 장기적인 이득을 위해 자료를 보다 철저히 이해할 수 있도록 노력을 기울이기보다는, 단기적으로(즉, 시험에서) 성공할 가능성을 극대화하는 피상적인 학습 전략(예: 암기, 주입식, 공부)을 채택하도록 유도할 수 있습니다. (Pashler et al. 2007) 또한 학습자는 테스트의 단서cue를 사용하여 시도하지 않았을 질문에 올바르게 (찍어서) 답할 수 있으며, 이는 자신의 능력에 대한 인상을 부풀릴 수 있습니다(Desjardins et al. 2014). 마지막으로, 수험생들은 점수를 높이기 위해 담합과 부정행위에 의존해야 한다는 압박감을 느낄 수 있으며, 다시 실제 학습과 관련된 노력을 저하시킬 수 있습니다(Henning et al. 2013). 
Despite these clear benefits of assessment, testing can also be detrimental to learning. For example, the stress caused by a testing event may lead learners to adopt superficial learning strategies (e.g. rote memorization, cramming, studying to the test) that maximize their chances of success in the short term (i.e. on an examination) rather than devoting their efforts to truly understanding the material in a way more likely to yield long-term gain (Pashler et al. 2007). Learners may also use cues on the examination to correctly answer questions they would not otherwise have attempted, which may create an inflated impression of their own abilities (Desjardins et al. 2014). And, finally, examinees may feel pressure to resort to collusion and cheating in an attempt to improve their scores, again detracting from efforts related to actually learning the material (Henning et al. 2013). 

시험을 교육학적 개입으로 채택employ하려고 노력하는 사람들에게 이러한 어려움은 평가가 [학습자가 자신의 스킬을 보여주는 상황]을 지켜보는 관찰자가 있는 수행능력-기반performance-based 평가일 때 더욱 복잡해질 가능성이 있다. 
These challenges for those striving to employ tests as pedagogical interventions are likely to be compounded when the assessment in question is performance based with observers watching a learner demonstrate their skills. 

비록 지식은 기초로서 필요하지만, 학습자가 임상 문제에 직면했을 때 그 지식을 통합하고 적용하는 방법을 평가하기 위해 잘 설계된 OSCE를 사용한다(Harden et al. 1975). OSCE는 일반적으로 (임상 기술과 환자와의 관계를 확립하는 능력 등) 서면 테스트의 대상과 다른 구조를 평가하는 데 사용된다(Jefferies et al. 2007). 이 두 가지 요인 모두 OSCE에서 이루어지는 학습이 단순한 [선언적 지식]을 반영할 가능성이 낮으며, 다양한 방식으로 해석가능한 상호작용을 수반하는 [복잡한complex 행동]을 반영할 가능성이 높다는 것을 시사한다. 
Although they require a foundation of knowledge, well-designed OSCEs are used to assess how learners integrate and apply that knowledge when faced with a clinical problem (Harden et al. 1975). OSCEs are generally used to assess different constructs than those that are targeted by written tests, such as clinical skills and the ability to establish rapport with a patient (Jefferies et al. 2007). Both of these factors suggest that the learning that takes place in OSCEs is less likely to reflect simple declarative knowledge and more likely to reflect complex behaviors that will interact in variably interpreted ways. 

따라서 OSCE를 둘러싸고 이뤄지는 학습은 (서면 테스트와 비교했을 때) 의사가 공식 교육을 완료한 후 경험하게 될 평가 모멘트의 영향에 대한 더 나은 근사치better approximation를 제공할 수 있습니다. 그러나 수행능력-기반 평가에서 따라오는 관찰은 학습자가 자연스럽게 무엇을 할 것인지를 보여주기보다는 '연기play a role'을 해야 한다고 느끼게 만듦으로써 '연출적staging' 행동으로 이어진다는 점을 명심해야 한다(Gormley et al. 2016; Shea and Norcini 2017). 이는 학습자, 특히 상급advanced 교육 단계에 있는 학습자의 경우 [잘 설계된 OSCE조차 비현실적인 것으로 간주]한다면 교육적 가치에 대한 냉소를 유발할 수도 있다. 이 모든 내용을 종합하여 대학원(전공의) 교육 환경에서 형성적목적을 위해 표면적으로 운영되는 OSCE가 학습을 장려하기 위해 평가를 설계할 때 고려해야 하는 긴장을 더 잘 이해할 수 있는 특히 강력한 컨텍스트를 제공할 것임을 시사한다. 

As such, learning that takes place around an OSCE could provide a better approximation (relative to written tests) of the influence of assessment moments that physicians will experience after their formal training is completed. It is important to keep in mind, however, that the observation required for performance-based assessment leads to “staging” behaviors as learners can feel compelled to “play a role” rather than demonstrate what they would naturally do (Gormley et al. 2016; Shea and Norcini 2017). This creates the potential that learners, especially those operating at an advanced stage of training, will view even a well-designed OSCE as inauthentic, thus engendering cynicism regarding its educational value. All of this sums together to suggest that an OSCE that is ostensibly run for formative purposes in a postgraduate (residency) training context would provide a particularly powerful context within which to better understand the tensions that need to be taken into account when designing assessments to encourage learning. 

방법
Methods

형성적 OSCE는 오타와 대학에서 대학원 과정(PGY) 1~4학년 레지던트에게 Progress test(즉, 여러 단계의 교육에서 학습자에게 시행되는 종합 검사)로 시행되었습니다. 같은 날 저녁, [9개 스테이션]의 [5개 동시회로]가 2차례 운행돼 모든 전공의가 이용할 수 있었다. 

A formative OSCE was administered to Internal Medicine (IM) residents in postgraduate years (PGY) 1–4 at the University of Ottawa as a progress test (i.e. a comprehensive examination administered to learners at different stages of training). Five simultaneous circuits of nine stations were run twice in the same evening to accommodate all residents. 

OSCE 진행률 테스트 형식
OSCE progress test format


스테이션의 길이는 12분, 구두 피드백은 1분이었다. 1분이 긴 시간은 아닌 것으로 보일 수 있지만, 이 맥락에서 우리의 이전 연구는 심사관들이 1분 안에 평균 16명의 전공의 피드백 포인트를 제공하는 것으로 입증했다(Humphrey-Murto et al. 2016). 전공의는 스테이션 유형에 따라 선택된 스테이션별 체크리스트와 다수의 5점 평가 척도(예: 조직 기술, 환자와의 관계)를 사용하여 의사 검사자에 의해 채점되었다.
Stations were 12min in length, accompanied by 1min of verbal feedback. While a single minute may not seem like a long time, our previous research in this context has demonstrated that examiners provide an average of 16 residents feedback points to in 1 min (Humphrey-Murto et al. 2016). Residents were scored by physician examiners using a combination of station-specific checklists and a number of five-point rating scales (e.g. organizational skills, rapport with patient) that were selected based on station type.

참여자 Participants

설문 Surveys

참가자들은 검사 전(사전 검사), 검사 직후(사후 검사), 검사 후 결과(사후 결과)의 세 가지 설문조사를 완료해야 했습니다. 자세한 내용은 보충 부록을 참조하십시오. 
Participants were asked to complete three surveys: before the examination (pre-examination), immediately following the examination (postexamination), and after the examination, results were made available (postresults); see Supplementary Appendix. 

운영 Administration

온라인 설문조사 서비스(Fluid Survey VR)를 사용하여 설문조사를 배포했으며 선택된 응답(즉, 라이커트 등급 척도)과 구성된 응답(즉, 서술형 논평) 질문을 모두 포함했다.
Surveys were distributed using an online survey service (Fluid Surveys VR ) and included both selected-response (i.e., Likert-like rating scales) and constructed response (i.e. narrative comments) questions.

분석 Analyses

상위 성과자와 하위 성과자 간의 차이는 총 OSCE 점수의 [중위 분할median splits]을 사용하여 조사되었으며, 전공의는 특정 대학원 연도에 상위 성과자 또는 하위 성과자로 분류되었다. 우리는 성취도가 낮은 사람이 성취도가 높은 사람과 비교했을 때 다른 학습 전략을 채택할 것이라는 가설을 세웠습니다. 혼합 설계 분산 분석을 사용하여 검사 주기 동안 낮은 성과자와 높은 성과자의 등급의 차이뿐만 아니라 그러한 등급의 변화(즉, OSCE 이후 및/또는 결과를 받은 후 참가자의 인식이 변경되었는지 확인)를 조사했습니다. 구면성에 대한 가정을 위반한 경우, Greenhouse–Geisser corrections을 사용했다. 
Differences between high and low performers were explored using median splits on total OSCE score with residents classified as either high or low performers within their particular postgraduate year. We hypothesized that low achievers would adopt different learning strategies when compared to high achievers. A mixed design ANOVA was used to examine differences in low and high performers’ ratings as well as changes in those ratings over the examination cycle (i.e. to see if participants’ perceptions changed after the OSCE and/or after they received their results). Where assumptions of sphericity were violated, Greenhouse–Geisser corrections were used. 

결과
Results

참가자는 OSCE에 등록된 거주자의 분포에 근거하여 예상대로 모든 교육 수준에 걸쳐 비교적 고르게 분포되었다(표 1). 
Participants were relatively evenly distributed across all levels of training, as expected based on the distribution of residents enrolled in the OSCE; (Table 1). 

선택한 응답 질문에 대한 테마 생성
Theme generation for selected response questions

참가자들에게 OSCE의 목표에 대해 묻는 질문에서는 세 가지 주제를 파악했습니다. 

• 성과 지향 목표(즉, 참가자가 점수를 잘 받기를 원했음을 나타내는 목표) 
• 숙달 지향 목표(즉, 참가자가 임상 기술 향상을 원했음을 나타내는 목표) 및 
• 피드백을 받는 것(즉, 참가자가 OSCE로부터 성과에 대한 지침을 구하고 있었다는 것을 나타내는 목표)

For the question asking participants about their goals for the OSCE, three themes were identified:

• performance-oriented goals (i.e. goals indicating the participant wanted to score well),
• mastery-oriented goals (i.e. goals indicating the participant wanted to improve their clinical skills) and
• receiving feedback (i.e. goals indicating the participant was seeking guidance about their performance from the OSCE). 

OSCE의 가치에 대한 참가자의 인식과 관련된 항목은 [타당한 평가 수단]과 [교육적 가치]라는 주제로 코드화되었다. 
Items related to participants’ perceptions about thevalue of the OSCE were coded into the themes of:

• valid means of assessment and
• educational value. 

OSCE를 준비하는 데 사용된 학습 활동의 유형에 대한 질문과 OSCE에서 점수를 잘 받는 방법에 대한 참가자의 인식에 대한 질문은 [내용 중심 전략]과 [시험 전략]의 두 가지 주제로 나뉘었다. 
Items associated with both the question about the types of study activities used to prepare for the OSCE and the question about participant perceptions of how to score well on the OSCE were divided into two themes:

• content-focused and
• test-taking strategies. 

OSCE 목표
Goals for the OSCE

성능 지향 목표: 연습 OSCE는 처음이기 때문에, 로얄 칼리지 OSCE의 형식을 익히고 다음에 시험을 볼 때 나아지기를 바라는 것이 저의 주된 목표입니다. (C3Q; PGY-2) 
Performance-oriented goals: Since it will be my first time doing the practice OSCE, my main goal is to familiarize myself with the format of a Royal College OSCE and hopefully improve the next time I take the exam. (C3Q; PGY-2) 

숙달 지향 목표: OSCE는 로얄 칼리지에 대비하여 PGY4급으로 설계되어 있기 때문에, 저는 R1로서 이 경험을 통해 (이 시험에 합격할 것이라고 기대보다는) 배우는 것이 목표입니다. (A1P; PGY-1) 
Mastery-oriented goals: Since the OSCE is designed for the PGY4 level in preparation for the Royal College, my goal is to learn from this experience as an R1 and not expecting (sic) to pass the exam. (A1P; PGY-1) 

피드백 요청: 내용만 있는 것이 아니라, 그런 관점에서 저의 '시험정신exammanship'과 로얄 칼리지 준비에 대한 피드백을 원합니다. (A1E; PGY-3) 
Desire for feedback: I would like feedback on my ‘exammanship’ (sic) and Royal College preparation from that point of view, rather than just content alone. (A1E; PGY-3) 

표 2에서 볼 수 있듯이, 고성능 전공의와 저성능 전공의 모두 좋은 성과를 거두기를 원했다. 시간에 따라 변하기는 했지만 [성과 지향적 진술]과 관련된 평균 등급은 일반적으로 높았다(F→4.1 p→0.03). 사후 검사(평균 4.2, SE→0.15)와 사후 결과(평균 4.3, SE→0.10) 조사와 비교했을 때 사전 검사(평균 →4.6, SE→0.11)에서 평균 등급이 더 높았다. 높은 성과 대 낮은 성과자의 주효과는 관찰되지 않았으며(F→0.52, p→0.48), 상황(즉 사전 검사, 사후 검사, 사후 결과)은 성과 그룹과 상호작용하지 않았다(F→3.2, p→0.07).
As shown in Table 2, both high- and low-performing residents wanted to perform well. Mean ratings related to performance-oriented statements were generally high, although they changed over time (F¼4.1 p¼0.03). Post hoc tests indicated that mean ratings were higher in the pre-examination survey (mean¼4.6, SE¼0.11) when compared to the postexamination (mean¼4.2, SE¼0.15) and postresults (mean¼4.3, SE¼0.10) surveys. No main effect of high versus low performers was observed (F¼0.52, p¼0.48) and occasion (i.e. pre-examination, postexamination, postresults) did not interact with performance group (F¼3.2, p¼0.07).

OSCE를 사용하여 임상 기술을 개선하고자 하는 참가자의 욕구를 나타내는 [숙련 중심의 진술]에 대한 평점은 OSCE 직후 내려갔으나, 참가자가 결과를 받은 후 상승하였다(F§123, p<0.001). 수행능력 수준별 차이는 없었으며(F→0.01p→0.91) 경우에 따라 성능 수준(F→0.64, p→0.53)과 상호 작용하지 않았습니다. 
Ratings for mastery-oriented statements, indicating participants’ desire to use the OSCE to improve their clinical skills, went down immediately after the OSCE but then increased after participants received their results (F¼123, p<0.001). There was no difference by performance level (F¼0.01 p¼0.91) and, again, occasion did not interact with performance level (F¼0.64, p¼0.53). 

[피드백 수신]과 관련된 진술의 등급은 OSCE를 예상하여 피드백을 받는 것의 중요성과 관련된 진술에 대한 평점이 가장 높았습니다. 이러한 등급이 사전 조사와 후속 조사(F→8.7, p→0.001) 사이에 감소하였고, 성능 수준(F→1.3, p→0.26)과 상호작용(F→3.0, p→0.07)의 차이가 없었다.

Ratings for statements related to the importance of receiving feedback were greatest in anticipation of the OSCE as these ratings decreased between the pre-examination survey and subsequent surveys (F¼8.7, p¼0.001), with no difference between performance level (F¼1.3, p¼0.26) and no interaction (F¼3.0, p¼0.07).

OSCE에 대한 인식
Perceptions of the OSCE

시간에 따라 설정한 목표에 대한 참가자의 반응이 동적으로 변화했음에도 불구하고, OSCE의 타당성과 관련된 참가자의 평점은 표 3에 예시된 바와 같이 OSCE의 교육적 가치에 대한 평점(F of0.56, p570.57)과 마찬가지로 안정적이었다(F33.4, p)0.05) 다시 말하지만, 이러한 등급은 성능 수준에 따라 차이가 없었으며, 발생 및 성과 수준(두 주제 모두 F<2.0, p>0.15)은 상호 작용하지 않았다.
Despite the dynamic changes in participants’ responses regarding the goals they set over time, their ratings related to the validity of the OSCE were stable (F¼3.4, p¼0.05) as were their ratings of the educational value of the OSCE (F¼0.56, p¼0.57), as illustrated in Table 3. Again, these ratings did not differ by performance level (F<0.50, and p>0.45 for both themes) and occasion and performance level did not interact (F<2.0, p>0.15 for both themes).

OSCE 직후에 설문조사를 했을 때, 거의 모든 참가자(n=34, 97%)가 무언가를 배웠다고 보고했다. 사후 평가 설문 조사에 대한 대부분의 논평은 시험 전략 개선과 관련하여 무엇을 배웠는지에 초점을 맞췄다. 
When surveyed immediately following the OSCE, almost all participants (n¼34, 97%) reported that they had learned something. Most of the comments on the postexamination survey focused on what was learned in relation to improving test-taking strategies: 

반면, 결과가 발표된 후 OSCE로부터 무엇을 배웠는지에 대한 질문을 받았을 때, 참가자들의 서술적 논평은 OSCE가 지식의 상당한 gap를 식별하도록 했다는 사실을 강조하였다.
In contrast, when asked about what they had learned from the OSCE following the release of the results, participants’ narrative comments highlighted the fact that the OSCE had allowed them to identify significant gaps in their knowledge:

학습을 안내하는 데 유용한 요소를 물었을 때, 참가자의 평점은 시험자 피드백에 대해 상대적으로 중립적이었다(평균 §3.4, SD00.79). 서술적 논평은 일부 참가자가 심사자 피드백의 타당성의 가치를 떨어뜨리는 이분법dichotomy을 언급되었고, 다른 참가자는 더 많은 피드백을 요구하였다.  
When asked what factors were useful in guiding their learning, participants’ ratings were relatively neutral regarding examiner feedback (mean¼3.4, SD¼0.79). Narrative comments reflected a dichotomy in which some participants discounted the validity of examiner feedback, while others called for more feedback:  

스터디 활동에 소요된 시간
Time spent on study activities

비록 이것이 형성시험이었지만, 약 절반의 참가자(n¼18, 51%)는 OSCE를 위해 특별히 준비하는 데 시간을 보낸다고 보고했다. 
Although this was a formative examination, about half theparticipants (n¼18, 51%) reported spending time specific-ally preparing for the OSCE. 

표 4에 예시된 점수는 연구 활동에 소요된 시간과 관련하여 참가자의 의도와 경험 간에 차이가 존재했음을 시사한다. [시험 전 설문]에서 교육생들에게 연구 활동에 얼마나 많은 시간을 할애할 것으로 예상했는지를 물었을 때, 후보자들에게 다양한 학습 활동에 실제로 얼마나 많은 시간을 소비했는지를 보고하도록 요청했을 때(평균 2.2, SE→0.20) [시험 후 설문]보다 반응이 유의미하게 높았다(평균 1.1, SE→0.22) [시험 결과 후]에서는, 참가자들에게 미래 OSCE 연구에 얼마나 많은 시간을 할애할 계획이냐는 질문을 받았을 때, 그들의 추정치는 다시 사전 심사 수준(평균 § 2.3, SE se 0.25)으로 올라갔다. 이러한 등급은 성능 수준(두 주제 모두 F<0.6, p>0.4)에 따라 다르지 않았으며, 성능 수준과 경우가 상호 작용하지 않았다(두 주제 모두 F<0.6, p>0.5).
The scores illustrated in Table 4 suggest that, with regards to time spent on study activities, differences existed between participants’ intentions and their experience. Preexamination, when trainees were asked how much time they anticipated they would spend on study activities, responses were significantly higher (mean¼2.2, SE¼0.20) than they were postexamination, when candidates were asked to report how much time they had actually spent on various study activities (mean¼1.1, SE¼0.22). Postresults, when participants were asked how much time they would plan to devote to studying for future OSCEs, their estimates came up again to the pre-examination level (mean¼2.3, SE¼0.25). These ratings did not differ by performance level (F<0.6, p>0.4 for both themes) nor did performance level and occasion interact (F<0.6, p>0.5 for both themes).

 

OSCE에서 점수를 잘 받는 방법
How to score well on the OSCE

OSCE에서 점수를 잘 받으려면 더 많은 컨텐츠 지식이 필요하다는 참가자의 인식과 관련된 등급이 시간이 지남에 따라 변경되었습니다(F¼5.0, p00.01). [시험 후 설문]은 표 5에 예시된 바와 같이 [시험 전 설문](평균 3 3.6, SE 0 0.09)와 [결과 후 설문](평균 3 3.9, SE 0 0.10) 사이에 이러한 차이가 발생한 것으로 나타났다. 성능 수준의 주효과는 없었습니다(F→0.099, p→0.75). 그러나 성능과 상황 사이에는 교호작용이 있었습니다 (F→6.5, p→0.005). 사후 테스트 결과 사전 심사 후 콘텐츠 지식의 중요성에 대한 낮은 성과자의 인상이 높아진 반면, 높은 성과자의 평점은 OSCE 이전 낮은 성과자의 평점보다 높아 시간이 지날수록 높은 것으로 나타났다. 시간에 따른 시험 응시 전략의 중요성에 대한 참가자의 평가에는 차이가 없었다(F→0.17, p→0.81).
Ratings related to participants’ perceptions that more content knowledge is required to score well on the OSCE changed over time (F¼5.0, p¼0.01). Post hoc tests indicated that this difference arose between the pre-examination (mean¼3.6, SE¼0.09) and postresults (mean¼3.9, SE¼0.10) surveys, as illustrated in Table 5. There was no main effect of performance level (F¼0.099, p¼0.75). However, there was an interaction between performance and occasion (F¼6.5, p¼0.005). Post hoc tests indicated that low performers’ impressions of the importance of content knowledge increased after the pre-examination survey, whereas high performers’ ratings were higher than low performers’ ratings pre-OSCE and remained high over time. There was no difference in participants’ ratings of the importance of test-taking strategies over time (F¼0.17, p¼0.81).

OSCE를 어떻게 준비했는지를 물었을 때, 가장 일반적인 연구 전략에는 콘텐츠 지식 향상(n=18), 정기 임상 순환 시 환자 검사(n=13), 임상 검사 관련 비디오 시청(n=10)이 포함되었습니다. 테스트맨십과 관련된 전략은 덜 자주 표현되었다. 즉, 이전 OSCE 체크리스트(n→5)와 OSCE 준비 과정(n→1)의 검토였다. 
When asked how they had prepared for the OSCE, the most common study strategies involved improving content knowledge: reading around areas of content (n¼18), examining patients during regular clinical rotations (n¼13) and watching videos related to clinical examinations (n¼10). Strategies related to testmanship were less commonly expressed: review of old OSCE checklists (n¼5) and OSCE prep courses (n¼1). 

고찰
Discussion

시험전 효과
Pretest effects

비록 형성적 시험이었지만, OSCE는 시험 전 단계에서 공부 습관에 영향을 주었다. 참가자들은 OSCE가 [콘텐츠 지식 향상]과 [시험 점수 극대화]를 목적으로 하는 학습 행동에 참여하도록 이끌었다고 보고했습니다. 이는 필기 테스트에서 보이는 것과 유사하다(Cilliers et al. 2012). 흥미롭게도 학습자가 종종 성과 지향적 또는 숙달 지향적(Chen et al. 2016)으로 분류되지만, 참가자들은 OSCE를 극복해야 할 장애물이자 학습과 피드백을 받을 수 있는 기회로 보고 있음을 시사했다.
Although it was a formative examination, the OSCE influenced study habits in the pre-assessment phase. Participants reported that the OSCE led them to engage in study behaviors aimed at both improving content knowledge and maximizing their test scores, which parallels what is seen in written tests (Cilliers et al. 2012). Interestingly, although learners are often categorized as being either performance oriented or mastery oriented (Chen et al. 2016), participants’ responses suggested that they viewed the OSCE as both a hurdle to overcome and an opportunity to learn and receive feedback, as reflected by their goals and study strategies. 

의료계 전공의들이 성공하기 위해 학문과 높은 점수를 모두 추구하는 데 많은 시간을 보냈다는 점에서 이는 놀라운 일이 아닐 수 있다. 따라서 학습자의 마음속에서 [수행을 잘 하는 것]과 [자료를 숙달하는 것]은 [맥락에 따라서 중요도가 조금씩 달라지는 보완적 목표]로 개념화될 수 있습니다. 학습자가 OSCE를 [학습에 대한 평가]와 [학습을 위한 평가] 둘 다로 보는 것 역시, 이러한 구조 사이(AoL과 AfL)에 상당한 기능적 중복이 있으며, 평가 순간을 반드시 하나의 범주 또는 다른 범주로 분류하는 것으로 생각하는 것은 인위적일 수 있음을 시사한다. 확실히, 모든 평가가 어느 정도 극복해야 할 장애물로 간주될 수 있기 때문에 [학습자는 교육자의 방식대로 총괄적 평가와 형성적 평가를 구분하지 않는다]고 제안하는 문헌이 있다(Bok et al. 2013; Heeneman et al. 2015). 
This may not be surprising, given that medical residents have spent much of their academic career pursuing both knowledge and high marks in order to be successful. Therefore, performing well and mastering the material may more accurately be conceptualized as complementary goals that are more or less foregrounded in the minds of learners, depending on context. That learners appeared to view such a low stakes OSCE as both an assessment of their learning and an assessment for their learning suggests that there is considerable functional overlap between these constructs and that it may be artificial to think of assessment moments as necessarily falling into one category or the other. Certainly, there is literature to suggest that learners do not differentiate between formative and summative assessment the way educators do, as all assessment may be viewed as a hurdle to be overcome to some extent (Bok et al. 2013; Heeneman et al. 2015). 

순시험 효과
Pure test effects

시험 행위 자체가 필기 시험(시험 강화 학습)을 통한 학습으로 이어지는 것으로 나타났다. 필기 시험 사용에 대한 여러 연구에서는 혼자 공부하는 것에 비해 시험이 더 많은 학습과 더 나은 학습 이전으로 이어진다는 것을 발견했지만, 이것이 수행능력 기반performance-based 시험에서도 해당되는지transfer 여부는 명확하지 않다(Butler 2010; Larsen et al. 2013). [수행능력 기반 테스트를 보는 것 자체]로도 결과 유사한 효과가 발생한다는 징후가 있었지만, 그러한 현상은 잘 확립되지 않았다(Kromann et al. Kromann et al. 2009). 현재 연구에서 거의 모든 참가자는 이 Formative OSCE에 참여함으로써 무언가를 배웠다고 보고하였다. 
The act of testing itself has been shown to lead to learning with written tests (test-enhanced learning). Several studies on the use of written tests have found that testing leads to more learning and better transfer of learning when compared to studying alone, but it is not clear if this transfers to performance-based tests (Butler 2010; Larsen et al. 2013). While there have been indications that similar effects occur as a result of sitting performance-based tests, that phenomenon is less well established (Kromann et al. 2009). In the current study, almost all participants reported that they had learned something by participating in this formative OSCE. 

평가 결과가 모두 공개되고 나면, [임박한 시험으로 인한 스트레스]가 해소되었기 때문인지, 수행의 중요성에 대한 참가자들의 상대적 인식이 시간이 지날수록 줄어든 것으로 보인다. 반면 [내용 숙달]의 중요성에 대한 평가는 시험 직후 낮아졌다가 결과 발표 직후 다시 올라갔다. 
Based on their ratings, it appears that participants’ relative perceptions of the importance of performing well decreased over time, perhaps because the stress associated with the impending examination had been removed. In contrast, ratings of the importance of mastering the content decreased immediately following the examination and then bounced back up following the release of the results. 

주관식 응답에서는 [미래의 OSCE에서 성공할 수 있도록 하는 시험 전략testmanship에 대한 통찰력을 얻는 데 도움이 되었다]는 응답이 많았다. 이와는 대조적으로, 결과 발표 후 완료된 후속 조사에서 무엇을 배웠는지에 대한 질문을 받았을 때, 참가자들의 코멘트는 [내용 지식]에 초점을 맞추는 경향이 있었다. 이것은 평가의 즉각적인 위협을 제거함으로써, 참가자들이 [단순히 좋은 성과]를 내는 것을 목표로 하기보다는, [학습에 더 집중]할 수 있게 되었다는 사실을 반영할 수 있다. 또한 평가가 [성과 중심의 근시안적 태도]를 유도하는 경향은 [일시적]일 수 있음을 시사합니다.
many of the narrative comments that the reflected the perception OSCE helped them to gain insight into testmanship strategies to allow them to be successful on future OSCEs. In contrast, when asked about what they had learned in the follow-up survey completed after the release of the results, participants’ comments tended to focus on content knowledge. This may reflect the fact that removal of the immediate threat of being assessed allowed participants to better focus on their learning rather than simply aiming to perform well, while also suggesting that any tendencies assessments have toward inducing performance-focused shortsightedness may be transient.

시험 후 효과
Post-test effects

일부는 제공된 피드백의 가치를 평가절하하였고, 다른 일부는 더 많은 피드백을 추구하였다. 이는 Formatie OSCE에서 시험자 피드백이 어느정도나 학습의 중요한 modulator가 되는지에 대해 의문을 제기한다(Eva et al. 2010).
Some discounted the value of the feedback provided, while others sought more feedback. This raises questions about the extent to which examiner feedback is an important modulator of learning in a formative OSCE (Eva et al. 2010).

고성능 및 저성능
High versus low performers

놀랍게도 OSCE에 대한 목표, OSCE의 가치에 대한 인식, 연구 활동에 소요되는 시간 등에서 [낮은 성과자와 높은 성과자의 차이는 없었다]. 우리는 저성취자들이 학습에 더 성과 지향적인 접근법을 채택하거나 이러한 평가 형태에 대해 더 부정적인 견해를 가질 수 있다는 가설을 세웠으나, 이에 대한 어떠한 증거도 찾지 못했으며, assessment practice의 주된 영향이 적어도 형성적 맥락에서는 전반적 숙련도에 좌우되지 않을 수 있음을 시사했다.  
Surprisingly, there were no differences between low and high performers in terms of their goals for the OSCE, their perception of the value of the OSCE, or time spent on study activities. We had hypothesized that low performers might employ a more performance-oriented approach to learning or that they might have more negative views with regards to this form of assessment, but we did not find any evidence of this, suggesting that the leading influences of assessment practices may not be dependent on the overall proficiency of the examinee, at least in a formative context. 

다만 점수를 잘 받는 것에 대한 [콘텐츠 관련 지식]의 중요성에 대해서, 고득점자의 인식은 시험 전-후-결과후에 걸쳐 안정적인 반면, 저득점자의 인식은 OSCE 시험 이후 높아진 점이 눈에 띈다. 이는 저성취자들이 처음에는 콘텐츠 관련 지식의 가치를 충분히 인식하지 못했지만, OSCE 경험은 그들에게 그들의 약점에 대한 몇 가지 통찰력을 제공했을 수 있음을 시사할 수 있다.
However, it is notable that high performers’ recognition of the importance of content-related knowledge in order to score well was stable throughout the examination period, whereas low performers’ ratings increased after the OSCE. This may suggest that, although low performers did not fully appreciate the value of content-related knowledge initially, the OSCE experience may have provided them with some insights into their weaknesses.

한계 Limitations



결론 Conclusions

이 연구는 OSCE 관련 학습이 언제 어떻게 발생하는지 설명하는 예비 단계를 나타냅니다. 본 연구에서는 전공의들이 OSCE를 이수할 수 있는 기회를 학습경험(AFL)으로 평가한 것으로 보이지만, 이는 형성적이고 저부담 시험임에도 불구하고 성과를 잘 내고자 하는 욕구(AOL)에 의해 다소 억제되었다. 필기 시험(Cilliers et al. 2010)에서 볼 수 있듯이, OSCE는 학습 전(즉, 학습 습관의 변경) 순수(즉, 학습으로 직접 연결) 단계와 사후(즉, 학습 목표의 개발로 연결) 단계에서 양성과 음성으로 학습에 모두 영향을 미치는 것으로 보인다. 

This study represents a preliminary step in explaining when and how OSCE-related learning occurs. It would seem that the residents in this study valued the opportunity to complete an OSCE as a learning experience (AFL), but this was tempered somewhat by a desire to perform well (AOL) despite the fact that it was a formative, low stakes, examination. As has been shown with written tests (Cilliers et al. 2010), OSCEs seem to influence learning in both positive and negative ways in the pre(i.e. by changing study habits) pure(i.e. by directly leading to learning) and post-test (i.e. by leading to the development of learning goals) phases. 

형성 평가: 미래의 학습을 안내하고, 확신을 주며, 성찰을 촉진하고, 미래의 가치를 형성하는 평가의 토론 형식입니다.

Formative assessment: A discussive form of assessment that guides future learning, provides reassurance, promotes reflection, and shapes future values. 

Reference: Epstein R. (2007) Assessment in Medical Education. New England Journal of Medicine; 356:387–396. 

 

 

 

 

---

Med Teach. 2018 Jan;40(1):45-52.

 doi: 10.1080/0142159X.2017.1388502. Epub 2017 Oct 16.

How do formative objective structured clinical examinations drive learning? Analysis of residents' perceptions

Debra Pugh 1, Isabelle Desjardins 1, Kevin Eva 2

Affiliations collapse

Affiliations

• 1a Department of Medicine , University of Ottawa , Ottawa , Canada.
• 2b Department of Medicine , University of British Columbia and Senior Scientist at the Centre for Health Education Scholarship (CHES) , Vancouver , Canada.

• PMID: 29037098
• DOI: 10.1080/0142159X.2017.1388502Abstract
• Introduction: Although several studies have explored the relationship between learning and written tests, little is understood about how performance-based examinations influence learning. The purpose of this study was to explore how a formative objective structured clinical examination (OSCE) drives learning.Results: Participants' goals for the OSCE related to performance, mastery and feedback. Almost all participants reported that they had learned something from the OSCE (94%) and most participants generated learning goals after the OSCE (71%). High performers appeared to recognize the importance of content-related knowledge for scoring well before and after the OSCE, whereas low performers may have under-estimated its importance until after the examination.
• Discussion: Participants viewed a formative OSCE as both a hurdle to overcome (assessment of learning) and an opportunity to learn (assessment for learning). Understanding how OSCEs influence study behavior can help guide the development of assessments that promote learning.
• Methods: We administered surveys to residents (n = 35) at three time points to determine if and how an OSCE influenced their learning: before and immediately following the OSCE, and after the distribution of their results. Differences in quantitative responses between high- and low-performing residents and across time were compared using repeated-measures ANOVA. Thematic analysis was used to analyze narrative comments.