OSCE에 대한 오해(Med Teach, 2015)

OSCE에 대한 오해(Med Teach, 2015)

Misconceptions and the OSCE

RONALD M. HARDEN

AMEE, Dundee, UK

OSCE에 반대하는 이유로 가장 흔하게 언급되는 것은 비용에 대한 것이다.

The most frequently cited argument against the use of the OSCE relates to cost

Walsh가 언급한 바와 같이 의료전문직 교육은 비용이 많이 들며, 영국에선느 매년 £5bn 이상의 비용을 할당한다.

As noted by Walsh (2015), healthcare professional education is expensive, with £5bn allocated in England to this each year.

 

Brown 등은 평가와 관련한 비용을 이해하는데 유용한 기여를 하였다. Aberdeen, UK에서 운영되는 최종 총괄 OSCE의 서로 다른 요소들의 비용을 정량화하였다. 추정된 비용은 학생당  £355 였다. 이는 매우 작은 부분이며, 아마 한 명의 의사를 양성하는데 들어가는 전체 비용의 0.1%에도 미치지 못할 것이며, 최종 시험의 비용으로는 합당해보인다. 왜냐하면 Brown이 지적한 바와 같이 사회와 전문직에게 있어서 위음성(역량있는 의사의 탈락)은 물론 심지어 위양성(역량 부족한 의사의 합격)결과가 의과대학 최종 시험에서 나오는 것은 매우 크기 때문이다.

Brown et al. (2015) have made a useful contribution to our understanding of cost in relation to assessment by quantifying the cost of the different components of a summative final year OSCE as organised in Aberdeen, UK.The estimated cost was £355 per student. This represents a small proportion, probably <0.1% of the total budget for training a doctor and seems a reasonable expense for a final examination given that, as pointed out by Brown et al. (2015), the costs to society and the profession of false negatives (failing a competent doctor) or even more so false positives (passing an incompetent doctor) in the final assessment of a student are high.

이러한 목적으로 사용되는 도구의 스펙(specification)은 부담이 크다. 그러나 우리가 해야 할 질문은 그보다 비용이 덜 들어가는 평가도구가 과연 존재하느냐는 것이다. 답은 절대적으로 '그렇지 않다'이다.

The specification of a tool which can be used for this purpose is demanding. The question has to be asked, however, as to whether there is a less costly tool available. The answer is almost certainly no.

OSCE의 비용-효과에 대해 고려할 때, OSCE와 관련된 다른 이점들을 생각해 봐야 한다. 여기에는 시험이 학생의 학습에 가지는 긍정적인 영향을 포함하여, 학생들의 지식 습득은 물론 임상스킬 발전에 관한 학습을 더 장려한다는 것이다.

In a consideration of the cost benefit ratio for the OSCE, it is important also to take into account the other advantages associated with an OSCE These include the positive impact that the examination has on student’s learning, encouraging students to focus their attention on the development of clinical skills as well as on the acquisition of knowledge

두 번째는 수험생의 환자 진료에 대한 전체적인 접근이 아니라 분절된 일부 부분만 평가한다는 것이다.

A second argument cited against the use of the OSCE is that it does not assess the examinee’s overall approach to the care of the patient and fragments or compartmentalises medicine.

이러한 우려는 만약 OSCE가 유일한 평가도구였다면 타당한 우려였을 수 있다. 그러나 실제에서는 OSCE는 평가자의 도구상자에서 여러 평가도구 중 하나일 뿐이며 포트폴리오나 다른 근무지기반 평가도구들과 함께 쓰이는 것일 뿐이다.

This would be a legitimate concern if the OSCE was used as the only assessment tool. In practice, however, the OSCE should be seen as only one of the tools in the examiners tool kit, used alongside portfolios and other work-based assessment instruments (Friedman Ben-David et al. 2001).

이와 관련된 다른 근거는 OSCE가 실제 임상상황에서의 평가가 아니며(authentic assessment), 시험 스테이션에서의 것이 의사의 실제 직무에서 기대되는 스킬을 평가하지 못한다는 것이다. 

A related argument against the use of the OSCE is that the examination is not an authentic assessment of students’ competence and that the stations in the examination do not assess skills expected of a doctor in clinical practice.

네 번째 오해는 평가자의 역할에 대한 것이다. 평가자의 역할은 학생을 관찰하고 체크리스트를 가지고 수행결과를 평가하는 것으로 제한되는 기계적인 것으로 보일 수도 있다. 그러나 체크리스트를 채우는 것 외에도 평가자는 학생의 역량에 대한 전반적인 판단을 내려야 하며, global rating scale의 점수를 줘야 한다. 그들은 매우 우수한 수행능력을 보인 학생에게는 보너스 점수를 줄 수 있는 자유도 있다.

A fourth misconception about the use of the OSCE relates to the role of the examiner. The task of the examiner may be seen as a mechanistic one with the role restricted to the observation of a student and the scoring of their performance using a checklist and tick boxes, each representing an element of the performance. In addition to completing a check list, however, the examiner may be asked also to come to an overall judgement of the student’s competence and to score a global rating scale. They may also have the freedom to award bonus points, where excellent performance is demonstrated.

시험을 더 발전시킴에 있어서 평가자는 스테이션의 설계에도 기여할 수 있으며, 어떤 역량을 평가할 것인지, 그리고 어떻게 이것이 OSCE 스테이션에서 구현될 수 있는가에 기여할 수 있다.

In advance of the examination, the examiner can also contribute to the design of the station, the competences to be assessed and how this is achieved in the OSCE station.

시험에 이어서 평가자는 학생에게 개인적으로 그리고 전체적으로 피드백을 제공하는 역할을 한다.

Following the examin- ation, the examiner also has an important role to play in the provision of feedback to the students individually and to the class as whole.

OSCE와 관련된 다섯 번째 문제는 OSCE가 학생에게 스트레스를 유발한다는 것이다. 학생들이 여러 개의 스테이션을 거쳐가며 시험을 본다는 것이 상당히 스트레스를 받는 일이고 매우 피곤할 수 있다. 그러나 오랜 시간에 걸쳐서 학생을 평가하는 상황 자체가 의사가 실제 임상상황에서 격는 것과 비슷하다. 스트레스는 모든 평가의 특징이며, OSCE에서만 유독 나타나는 것이 아니다.

A fifth problem attributed to the OSCE relates to a concern about the OSCE as a cause of stress to the student. It may be

seen as excessively stressful or tiring for the student particularly if the student is assessed over a large number of stations. It can be argued however that to assess a student over an extended period of time itself reflects the pressures challenging a doctor in clinical practice. While stress may be a feature of any assessment, in general it has not featured as a particular concern for students in an OSCE.

이러한 오해는 전통적인 의과대학에서 더 두드러지는데, 그러한 곳에서는 임상 스킬의 엄격한 평가에 대한 지원이 충분하지 않고, 교수개발에 최소한의 관심만 기울이곤 한다.

Such misunderstandings may be more evident in a traditional school, where the climate does not support the rigorous assessment of clinical skills and where minimum attention is paid to faculty development (Troncon 2004).

---

Med Teach. 2015 Jun 15:1-3. [Epub ahead of print]

Misconceptions and the OSCE.

Harden RM1.

Author information

• 1AMEE , Dundee , UK.

PMID:

 

26075956

 

[PubMed - as supplied by publisher]