친구 다음에 OSCE를 볼 때의 이득: 후향적 연구(Med Teach, 2018)

친구 다음에 OSCE를 볼 때의 이득: 후향적 연구(Med Teach, 2018)
Gaining an advantage by sitting an OSCE after your peers: A retrospective study
Asim Ghouria, Charles Boachieb, Suzanne McDowalla, Jim Parlec, Carol A. Ditchfielda, Alex McConnachieb, Matthew R. Waltersa
and Nazim Ghouria
 

 

도입
Introduction

OSCE는 임상 관행을 반영하기 위한 "실제" 시나리오를 시뮬레이션하는 여러 스테이션으로 구성됩니다. 따라서 OSCE 검사를 통해 학생의 임상 기술을 평가할 수 있습니다. Miller의 피라미드(Gormley 2011)의 "Shows how"를 보여줍니다. 
The OSCE consists of multiple stations simulating “real life” scenarios, which are intended to reflect clinical practice. Hence the OSCE examination allows assessment of a student’s clinical skills: the “shows how” of Miller’s pyramid (Gormley 2011).

조직적인 이유로 OSCE 전달의 현재 구성은 종종 연속적인 날짜에 스테이션의 재사용을 수반합니다. 그러나 이는 응시자들이 시험 내용에 대해 결탁할 수 있는 잠재적 기회(즉, 부정행위)를 주며, 나중에 시험을 치르는 학생들에게 잠재적으로 유리할 수 있다(Park et al. 2006). 궁극적으로 [담합 의혹]은 시험성적의 타당성에 대한 의구심을 불러일으킬 수 있고, 이러한 행위에 연루된 것으로 의심되는 학생들의 정직성integrity에 의문을 제기할 수 있으며, 이로 인해 의료계에 대한 국민의 신뢰가 훼손될 수 있다. 게다가 이러한 유착은 weaker student에게 더 이득이 되어서, 결과적으로는 합격하지 않았어야 할 학생이 합격하는 결과를 낳는다.
For organizational reasons the current configuration of OSCE delivery often involves the re-use of stations on consecutive days. This however gives candidates a potential opportunity to collude over the contents of the examination (i.e. cheat), potentially conferring an advantage to students undertaking the examination on later sittings (Parks et al. 2006). Ultimately, the suspicion of collusion can raise doubts over the validity of the examination grades and draw into question the integrity of students suspected of participation in this behavior, with consequent risk to the trust of the public in the medical profession (Smith 2000). In addition such collusion may advantage the weaker who students more and result in some passing should not. 

OSCE 결과에 대한 이전의 연구는 [시간이 지남에 따라 반복되는 스테이션]에서 학생 점수가 크게 향상되지 않았다. 이 연구들은 미국, 영국, 한국의 3학년과 4학년 학생들을 대상으로 실시되었다.  
Previous studies of OSCE results have not shown a significant improvement in student scores for stations repeated over time . These studies have been performed using third year and fourth year students in USA, UK and South Korea.  

현재까지 가장 많은 학생을 대상으로 한 연구는 Parks 등이 수행했다. (2006년), 2일 동안 의대 3학년생 255명의 OSCE 점수를 분석했습니다. 학생 담합은 의과대학이 설치한 온라인 토론 게시판을 통해 확인됐다. 그러나 OSCE의 1일차 총점에서는 2일차 대비 유의한 차이가 관찰되지 않았다. 슬라이드가 바뀌었음에도 불구하고 1일차에 적용된 진단을 2일차에 82명이 잘못 적어낸 병리학 스테이션의 한 하위 항목에서만 담합 효과를 명확히 알 수 있었다. 
The study with the largest number of students to date was performed by Parks et al. (2006), who analyzed the OSCE marks of 255 third year undergraduate medical students over a 2-day period. Student collusion was confirmed via an online discussion board set up by the medical school. However, no significant difference was observed in the total mark for the OSCE on day 1 compared with day 2. A clear indication of the effects of collusion could only be obtained from a single subsection of a pathology station, where 82 students on day 2 incorrectly gave the diagnosis which had applied on day 1 despite the slide having been changed. 

방법
Methods

학생 그룹Student population

영국 글래스고 대학(University of Glasgow, UK, Scotland)에서 의대생 OSCE 최종학년의 시험 성적이 분석되었다. 이 연구의 목적상, 최종 연도 코호트 6개(2009-2010~2014-2015 포함)가 연속 포함되었다. 1505명의 학생들의 데이터가 포함되었습니다(n→238, 262, 226, 261, 259, 259). 모든 학생은 OSCE에 응시하기 전에 최종 종료 전까지 다른 서킷 또는 장소에서 OSCE를 보게 될 학생과 OSCE 내용을 논의해서는 안 된다는 안내를 받는다.

• (1) 형형성 문제 및 동료에 대한 존중 문제
• (2) 개인적으로 GMP의 표준을 충족하지 못하는 문제
• (3) 대학 시험 규정 위반

Examination performance of final year medical students OSCE at (Year 5) undertaking their the University of Glasgow, Scotland, UK, was analyzed. For the purpose of this study, 6 consecutive final year cohorts were included (2009–2010 to 2014–2015 inclusive). Data from 1505 students was included (n¼238, 262, 226, 261, 259, 259 in consecutive years). All students are given instructions prior to sitting the OSCE advising that they must not discuss the content of the OSCE with candidates sitting the OSCE at other sites or circuits until the final completion of the examination due to

• (1) issue of equity and respect to colleagues;
• (2) issue of failure to personally meet standards of Good Medical Practice; and
• (3) breach of University examination rules.

또한 시험이 진행되는 동안 [어떤 방법으로든 OSCE의 내용에 대해 논의한 것]으로 판명될 경우 상원에 회부하고 공식적인 실무 적합성 절차를 밟는 등의 징계 조치를 취할 것을 권고합니다. 

They are also advised that if they are found to be discussing the content of the OSCE by any means while the examination is running, they will be subject to disciplinary action in the form of referral to Senate and formal Fitness to Practice procedures. 

OSCE 형식
OSCE format

매년 최종 학부 의학 커리큘럼의 임상 구성요소에 기여하는 OSCE 스테이션이 32개에서 50개 사이였다. 시험은 A~D의 네 부분으로 나뉘었다. 각 파트는 서로 다른 필드를 평가했습니다. 

• A – 산부인과 및 정신의학, 
• B – 의학 및 수술, 
• C – 소아과, 
• D – 기타 전문 분야.

For each year, there were between 32 and 50 OSCE stations that contributed to the clinical component of the final year undergraduate medical curriculum. The examination was divided into four parts: A–D. Each part assessed different fields:

• A – Obstetrics and Gynaecology and Psychiatry,
• B – Medicine and Surgery,
• C – Paediatrics,
• D – Other specialties.

모든 SP들은 그 역할을 위해 훈련을 받는 훈련된 배우들이다. 또한 대다수의 SP들은 커뮤니케이션 기술 교육에 참여하기 때문에 SP의 역할에 경험이 많습니다. 
All SPs are trained actors who undergo training for the role. The majority of the SPs also take part in the teaching of communication skills so are highly experienced in the role of SP. 

각 스테이션에는 회로 중에만 평가자examiner가 한 명씩 있었습니다. 모든 examiner은 선임 임상의사였고 모두 OSCE 평가에 대한 교육을 받았다. 평사자는 같은 날 또는 다른 날에 두 개 이상의 회로에 대해 동일한 스테이션을 표시할 수 있지만, 어떤 평가자도 동일한 스테이션을 전체 4-5일 동안 채점하지examined 않았습니다. 또한, 평가자는 같은 날 또는 다른 날에 다른 서킷의 다른 스테이션을 평가했을 수 있습니다. 
Each station had one examiner only during a circuit. All examiners were senior clinicians and all were trained in OSCE assessment. While an examiner could mark the same station for more than one circuit on the same day or on different days, no individual examined the same station for the full 4–5 days. In addition, examiners may have assessed a different station during another circuit on the same or different days. 

각 스테이션에 대해 학생은 객관적인 항목 목록에 대해 20점 만점으로 채점되었다. 또한, 평가자는 학생의 성적을 글로벌하게 판단하여 "합격", "실패", "경계선"으로 분류하였다. 그런 다음, 각 스테이션의 합격점수는 경계선 등급을 받은 모든 응시자의 숫자 점수를 취하여 이 점수의 평균을 계산하여 계산하였다. 학생들의 합격/불합격은 score로만 결정되었고, 이러한 점에서 전반적global 판단은 어떠한 가중치도 부여되지 않는다. 
For each station, the student was marked out of 20 against an objective list of items. In addition, the examiner made a second, global judgment of the student’s performance and categorized it as a “Pass”, “Fail” or “Borderline”. The pass mark for each station was then calculated by taking the numerical scores for all candidates who were rated as borderline and calculating the mean of these scores. Students passed or failed by their scores alone; the global judgment is not given any weighting in this regard. 

데이터 보호 및 윤리 승인
Data protection and ethical approval

통계 분석 및 데이터 표시
Statistical analysis and data presentation

각 연도 그룹에 대해 매일 통과된 스테이션 비율이 그래픽으로 표시됩니다. 혼합 효과 로지스틱 회귀 분석을 사용하여 각 개별 측점을 통과할 확률과 관련된 요인을 모형화했습니다. 모형에는 학생과 회로에 대한 랜덤 효과가 포함되었습니다. 고정 효과는 검사일(1~5일), 시간(오전/오후), 성별 및 연도와의 연관성을 평가하기 위해 포함되었다.

The percentage of stations passed on each day are presented graphically for each year group. Mixed effects logistic regression was used to model factors associated with the probability of passing each individual station. Models included random effects for students and circuits. Fixed effects were included to assess the association with day of examination (1–5), time of day (am/pm), gender and year. 

우리는 OSCE에 합격한 각 학생의 예상 확률을 추정하기 위해 우리의 모델을 사용했습니다. 그런 다음, 각 학생에 대해 각 역이 사용된 날짜와 시간의 조합을 같은 학년 그룹에서 서로 주어진 해당 조합으로 대체했습니다. 이러한 방식으로 우리는 같은 해 학생에게 스테이션이 할당되는 방식의 제약 내에서 각 학생에 대한 OSCE 합격 확률에 대한 요일별 및 시간별 합격률 변동의 잠재적 영향을 평가할 수 있었습니다. 

We used our model to estimate the predicted probability of each student passing the OSCE overall. Then, for each student, we replaced the combination of days and times that each station was taken, with the corresponding combinations that each other student was given in the same year group. In this way, we were able to assess the potential impact of variation in pass rates by day and time on the overall probability of passing the OSCE, for each student, within the constraints of the way that stations were allocated to students in the same year. 

 

결과
Results

인구통계학적 변수 및 일반 OSCE 성능
Demographic variables and general OSCE performance

표 1은 학생들의 인구통계학적 특성을 요약한 것이다.
Table 1 summarizes the students’ demographic characteristics;

 

OSCE 측점을 통과할 가능성에 영향을 미치는 변수의 유의성
Significance of influencing variables on likelihood of passing OSCE stations

표 2는 혼합 효과 로지스틱 회귀 분석에서 도출된 학년도, 성별, 일, 시간 간의 추정 연관성 및 스테이션 합격 확률을 보여줍니다. 6년 동안 스테이션를 합격할 확률에는 유의한 차이가 없었습니다. 여학생보다 남학생이 각 스테이션을 합격할 확률이 낮았습니다(p<0.001). 하루가 지날 때마다 스테이션 통과 확률이 20%씩 증가하는 추세가 있었습니다. 이러한 연관성은 그림 1에서도 확인할 수 있습니다. 전체적으로 학생 한 명이 통과하는 평균 역 수가 5일 동안 증가했습니다. 
Table 2 shows the estimated associations between academic year, gender, day, and time, and the probability of passing a station, derived from the mixed effects logistic regression analysis. There were no significant differences in the probability of passing stations across the six year groups. Male students were less likely to pass each station than female students (p<0.001). There was a trend across days, with the odds of passing a station increasing by 20% for each additional day. This association can also be seen in Figure 1. Overall, the mean number of stations being passed by each student rose over the 5 days. 

 

OSCE 합격 확률 예측
Predicted probability of passing the OSCE

그림 2는 각 학생이 OSCE 시험을 전체적으로 통과하는 데 필요한 최소 스테이션 수를 통과할 수 있는 예측 확률을 보여줍니다. 이는 각 학생이 할당된 날짜와 시간의 실제 조합과 같은 연도 그룹의 다른 학생으로부터 얻은 가능한 모든 대체 조합에 기초한 혼합 효과 로지스틱 회귀 분석 모형에서 파생되었습니다.
Figure 2 shows the predicted probability of each student passing the minimum number of stations needed to pass the OSCE examination overall. This was derived from the mixed effects logistic regression model, based on the actual combination of days and times that each student was allocated, and under all possible alternative combinations, taken from the other students in the same year group. 

혼합 효과 로지스틱 회귀 분석 모형에는 학생에 대한 랜덤 효과가 포함됩니다. 즉, 학생의 능력이 모형에 기본 제공되는 것으로 가정된 분포가 있습니다. 이 분포의 맨 아래에 있는 학생만 전체 예측 합격 확률이 100% 미만으로 유의하게 떨어집니다. 이러한 학생의 경우 각 측점을 사용하는 요일과 시간을 변경하면 전체 합격 확률에 더 큰 영향을 미칩니다. 이 모델에 따르면 이러한 효과는 클 수 있습니다. 일부 학생의 경우 합격 확률은 자신이 소속된 요일과 시간에 따라 10%~90% 정도 달라질 수 있습니다. 그러나 이러한 예측은 모형의 극단적 가장자리에서 이루어지는 것이므로, 이러한 학생들이 관측소를 선택한 시기의 영향을 정확하게 나타내지 못할 수 있습니다. 
The mixed effects logistic regression model includes a random effect for students; in other words, there is an assumed distribution of students’ abilities built in to the model. Only for those students at the lower end of this distribution does the overall predicted probability of passing dip noticeably below 100%; for these students, varying the days and times on which each station is taken has a greater effect upon overall probability of passing the examination. According to the model, this effect can be large: for some students, the probability of passing could vary between 10% and 90%, depending on the days and times on which they take their stations. Note, however, that these are predictions being made at the extreme fringes of the model and may not be an accurate representation of the impact of when stations were taken for these students. 

 

학생 성과별 일수 및 시간 분포
Distribution of days and times by student performance

표 3은 학생들이 매년 자신의 역에 앉아 최종 학점에 따라 나눈 평균 날을 보여줍니다.
Table 3 shows the mean day on which students sat their stations each year, divided according to the final grade achieved. 

 

고찰
Discussion

우리의 연구에 따르면 최종 학년 의대생들은 시험 기간 [초기]에 같은 OSCE 스테이션을 수강하는 학생들에 비해 [나중]에 응시할 경우 OSCE의 스테이션을 통과할 가능성이 상당히 높았으며, 특히 이러한 효과는 [약체 학생weaker student]들에게 두드러졌다. 이는 학생 담합이 OSCE 합격의 기회를 증가시키는 데 기여 가능한 요소임을 시사한다. 가장 가능성이 높긴 하지만 담합만이 가능한 설명은 아니다. 시간이 지날수록 수험 적응도가 높아지고, 담합이 없는 상황에서도 성적이 좋아질 수 있다. 시험관은 시간이 지남에 따라 점수를 매기는 경향이 일정하게 변화했을 수 있습니다. 예를 들어, 대부분의 시험관은 반나절 이상 수업을 하지 않기 때문에 이는 가능성이 낮지만, 이것이 발생할 것으로 예상할 이유는 없습니다. 메커니즘과 상관없이, 우리의 데이터는 시험을 보는 날이 시험 성과에 영향을 줄 수 있음을 시사합니다. 
Our study suggests that final year medical students were significantly more likely to pass a station in the OSCE if undertaken on a later day compared to students undertaking the same OSCE station on earlier days of the examination period and that this effect was particularly marked for weaker students. This suggests that student collusion is a possible contributory factor in increasing the chances of passing an OSCE station. Although most probable, collusion is not the only potential explanation. Students may become more attuned to the examination process over time and show improved performance even in the absence of collusion. Examiners may demonstrate trends in their marking over time, for example, becoming more lenient on later days, though this is unlikely since the vast majority of all our examiners do not do more than one half-day session and there is no reason to expect this to occur. Regardless of the mechanism, our data suggests that the day on which an exam is taken may influence examination performance. 

그림 1에서 볼 수 있듯이 최소 3일 후 시험을 치르는 학생들을 비교할 때 유의미한 이점이 나타나기 시작하는데, 이는 담합 효과가 점차 발생함을 시사한다. 본 연구에서 사용된 대규모 데이터 집합은 특정 스테이션에서 합격할 가능성과 관련된 요인에 대한 강력한 평가를 가능하게 했으며 따라서 일 및 오후와의 연관성을 더 정확하게 추정할 수 있게 되었다. 
As indicated in Figure 1, significant advantages start to appear when comparing students doing examinations at least three days later, suggesting that any effect of collusion accrues gradually. The large dataset used in our study has made possible a robust assessment of factors associated with the likelihood of passing a station and therefore allowed for estimation of the associations with day and am/pm with greater precision. 

분석 결과에 대응하여, (연구자의 소속기관에서는) 이후의 회로later circuit에 있는 후보자에게 어떠한 내용도 알려지지 않도록 하고, (모든 사이트와 회로에 걸쳐 모든 후보자에 대한 공정한 검사를 보장하기 위해) OSCE 기간 동안 모든 후보자가 격리됩니다. 여기에는 학생들이 완전히 전자적으로 격리되지 않은 상태가 포함됩니다. 다만 이 상태는 감독자invigilator가 감시한다. 또한, 모든 MBChB 신입생들은 이제 학생 협약에 서명합니다. 이 협약은 소셜 미디어와 관련하여 다음과 같은 내용을 담고 있습니다.

"전문적으로 커뮤니케이션해야 할 책임이 디지털 미디어까지 확대된다는 것을 알고 있습니다. 나는 의대생이나 의사가 기대하는 개인적인 특성에 따라 개인에게 걱정이나 고통을 줄 수 있는 이미지나 문자를 온라인에 올리지 않을 것이다. Placement 중에는 NHS 리소스를 통해 소셜 미디어에 액세스하지 않을 것입니다." 

In response to the outcomes from our analysis, to ensure that no content becomes known to candidates sitting in later circuits and to ensure a fair examination for all candidates across all sites and circuits, all candidates are now quarantined during the OSCE. This involves the students not having full electronic isolation – supervised by invigilators. Further, all new MBChB students also now sign a student agreement, which notes the following with regards to social media –

“I am aware that my responsibility to communicate professionally extends to digital media. I will not post images or text online which may cause concern or distress to any individual, in keeping with the personal attributes expected of a medical student or doctor. I will not access social media through NHS resources while on placement”. 

마지막으로, 일반적인 조치의 일환으로, 학교 전체의 학부생들이 디지털 능력 향상 프로젝트에 참여했습니다. 학생들은 디지털 아이덴티티 설문조사에 참여하도록 초대되었다. 조사 결과로부터 학생들이 더 많은 지침을 원하는 주요 주제를 파악했다.

• 디지털 아이덴티티 관리,
• 온라인 환경에서의 전문성,
• 디지털 웰빙,
• 생산성 기술(디지털 산만distraction 관리 포함),
• 온라인 커뮤니케이션 및 협업 기회 등 

40명의 학생 파트너는 이러한 분야의 잠재적인 과제, 해결책 및 커리큘럼 개발 기회에 초점을 맞춰 직원들과 협업했습니다. 
Finally, as part of general measures, undergraduate students from across the school have engaged in a digital skills enhancement project. Students were invited to participate in the Digital Identity survey. The results identified key topics on which students want more guidance, including

• digital identity management,
• professionalism in an online environment,
• digital well-being,
• productivity skills (including management of digital distractions), and
• opportunities for communication and collaboration online.

Forty student partners worked in collaboration with staff, focusing on potential challenges, solutions, and opportunities for curriculum developments in these areas. 


결론적으로, 우리의 증거는 나중에 같은 OSCE 스테이션을 받는 학생들이 시험 기간 초반의 학생들에 비해 더 나은 합격 기회를 가지고 있으며, 이는 특히 능력이 떨어지는 학생들에게서 두드러진다. 이것이 학생 간의 담합을 반영하는 것인지, 시험관 평가의 동향인지, 아니면 일부 다른 편견의 원천을 반영하는 것인지 결정할 수 없다. 우리는 우리의 연구가 특히 약한 학생들을 대상으로 한 첫 번째 연구라고 믿는다. 우리가 설명하고 있는 효과는 성적이 더 높은 학생들 사이에서 덜 명백할 것으로 보인다. 그리고 환자의 관점에서 볼 때, 의사들이 그렇지 않을 경우 자격을 얻을 수 있는 이러한 가능한 효과는 매우 중요합니다. 
In conclusion, our evidence suggests that students undertaking the same OSCE stations later on in an examination period have a better chance of passing compared to students earlier in an exam period, and this is particularly evident for the less able students. Whether this reflects collusion between students, trends in examiner assessments, or some other source(s) of bias, cannot be determined. We believe ours is the first study to look particularly at weaker students; it seems likely that any effects we are describing would be less apparent among the higher-performing students. And, from the point of view of the patient, this possible effect, which could result in doctors qualifying who would not otherwise do so, is of key significance. 

담합: 종종 비밀스럽고 신중한 시험 내용을 학생들 간에 고의적이고 용납할 수 없는 공유는 부정행위나 다름없다.

Collusion: The intentional and impermissible sharing of exam contents between students, which is often secret and discreet, and is tantamount to cheating.

 

---

Med Teach. 2018 Nov;40(11):1136-1142.

 doi: 10.1080/0142159X.2018.1458085. Epub 2018 Apr 24.

Gaining an advantage by sitting an OSCE after your peers: A retrospective study

Asim Ghouri 1, Charles Boachie 2, Suzanne McDowall 1, Jim Parle 3, Carol A Ditchfield 1, Alex McConnachie 2, Matthew R Walters 1, Nazim Ghouri 1

Affiliations collapse

Affiliations

• 1a School of Medicine, Dentistry and Nursing, College of Medical, Veterinary and Life Sciences , University of Glasgow , Glasgow , UK.
• 2b Robertson Centre for Biostatistics, Institute of Health and Wellbeing , University of Glasgow , Glasgow , UK.
• 3c Institute of Clinical Sciences, College of Medical and Dental Sciences , University of Birmingham , Birmingham , UK.

• PMID: 29687736
• DOI: 10.1080/0142159X.2018.1458085Abstract
• Purpose: To investigate if final year medical students undertaking an OSCE station at a later stage during examination diet were advantaged over their peers who undertook the same station at an earlier stage, and whether any such effect varies by the student's relative academic standing. Methods: OSCE data from six consecutive final year cohorts totaling 1505 students was analyzed. Mixed effects logistic regression was used to model factors associated with the probability of passing each individual station (random effects for students and circuits; and fixed effects to assess the association with day of examination, time of day, gender and year). Results: Weaker students were more likely to pass if they took their OSCE later in the examination period. The odds of passing a station increased daily by 20%. Overall, the mean number of stations passed by each student increased over the 5 days. Conclusions: Students undertaking the same OSCE stations later in examination period statistically had higher chances of passing compared to their peers, and the weaker students appear to be particularly advantaged. These findings have major implications for OSCE design, to ensure students are not advantaged by examination timing, and weaker students are not "passing in error".