신뢰의 문제: 의학교육에서 온라인감독 시험과 평가에 테크놀로지 통합하기(Teach Learn Med. 2022)

신뢰의 문제: 의학교육에서 온라인감독 시험과 평가에 테크놀로지 통합하기(Teach Learn Med. 2022)
A Matter of Trust: Online Proctored Exams and the Integration of Technologies of Assessment in Medical Education
Tim Fawnsa and Sven Schaepkensb

 

소개: 평가의 테크놀로지
Introduction: the technology of assessment

테크놀로지는 의학 및 의학교육에 널리 퍼져 있습니다. 호흡 모니터, 휴대폰, 디지털 환자 기록, 소셜 미디어, 디지털 교육 플랫폼은 모두 지식, 실무, 관계를 변화시켰습니다.1-4 테크놀로지는 방사선과 약학과 같은 전문직의 역할과 전문성을 재편했습니다.5 많은 장점과 함께 위험도 존재합니다. 테크놀로지는 우리가 일하고 학습하는 방식뿐만 아니라 우리의 광범위한 도덕적 관계, 신념, 규범 및 가치관에도 영향을 미칩니다.6,7 교육자들은 새로운 테크놀로지를 협상할 때 테크놀로지적 문제뿐만 아니라 매우 복잡하고 도덕적이며 교육적인 문제에 직면하게 됩니다.5 그럼에도 불구하고 테크놀로지를 사용하는 사람들이 테크놀로지를 검토하지 않거나,8 우리의 이해가 개인의 상호작용, 경험, 학습, 결과에 대한 질문으로 제한되는 경우가 많습니다.9  
Technology is pervasive in medicine and medical education. Respiratory monitors, mobile phones, digital patient records, social media, and digital education platforms have all changed knowledge, practice, and relationships.1–4 Technologies have reshaped professional roles and specialisms such as radiology and pharmacy.5 Alongside the many benefits, there are also risks. Technology changes more than how we work and learn; it also influences our wider moral relations, beliefs, norms and values.6,7 As educators negotiate new technologies, they are confronted not only with technical challenges but also highly-complex, moral, and pedagogical ones.5 Despite this, technology often goes unexamined by those who use it,8 or our understanding is limited to questions about individual interactions, experiences, learning, and outcomes.9

평가 문화는 또한 정체성, 사회적 관계, 직업에서 인정하는 정당한 지식과 행동을 형성합니다.10-13 평가 관행과 문화는 시간이 지남에 따라 루브릭, 점수표, 가상 학습 환경, 표절 감지 소프트웨어와 같은 테크놀로지에 의해 형성되었습니다.14 평가에서 테크놀로지의 미래 방향에 대해 추측하는 Hodges15는 감시와 자동화된 판단을 통해 고부담 시험에서 수행성이 강화될 것을 경고합니다. 지금까지 평가 테크놀로지(및 보다 일반적인 평가)13에 대한 연구는 형평성, 윤리 또는 가치의 문제보다는 중립적이고 객관적인 도구를 중심으로 개별 결과에 초점을 맞춰 왔습니다.16 
Cultures of assessment also shape identities, social relations, and the legitimate knowledge and behavior recognized by a profession.10–13 Assessment practice and culture have, in turn, been shaped over time by technologies such as rubrics, mark sheets, virtual learning environments, and plagiarism detection software.14 Hodges,15 speculating on future directions of technology in assessment, warns of an intensification of performativity in high stakes examinations through surveillance and automated judgements. Thus far, research on assessment technologies (and assessment more generally)13 has focused on individual outcomes, framed around neutral and objective tools, rather than issues of equity, ethics, or values.16

조사할 가치가 있는 테크놀로지 중 하나는 시험장 외부에 감독관이 있는 시험 환경을 조성하는 서비스인 온라인 감독입니다.17 이러한 서비스는 코로나19 팬데믹 이전에도 존재했지만, 기관들이 안전한 평가의 연속성을 추구하면서 2020년에 그 사용이 크게 증가했습니다.18 오프라인 시험장은 여전히 시험장이 지향하는 표준을 대표하지만, 온라인 감독관은 "시험을 전혀 치를 수 없는 상황"에 대한 대안으로 자리 잡았습니다.18(p8) 다양한 서비스에서19 정기적인 소프트웨어 업데이트와 데이터 기반 접근 방식의 조합은 혁신의 느낌을 주며18,20 이는 효율성과 함께 평가에서 테크놀로지 채택의 핵심 요소입니다.21 그러나 감독관은 학습자 프라이버시와 관련된 새로운 위험을 초래하고,18 불신을 조장하며,22 비백인과 장애인을 차별하고 데이터를 오용한다는 비판을 받습니다. 
One technology worth investigating is online proctoring—a service that creates invigilated examination conditions outside of the exam hall.17 Such services existed before the Covid-19 pandemic, but their use increased significantly in 2020 as institutions sought continuity of secure assessment.18 While exam halls still represent the standard to which it aspires, online proctoring has been positioned as an alternative to “not being able to run exams at all”.18(p8) Across a variety of services,19 a combination of regular software updates and data-driven approaches produces a sense of innovation18,20 which, along with efficiency, is a key factor in technology adoption in assessment.21 However, proctoring has been criticized as introducing new risks around learner privacy, foregrounding distrust,18 discriminating against nonwhite and disabled people, and misusing data.22

온라인 감독에 대한 연구는 이제 막 등장하고 있습니다. 이 분야에 대한 리뷰는 종종 언론 자료에 의존하며,18,23,24 비판적 접근 방식을 채택한 연구는 거의 없습니다. 코글린 등24 은 교육기관에 대한 불신 증가와 감시 및 통제의 가속화에 대한 우려를 제기합니다. 리와 팡기25는 푸코의 '규율적 정부성'26을 한국 대학의 온라인 감독에 적용합니다. 이들은 감시가 사고와 행동의 가능성을 제약하고 학생들을 경쟁의 장에서의 상대로 위치시킨다고 제안합니다. 호주의 셀윈 등은 인터뷰, 문서, 미디어를 분석하여 대학, 감독업체, 학생 간의 관계를 비판적으로 검토합니다.18 이들은 감시와 함께 "상업적 공급자에게 통제권을 넘기는 것"과 교사가 교육적 가치를 유지하기 위해 테크놀로지를 전복해야 할 필요성에 대해 의문을 제기합니다. 
Research on online proctoring is just emerging. Reviews of the field often rely on journalistic sources,18,23,24 and few studies have adopted critical approaches. Coghlin et al.24 raise concerns about increasing distrust toward institutions and an acceleration of surveillance and control. Lee and Fanguy25 apply Foucault’s “disciplinary governmentality”26 to online proctoring at a South Korean university. They propose that surveillance constrains possibilities for thinking and behavior, and positions students as opponents in an atmosphere of competition. In Australia, Selwyn et al. analyze interviews, documents, and media to critically examine relations between universities, proctoring companies, and students.18 Alongside surveillance, they question “the surrender of control to commercial providers”, and the need for teachers to subvert the technology to maintain their educational values.

의학 교육에서 온라인 프록팅은 아직 비판적인 연구의 대상이 되지 않았습니다. 의학이 청렴하고 전문성을 갖춘 의료인을 양성하는 것을 강조하는 것을 고려할 때, 이것은 걱정스러운 일입니다. 프록팅의 테크놀로지화된 과정은 결과가 공정하고 객관적이라는 것을 의과 대학, 고용주 및 대중을 안심시킬 수 있습니다. 그러나 "모든 형태의 시험은 감시"이며, 신뢰, 전문직업성 및 지식에 대한 규범적 개념이 이미 의료 교육의 전통적인 평가 관행에 포함되어 있지만, 단순히 "시험을 온라인으로 옮기는 것" 이상의 일이 진행되고 있는지 여부를 고려하는 것이 중요합니다. 
In medical education, online proctoring has not yet been subject to critical research. This is worrying, given medicine’s emphasis on cultivating practitioners with integrity and professionalism. The technologized process of proctoring may reassure medical schools, employers, and the public that results are fair and objective.25 However, while “all forms of examination are surveillance”,15(p3) and while normative conceptions of trust, professionalism, and knowledge were already embedded within traditional assessment practice in medical education,27,28 it is important to consider whether something more is going on than simply “moving exams online”.

본 논문에서는 속도를 늦추고 맥락을 고려하며 의료교육에서 평가테크놀로지와 문화, 이들이 촉진하는 지식과 직업적 정체성의 상호작용을 성찰하자는 빈과 시아노콜로의 제안을 따릅니다. 우리는 포스트 디지털 접근법과 포스트 현상학 접근법을 결합하여 2020년 온라인 프로텍팅된 영국의학전문대학(MRCP) 회원 시험을 분석합니다. 우리는 이 온라인 프록팅의 예시를 통해 생성된 대본, 규범, 신뢰 관계를 살펴보고 역사적, 경제적 맥락에서 이를 위치시킵니다. 이를 통해 교육훈련생과 의료교육기관 간 지식, 전문성, 관계 측면에서 무엇이 가치 있는지 고려한 후 의료교육에서 평가테크놀로지의 통합에 대한 시사점을 도출합니다. 
In this paper, we follow Veen and Ciancolo’s29 suggestion to slow down, consider context, and reflect on the interplay between assessment technology and culture in medical education, and the kinds of knowledge and professional identity they promote. We combine postdigital and postphenomenology approaches to analyze the 2020 online proctored United Kingdoml College of Physicians (MRCP) membership exam. We examine the scripts, norms, and trust relations produced through this example of online proctoring, and locate them in historical and economic contexts. Through this, we consider what is valued in terms of knowledge, professionalism, and relations between trainees and medical education institutions, before drawing out implications for the integration of technologies of assessment in medical education.

이론적 틀: 포스트 디지털과 포스트 현상학의 결합
Theoretical framework: combining the postdigital and postphenomenological

의학 교육 연구가 주로 개인주의와 지식을 "개인 자본"으로 다루는 것에 몰두해 온 반면, 일부는 의학 교육 내에서 테크놀로지를 검토하기 위해 더 복잡한 프레임워크를 채택했습니다. 신체 교육학은 학습과 실천을 (테크놀로지를 포함하는) 물질적 환경과 상호 작용하여 발생하는 구체화된 프로세스로 간주합니다. 활동 이론, 실천 이론 및 기타 사회 물질적 접근법은 테크놀로지와 사람이 특정 상황에서 함께 행동하는 방법을 보는 데 도움이 되어 둘 다 고립되어 이해될 수 없습니다. 이러한 작업은 주로 실천 설정에 초점을 맞추고 있으며, 우리가 아는 한 의료 교육에서 평가 테크놀로지를 검토하는 데 아직 사용되지 않았습니다. 
While medical education research has been largely preoccupied with individualism, and the treatment of knowledge as “private capital”,30(p849) some have employed more complex frameworks to examine technology within medical education. Body pedagogics3 considers learning and practising as embodied processes that occur in interaction with the material environment (which includes technologies). Activity theory,31,32 practice theory,33 and other sociomaterial approaches34 have helped us see how technology and people act together, in particular situations, such that neither can be understood in isolation. Such work focuses primarily on practice settings, and has not yet, to our knowledge, been used to examine assessment technology in medical education.

디지털 테크놀로지의 복잡한 얽힘을 심문하기 위한 새로운 관점은 "포스트 디지털"입니다. 테크놀로지에 대한 사회 물질적 이해와 관련하여, 그것은 모든 "디지털"이 더 넓은 맥락에 포함된 것으로 이해되어야 한다고 주장합니다. 테크놀로지의 결과는 그것이 사용되는 방법과 여러 이해 당사자의 목적, 가치 및 맥락에 달려 있습니다. 더욱이, 디지털 활동과의 만남은 구체화되고 창발합니다. 온라인 시험은 물리적 신체와 물리적 환경에서 이루어지며, 전통적인 교육 관행의 간단한 온라인 버전은 있을 수 없습니다. 온라인 감독 시험은 일부 공통점이 있지만, 필연적으로 시험장과 다른 현실을 수반합니다. 이러한 더 넓은 관점을 강화하기 위해, 우리는 먼저 프록터링 테크놀로지의 예에 의해 촉진되는 인간-테크놀로지 관계(행동 스크립트, 사회적 규범 및 신뢰 관계)의 더 면밀한 심문을 위해 테크놀로지 접근법의 후현상 테크놀로지를 채용합니다. 그런 다음 우리는 이 테크놀로지에 의해 만들어진 평가 현실이 역사적, 정치적, 교육학적 및 경제적 맥락에 어떻게 포함되며, 이것이 평가 테크놀로지의 훈련생, 기관 및 문화 간의 관계에 어떤 의미가 있는지 고려하기 위해 줌아웃합니다. 
An emerging perspective for interrogating the complex entanglements of digital technology is that of the “postdigital”.35,36 Related to sociomaterial understandings of technology, it asserts that anything “digital” must be understood as embedded in a broader context. Outcomes of technology are contingent on the methods by which it is used, and the purposes, values, and contexts of multiple stakeholders.37 Further, encounters with digital activity are embodied and emergent. Online exams take place in physical settings with physical bodies, and there can be no straightforward online versions of traditional educational practices.35,38,39 Online proctored exams inevitably involve a different reality from the exam hall, albeit with some commonalities.40 To augment this broader perspective, we first employ a postphenomenology of technology approach,41–44 for a closer interrogation of the human-technology relations (behavioral scripts, social norms, and trust relations) promoted by an instance of proctoring technology. We then zoom out to consider how the assessment reality created by this technology is embedded in historical, political, pedagogical, and economic contexts, and what this means for relationships between trainees, institutions, and cultures of assessment technology.

포스트 디지털 관점과 포스트 현상학 관점 모두 현실이 인간의 주관적인 해석과 행동에만 기초한다는 생각을 거부합니다. 우리는 우리 주변의 세계를 완전히 결정하지는 않습니다. 반면, 두 관점 모두 현실이 단지 "저 밖에" 있고 우리가 객관적으로 알 수 있다는 관점을 비판합니다. 우리 주변의 세계가 우리를 완전히 결정하지는 않습니다. 반대로 두 관점 모두 "현실은 관계에서 발생하며, 이를 접하는 인간이 발생하는 것처럼"을 강조하며, 테크놀로지는 이러한 관계를 형성하는 역할을 합니다. 
Both postdigital and postphenomenological perspectives reject the idea that reality is based on human, subjective interpretation and action alone. We do not fully determine the world around us. On the other hand, both perspectives also criticize the view that reality is just “out there” and we can know it objectively. The world around us does not fully determine us. Conversely, both perspectives emphasize that “reality arises in relations, as do the humans who encounter it”,43(p568) and technology has a role in shaping these relations.

온라인 관리 시험
Online proctored exams

온라인 프록팅은 행동과 이동에 대한 가능성을 감시하고 제한함으로써 원격 버전의 시험장 조건을 만듭니다. 그 테크놀로지는 각 응시자의 신원을 확인하고, 그들이 그들의 수행을 도울 수 있는 자원으로부터 혼자이고 격리되어 있다는 것을 확인합니다. 귀마개를 착용하거나 교과서 또는 모바일 장치를 다루는 것은 "심각한 시험 프로토콜 위반"으로 간주될 수 있습니다. 일부 서비스는 시험자가 문서, 응용 프로그램 및 웹사이트에 대한 액세스를 차단하기 위해 그들의 장치에 소프트웨어를 설치하도록 요구합니다. 인증은 일반적으로 시험 동안 환경을 감시하는 웹캠과 마이크를 제어하기 위한 소프트웨어의 허가를 요구합니다. 다른 데이터는 키보드 스트로크, 네트워크 트래픽 및 컴퓨터 메모리 사용량을 포함할 수 있습니다. 모니터링은 녹화 또는 둘 다를 통해 라이브 또는 회고적일 수 있으며 알고리즘 또는 학생에게 알려지지 않고 보이지 않는 인간을 포함할 수 있습니다. 시험 전에 응시자는 웹캠으로 시험 공간(종종 침실, 부엌 또는 집 내의 다른 개인 공간)을 스캔해야 합니다. 
Online proctoring creates a remote version of exam-hall conditions by monitoring and constraining possibilities for action and movement. The technology verifies each candidate’s identity, and that they are alone and isolated from resources that could aid their performance. Wearing earplugs or handling textbooks or mobile devices may be considered a “serious breach of exam protocol”.45(p5) Some services require exam-takers to install software on their device to block access to documents, applications, and websites. Authentication normally requires permission for the software to control webcams and microphones, which monitor the environment during the examination. Other data can include keyboard strokes, network traffic, and computer memory usage.17 Monitoring can be live or retrospective via recordings, or both, and may involve an algorithm, or a human who is unknown to, and unseen by, the student. Before the exam, candidates must scan the examination space (often a bedroom, kitchen, or other private space within their home) with their webcams.

온라인 프록팅의 최근 예는 영국 왕립 의과 대학(MRCP) 회원 시험입니다. 두 파트로 이뤄진 이 시험은 전문가 양성을 위한 관문 역할을 합니다. "매년 5천 명의 응시자가 검사를 받는 "세계에서 가장 큰 규모의 대학원 임상 시험"입니다. 1부는 입문, 필기 시험입니다. 2부는 두 시간, 세 시간의 필기 시험으로 구성되어 있으며 둘 다 같은 날 앉았습니다. 마지막으로 임상 시험 스킬 실무 평가(PACE)가 있습니다. 2020년에 MRCP는 다양한 구성 요소에 대해 다른 활력 서비스를 사용하여 원격 검사할 수 있는 옵션을 제공했습니다. MRCP 지침에 따르면 프록팅은 "대면 시험에서 마주치는 것처럼 시험 내내 활동을 모니터링"하는 "전문 제공자에 의해" 수행됩니다. 45(p5) 
A recent example of high-stakes online proctoring is the United Kingdom’s Royal College of Physicians (MRCP) membership exam. This two-part exam acts as a gateway into specialist training.46 It is “the largest high stakes postgraduate clinical examination in the world” with “5000 candidates examined each year”.47(p2) 

• Part One is an introductory, written examination.
• Part Two is more advanced, consisting of two, three-hour written exams, both sat on the same day.
• Finally, there is the Practical Assessment of Clinical Examination Skills (PACES).

In 2020, MRCP offered the option of remote examination using different invigilation services for the different components. According to the MRCP guidance, proctoring would be performed “by a specialist provider” who would “be monitoring your activity throughout the exam, just as they would in a face to face exam encounter.”45(p5)

본 논문에서는 MRCP 시험 2부의 실기시험 구성 요소를 제외하고 분석을 필기 요소로 제한합니다. 임상 스킬을 입증하기 위한 동등한 평가 환경을 만들 수 있는 온라인 프록팅 능력에 대한 우려가 분명히 있지만 범위를 제한하면 테크놀로지가 필기 평가에서도 제한된 물리적 환경을 어떻게 만드는지에 초점을 맞출 수 있습니다. 2020년 MRCP 회원 시험 2부는 프록터 검사 서비스를 사용했습니다. 수험생은 "보장"되는 조용한 위치를 선택해야 했습니다. 시험 공간은 조명이 잘 켜져 있어야 하고 신뢰할 수 있는 WiFi가 있어야 했습니다. 웹캠과 마이크가 있는 노트북, 구글 크롬 브라우저, 최소 인터넷 속도가 요구되었습니다. 프록터 검사는 눈의 움직임이나 키 누름을 측정하지 않았지만 추가적인 "정확도"를 위해 추가 카메라(예: 응시자의 스마트폰)를 추가하는 "리더"라고 자부했습니다. 48 화면 및 카메라 영상은 "내부 사용"을 위해 녹화되었으며 응시자나 시험관이 사용할 수 없게 되었습니다. 45 
In this paper, we limit our analysis to the written element in Part Two of the MRCP exam, excluding the practical component. While there are obvious concerns about the capacity for online proctoring to create equivalent assessment environments for demonstrating clinical skills, limiting our scope allows us to focus on how the technology creates constrained physical environments even for written assessments. In 2020, Part Two of the MRCP membership exam used the ProctorExam service. Examinees were required to choose a quiet location where they were “guaranteed” not be disturbed.45 The exam space needed to be well lit and have reliable WiFi. Requirements included a laptop with webcam and microphone, Google Chrome browser, and a minimum Internet speed. ProctorExam did not measure eye movements or keystrokes, but prided itself as a “leader” in adding extra cameras (e.g. the candidate’s smartphone) for additional “accuracy”.48 Screen and camera footage was recorded for “internal use” and not made available to candidates or examiners.45

인간 검사관들(Proctor Exam 또는 기관 직원들)은 응시자들이 정확한 시간에 시작했는지 확인하고 필요할 때 도움을 제공하기 위해 응시자들을 지켜봤습니다. 게다가, 그들은 시험 환경이 안전한지 확인했습니다. 이 지지적 체계는 비정상적인 행동을 잠재적인 부정행위로 표시하는 주요 기능을 과소평가했습니다. 이러한 경우, 의료 교육 기관은 취해진 모든 조치에 대해 최종 결정권을 갖습니다. 검사관들은 응시자들에게 보이지 않았습니다. 문자 채팅을 통해 의사소통이 이루어졌습니다. 응시자들은 더 일찍 끝났음에도 불구하고 할당된 시간이 끝날 때까지 컴퓨터에 앉아 있어야 했습니다.
Human proctors (either ProctorExam or institutional employees) watched the candidates, to ensure they started at the correct time and to provide assistance when needed (e.g. where candidates felt unwell or needed the bathroom). Moreover, they ensured that the exam environment was secure. This supportive framework underplayed the primary function, which was to flag abnormal behavior as potential cheating. In such cases, the medical education institution would have the final say on any action taken. Proctors were not visible to candidates; communication occurred via text chat. Candidates had to remain seated at their computer until the end of the allocated time, even if they had finished earlier.45

프록팅의 사후 명명법: 테크놀로지가 현실을 만드는 방법
Postphenomology of proctoring: how technology creates reality

Ihde41과 베어벡에 의해 개발된 Purse 현상학은 테크놀로지가 단순히 우리가 의도하는 것을 하는 특정한 목적을 가지고 설계된 도구라는 생각에 도전합니다.49 대신 테크놀로지는 중립적이지 않은 방법으로 인간과 세계 사이의 관계를 중재합니다.50 이 렌즈를 사용하여 우리는 테크놀로지가 사용자에게 어떻게 그들이 세계에서 어떻게 행동할 수 있는지를 형성하는 특정한 스크립트를 제공하고, 테크놀로지가 어떻게 세계를 그들에게 제시하는지를 면밀히 조사합니다. 
Postphenomenology, as developed by Ihde41 and Verbeek,42 challenges the idea that technology is an instrument designed with a certain purpose that simply does what we intend it to do.49 Instead, technology mediates relations between human and world in non-neutral ways.50 With this lens, we scrutinize how technology offers users particular scripts that shape how they can act in the world, and how technology presents the world to them.

스크립트 및 규범
Scripts and norms

테크놀로지적인 물건들은 "그것들이 사용되는 방식을 형성하는 경향이나 궤적"인 대본을 가지고 있습니다. 43(p569) 예를 들어, 만년필은 우리가 그것들을 쓰기 전에 그것들을 미리 생각하고 문장을 구성하도록 요구하는 반면, 워드 프로세서는 말을 흉내내는 빠르고 유연한 글쓰기를 호출합니다. 어떤 사람은 어느 것으로 천천히 그리고 빠르게 쓸 수 있지만, 각각은 다른 사람들을 방해하면서 특정한 종류의 사용을 촉진합니다. 43,51 게다가, 테크놀로지는 사회적으로 내재되어 있고 문화적인 규범을 형성합니다. 초기의 볼펜은 더 빠르고, 엉성한 글쓰기를 이끌어냄으로써 아이들의 작품의 질을 손상시키는 것으로 생각되었던 반면, 만년필은 깔끔하고 신중한 작품을 생산하는 것으로 보여졌습니다 
Technological objects have a script, that is an “inclination or trajectory that shapes the ways in which they are used.”43(p569) For example, fountain pens require us to think ahead and compose sentences before writing them down, while word processors invoke quick, flexible writing that mimics speech. One can write slowly and quickly with either, but each promotes a certain type of use while discouraging others.43,51 Moreover, technologies are socially embedded and shape cultural norms. Early ballpoint pens were thought to impair children’s quality of work by eliciting quicker, sloppy writing, whereas fountain pens were seen as producing neat and careful work.43

온라인 프록팅에서 수험생의 행동은 테크놀로지의 감시 기능에 의해 통제됩니다. 프록터 Exam은 멀티 카메라 솔루션을 통해 보안과 정확성이 향상된 순수한 맥락을 제공한다고 주장합니다.48 그러나 수험생의 행동에 대한 엄격한 통제와 수험생의 불가피한 해석으로 인해 맥락의 순수성이 훼손됩니다.51 시험장에서 수험생은 자신의 사람을 정화purify하기만 하면 됩니다(예: 금지된 노트 또는 장치를 제외함으로써). 온라인 프록팅에서 수험생은 자신의 전체 환경과 신체 움직임 범위를 정화해야 합니다. 
In online proctoring, examinees behavior is governed by the technology’s surveillance function. ProctorExam claims to provide a pure context, with greater security and accuracy, through their multi-camera solution.48 Purity of context is, however, undermined by the strict control of examinees’ behavior, and by the inevitable interpretation by examiners.51 In exam halls, candidates only need to purify their person (e.g. by excluding prohibited notes or devices); in online proctoring, they must purify their whole environment and range of bodily movement.

따라서, 비록 시험장 활성화는 감시와 행동의 해석을 수반하지만 (예를 들어, 이웃을 바라보는 것은 부정행위 또는 정신을 산만하게 한다는 것을 의미하는가?), 중요한 차이점이 있습니다. 첫째, 시험장에서, (잠재적인) 부정행위는 금지된 자원을 보거나 다른 응시자들에게 말하는 것으로 프레임화되는 반면, 온라인 프록팅에서는 그것이 더 광범위하게 프레임화됩니다:

• 화면에서 멀리 떨어진 곳을 바라보는 것,
• 비정형적인 방식으로 움직이는 것,
• 시험을 위해 사용되고 있는 기기의 불법적인 사용,
• 인터넷 연결 불량,
• 다른 테크놀로지적인 문제,
• 다른 사람이 들어오는 것 

많은 학생들이 온라인 프록팅을 지나치게 간섭적으로 경험하지 않는 것 같고, 어떤 학생들은 그것을 보는 것을 잊거나 그것에 무관심해지는 것처럼 보이지만, 그럼에도 불구하고 신체 움직임에 대한 엄격한 감시는 그들이 수험생의 이상적인 모델을 따르도록 강요합니다. 22,27

Thus, although exam hall invigilation also involves surveillance and interpretation of behavior (e.g. does looking toward a neighbor imply cheating or mind-wandering?), there are important differences. Firstly, whereas in the exam hall, (potential) cheating is framed as looking at prohibited resources, or speaking to other candidates, in online proctoring it is framed more widely:

• looking away from the screen,
• moving in an atypical fashion,
• unsanctioned use of the device being used for exam-taking,
• poor Internet connectivity,
• other technical issues,
• someone entering the room, etc.

While many students do not seem to experience online proctoring as overly intrusive, and some forget about being watched or become apathetic to it,18 strict monitoring of bodily movements, nonetheless, compels them to conform to an ideal model of an examinee.22,27

둘째로, 온라인 프록팅에는 다양한 행동 데이터(예: 눈 움직임, 키 누름, 비디오 피드)가 있으며, 각각은 시험 세계의 디지털화된 부분을 나타냅니다. 이러한 데이터는 행동이 부적절한지 여부를 직접 확인할 수 없습니다. 시험관은 부정행위를 나타내는 벤치마크를 "읽어야" 하며, 시험관은 이러한 기준에 적응하도록 테크놀로지에 의해 격려됩니다. 셋째로, 응시자들은 온라인 시험관을 볼 수 없고, 그들과 그들의 평가관 모두 소프트웨어가 작동하는 방식에 접근할 수 없어 시험관 활성화에 대한 정상적인 신뢰 관계를 방해합니다. 시험관이 무엇을 하고 관찰하는지에 대한 이해가 거의 없기 때문에 시험관의 행동이 미세하게 기록되기 때문에 수험생들은 불리합니다.
Secondly, in online proctoring, there is a variety of behavioral data (e.g. eye-movement, keystrokes, video feeds), and each represents a digitized slice of the test world. These data cannot directly confirm whether behavior is inappropriate. Proctors must “read” the benchmarks that indicate cheating, and examinees are encouraged by the technology to adapt to these standards. Thirdly, candidates cannot see online proctors, and neither they, nor their assessors, have access to how the software works, disrupting normal trust relations of exam hall invigilation.24,25 Examinees are at a disadvantage, since their behavior is minutely recorded, while their understanding of what proctors do and observe is nearly absent.

 

신뢰
Trust

온라인 감독 테크놀로지는 더 엄격한 프로토콜을 시행함으로써 신뢰보다 감시의 규범을 강화하는 동시에 객관성이라는 잘못된 인식을 전달합니다. 우리가 테크놀로지를 사용할 때 테크놀로지는 투명해집니다(감독을 받는 수험생이 자신이 감시당하고 있다는 사실을 잊어버리는 것처럼).18,43,50 우리는 펜으로 글을 쓰고, Google로 검색 결과를 얻고, 감독관 테크놀로지로 부정행위자를 식별할 수 있기를 기대합니다. 응우옌은 신뢰의 개념을 사람 간의 관계뿐만 아니라 우리가 지속적으로 신뢰하는 (테크놀로지적) 대상에도 적용합니다.52 인간의 신체적, 인지적 한계를 넘어서는 압도적인 세상에 대처하기 위해 우리는 타인, 동물, 사물에게 대리인을 위탁합니다.52 우리는 시각을 안내견에게, 자녀의 교육을 교사에게, 시험 감시를 감독관 테크놀로지에 위탁할 수 있습니다. 각각의 경우 신뢰는 테크놀로지의 신뢰성에 대해 의심하지 않는 태도를 의미합니다. 로프를 잊어버리는 훈련이 필요한 초보 등산객이52 로프가 추락을 막아줄 것이라고 믿고, 소중한 주의를 다른 곳으로 돌릴 수 있다고 생각해 보십시오. 이 테크놀로지는 더 이상 보이지 않거나 투명해졌습니다. 감독 테크놀로지를 효과적으로 활용하려면 수험생은 부정행위를 감지하지 않도록 테크놀로지를 신뢰하는 법을 배워야 하고, 감독관은 부정행위를 적절히 감지할 수 있도록 테크놀로지를 신뢰해야 합니다.
Online proctoring technology intensifies norms of surveillance over trust by enforcing stricter protocols, while also conveying a false sense of objectivity. Technology becomes transparent to us when we use it (as with proctored examinees who forget they are watched).18,43,50 We expect pens to write, Google to yield search results and proctor technology to identify cheaters. Nguyen applies the concept of trust, not only to relations between people, but also to those (technological) objects that we trust constantly.52 To cope with an overwhelming world that poses demands beyond our physical and cognitive limitations, we outsource agency to human others, animals, and objects.52 We may outsource our sight to a guide dog, the education of our children to teachers, and exam surveillance to proctor technologies. In each case, trust implies an unquestioning attitude to the technology’s reliability. Consider a novice mountaineer, who requires training to forget their rope,52 trusting it to stop them from falling, so that they can direct their precious attention elsewhere. The technology is no longer visible, or has become transparent. To work effectively with proctoring technology, examinees must learn to trust it not to flag them inappropriately, while examiners must trust it to appropriately detect cheating.

여러 비디오 피드가 감독자에게는 객관성을 만드는 것처럼 보이지만, 수험생에게는 오프라인 시험장보다 더 세세한 측면까지 외부 힘에 의해 신체가 제약, 감시, 통제되는 매우 작위적인 현실에 위치합니다. 투명성의 붕괴는 응시자가 잠재적으로 의심스러운 행동을 할 때 소프트웨어에 의해 생성되는 알림과 경고에 의해 유발됩니다. 이러한 힘은 기업을 자애롭거나 중립적으로 보호하는 것으로 전달되지만, 그들의 주요 기능은 이동과 환경의 미세한 테크놀로지 스크립트를 통해 제약을 집행하고, 전복을 보고하는 것입니다. 
While multiple video feeds seemingly create objectivity for proctors, for examinees, the assessment is located in a highly-contrived reality in which their bodies are constrained, monitored, and controlled by external forces, in more detail than in exam halls. Breakdowns of transparency are provoked by notifications and warnings produced by the software when a candidate engages in potentially suspicious behavior (e.g. looking in the wrong place or moving in the wrong way). These forces are conveyed by proctoring companies as benevolent or neutral, but their primary function is enforcing constraint and reporting subversion through the minute technological scripting of movement and environment.

온라인 프록팅의 포스트 디지털 뷰
A postdigital view of online proctoring

우리는 온라인 프록팅이 시험장 활성화보다 더 엄격한 대본과 더 많은 해석을 포함한다고 주장했습니다. 이 섹션에서는 포스트 디지털 보기를 확대하여 MRCP 시험이 위치한 역사적, 경제적 맥락과 평가 문화를 축소하고 조사합니다. 
We have argued that online proctoring involves a tighter script and more interpretation than exam hall invigilation. In this section, we broaden our postdigital view to zoom out and investigate the historical and economic contexts and assessment cultures in which the MRCP exam is located.

역사적 맥락
Historical context

온라인 프록팅은 전통적인 시험 환경의 역사적 맥락에 의해 채색된 렌즈를 통해 해석됩니다. Carless의 주장에 따르면, 우리는 부분적으로 그것의 오랜 전통 때문에 시험을 신뢰합니다. 그것들은 "전통적인 시험은 지속성과 안정성을 나타내는 반면, 다른 더 혁신적인 형태의 평가는 마치 위험을 감수하는 것으로 보일 수 있습니다." 게다가, 온라인과 전통적인 시험 사이의 동등성은 시간이 지남에 따라 응시자를 비교하기 위해 필수적입니다. 
Online proctoring is interpreted through a lens colored by the historical context of traditional examination settings. As Carless53 argues, we trust exams, in part, due to their long tradition. They “represent continuity and stability, whilst other more innovative forms of assessment may be seen as risk-taking.” 53(p82) Further, equivalence between online and traditional exams is necessary for comparing candidates over time.

고객을 안심시키기 위해 온라인 프록팅은 "학생들이 어떤 시험 환경에서도 무력화된 감시 위치에 놓인다"는 "대학 공부의 확립된 논리" 내의 기존 불신을 모방합니다. 이러한 전통적인 활성화 관행의 모방은 MRCP 지침에 명시되어 있습니다. 그것은 온라인 프록터가 "대면 시험에서 마주치는 것처럼" 일하는 것으로 프레임화합니다.
To reassure its customers, online proctoring mimics a preexisting distrust within the “established logics of university study” through which “students are placed in disempowered surveilled positions during any examination setting.”18(p13) This mimicry of traditional invigilation practices is explicit in the MRCP guidance. It frames online proctors as working “just as they would in a face to face exam encounter”.45(p5)

그러나 우리의 사례에는 보이지 않는 온라인 감독관, 여러 대의 카메라, 공유 환경 제어, 타사와의 파트너십 등이 포함되었습니다. 또한, ProctorExam의 행동의 데이터화는 [시험을 통한 지식의 정량화와 숫자]를 [다른 형태의 정보]보다 더 객관적인 것으로 여기는 전통을 반영하는 한편, 빅데이터와 알고리즘으로 진실을 판단하는 추세의 일부이기도 합니다.20 데이터 기반 프로세스와 지속적인 소프트웨어 업데이트를 통해 ProctorExam은 끊임없는 혁신의 의미를 담고 있으며18, 동시에 위험이 낮은 연속성 있는 관행으로 인식되고 있습니다.
However, our case involved invisible online proctors, multiple cameras, control of shared environments, partnerships with 3rd party companies, and more. Further, while ProctorExam’s datafication of behavior echoes the quantification of knowledge through exams, and a tradition of seeing numbers as more objective than other forms of information,20,54 it is also part of an increasing trend of big data and algorithmically adjudicated truth.20 With data-driven processes and constantly updating software, ProctorExam is imbued with a sense of relentless innovation,18 while also being perceived as a lower-risk practice of continuity.

경제적 맥락
Economic context

프록팅 테크놀로지는 상업적 제품으로서 가치를 창출해야 합니다. 먼저, 그것은 의과 대학을 고객으로 간주하고, 평가자와 학생 사이의 관계에 스스로 삽입합니다. 상당한 비용을 지출한 의대는 그 시스템에 투자되며, 그 테크놀로지가 성공으로 인식되는 것은 그것의 이익에 부합합니다. 게다가, 보호할 필요가 없는 다른 평가 형식으로 변경하는 것은 비싸고 복잡할 것입니다. 이 인센티브는 의사 결정자들이 비판으로부터 그 테크놀로지를 방어하고, 그것을 계속 사용하도록 장려합니다. 
As a commercial product, proctoring technology must create value. First, it frames medical schools as clients, inserting itself into the relationship between assessors and students.18,48 Having spent considerable money, the medical school is invested in the system, and it is in its interests for the technology to be perceived as a success. Moreover, it would be expensive and complicated to change to a different assessment format that did not require proctoring.18 This incentivises decision-makers to defend the technology against critiques, and to continue using it.

둘째, 보호 테크놀로지는 학생들을 잠재적인 부정행위자로 그리고 따라서 의과대학과 의료계의 학문적 진실성에 대한 위협으로 간주합니다. 소프트웨어는 사람들이 부정행위를 하는 경우에만 필요하기 때문에 이것은 상업적 지속가능성을 위해 중요합니다.
Second, proctoring technology frames students as potential cheaters and, therefore, as threats to the academic integrity of the medical school and the medical profession.25 This is important for commercial sustainability, since the software is only necessary if people cheat.

셋째, 그것은 또한 공정함과 지지의 수사를 통해 학생들을 고객으로 만듭니다. 온라인 감독관들은 "어떤 문제에 대해서도 당신을 돕기 위해 그곳에 있습니다 … 당신이 그들에게 문제를 알려야 할 필요가 있다면 그것들은 당신의 화면에 나타나지 않을 것이지만 사용 가능할 것입니다". 열심히 일하고 부정행위를 하지 않는 학생들은 그들이 다른 사람들의 부정행위로 인해 불이익을 받지 않는다는 것을 안심시킬 수 있습니다. 마지막으로, 그 테크놀로지의 인지된 효과는 또한 데이터를 생성하는 원천으로서 학생들에게 달려있는데, 그들이 시험에 통과하고 싶다면 그들을 따르는 것 외에는 선택의 여지가 없습니다.
Third, it also frames students as clients through its rhetoric of fairness and support. Online proctors are there to “assist you with any issues … They will not be visible on your screen but will be available should you need to alert them to a problem.”45(p13) Hard-working, non-cheating students can be reassured that they are not disadvantaged by the cheating of others.24,25 Finally, the technology’s perceived effectiveness is also contingent on students as sources that generate data,55 with no choice but to comply if they want to pass the exam.

평가문화
Assessment culture

평가는 학생들이 무엇을 어떻게 배우는지, 그리고 교육 시스템과 전문적인 규율 안에서 무엇이 가치 있는지에 강력한 영향을 미칩니다. 예를 들어, 시험은 "객관적인" 지식에 가치를 부여하고, 다른 종류의 지식을 보여주고 검증하기 위한 가능성을 제한합니다. 모든 활력은 표준화와 경험의 평등을 기반으로 하여 성과의 공정한 평가를 위한 환경을 만드는 것을 목표로 합니다. 하지만 외부 자원에 대한 접근을 막고 신체 행동을 통제하는 것은 신뢰, 관계, 팀워크가 기반이 되는 구체화되고 사회적이며 물질적이고 집단적인 지식을 희생시키면서 개별화되고 추상적이며 명제화된 지식을 우선시합니다. 비판적이거나 창의적인 지식을 소외시키고 미래의 자율적인 실천가들의 발전을 방해합니다. 10 
Assessment has a powerful influence over what and how students learn, and over what is valued within education systems13 and professional disciplines.10,56 Exams, for example, value “objective” knowledge, and constrain possibilities for demonstrating and validating other kinds of knowledge.10 All invigilation is aimed at creating an environment for fair assessment of performance, based on standardization and equality of experience.57 Yet preventing access to external resources and controlling bodily behavior prioritizes individualized, abstract, and propositional knowledge58 at the expense of embodied, social, material and collective knowledge on which trust, relationships, and teamwork are founded.59 It marginalizes critical or creative knowledge and inhibits the development of future autonomous practitioners.10

이미 좁은 지식의 관점이었던 것이 온라인 프록팅을 통해 더욱 강화됩니다. 시험장에서 모든 응시자는 동일한 물리적 위치에서 수행하고 매우 제한된 일련의 자료만 허용됩니다. 온라인 프록팅 시험에서 테크놀로지가 학생이 시험 동안 어떻게 행동하고 움직이거나 보여야 하는지에 대한 모델을 준수한다고 고려되지 않는 사람은 진실성이 부족하다는 표시와 관련이 있습니다. 단일 디지털 인터페이스에 대한 시선과 이동의 제한은 물질적, 비인지적 지식 및 다양한 신체 특성 및 조건을 강력하게 부정하는 것과 같다. 이것은 다른 사람들보다 일부에게는 어렵고 온라인 프록팅 서비스가 성별, 인종, 장애, 언어, 문화 등과 관련하여 응시자를 차별한다는 보고가 있습니다. 이것들은 다른 상황적 단점(예: 공유된 생활 공간, 돌봄 책임, 제한된 테크놀로지 자원 또는 신체적 도전이 있는 사람)과 함께 공정하고 객관적인 평가와 상충됩니다.
What was already a narrow view of knowledge is further tightened through online proctoring. In exam halls, all candidates perform in the same physical location, and are allowed only a highly-restricted set of materials. In online proctored exams, anyone not considered by the technology to conform to its model of how a student should behave, move, or look during an exam is associated with signifiers of a lack of integrity. The restriction of gaze and movement to a single digital interface is a strong commitment to the denial of material, non-cognitive knowledge and of diverse bodily characteristics and conditions. This is harder for some than others, and there are reports of online proctoring services discriminating against candidates in relation to gender, race, disability, language, culture, and more.22,24,55 These, along with other circumstantial disadvantages (e.g. those with shared living spaces, caring responsibilities, limited technological resources, or physical challenges) are at odds with fair and objective assessment.

논의
Discussion

무결성, 전문성 및 감시
Integrity, professionalism, and surveillance

시험에서 정답, 자원 배제, 행동 통제는 존재, 사고, 지식, 행동의 가능성을 닫아버립니다.11 또한 "객관적" 평가는 집단적이고 협력적이며 복잡한 전문적 수행을 희생시키면서까지 능력을 표준화되고 탈맥락화된 지식으로 세분화해야 합니다.59-61 온라인 감독에서는 훈련생이 집에서 시험을 볼 수 있도록 유연성을 부여하면 규칙과 감시의 요구 사항이 증가합니다. 이는 수험자, 신뢰, 지식에 대한 기존의 문제적 프레임을 심화시켜 '공정성'이라는 이름으로 더 진정성 있고 의미 있는 형태의 평가가 희생될 수 있다고 주장해 왔습니다."25
In exams, definitive answers, the exclusion of resources, and behavioral control close down possibilities of being, thinking, knowing, and acting.11 Further, “objective” assessment requires breaking ability down into standardized and decontextualized knowledge at the potential expense of collective, collaborative, and complex professional performance.59–61 In online proctoring, the flexibility of enabling trainees to take exams from home increases the requirements of rules and surveillance. We have argued that this intensifies existing problematic framings of examinees, trust, and knowledge, in which more authentic or meaningful forms of assessment are sacrificed in the name of “fairness.”25

2020년 MRCP 시험에서 온라인 감독관은 학습자가 상상한 이상적인 응시자를 묘사하기 위해 자신을 왜곡하는 수행성을 강화함으로써 기존 형태의 차별을 악화시켰을 수도 있습니다.15 평가에서의 감시는 광범위한 정상화 과정의 일부이며, 이를 통해 "'정상' 범주에 부합하지 않는 사람들을 배제하기 때문에... 객관화 기법이 우리를 평가하고 통제하는 데 끊임없이 사용된다."27(p445) "평등, 다양성 및 포용은 규제 기관으로서 우리의 업무에 필수적"이라는 영국 일반의협의회(General Medical Council)와 같은 주장에도 불구하고 62(p3) 학생들은 자신의 민족성, "성별, 성, 문화, 종교, 언어 또는 장애/능력"15(p3) 을 증폭, 위생화 또는 억제해야 한다고 느낄 수도 있습니다.
In the 2020 MRCP exam, online proctoring may also have exacerbated existing forms of discrimination by heightening performativity, through which learners contort themselves to portray an imagined ideal candidate.15 Surveillance in assessment is part of a broader process of normalization, through which “techniques of objectification… are constantly used to evaluate and control us because they exclude those who cannot conform to ‘normal’ categories.”27(p445) Despite claims like the UK General Medical Council’s that “equality, diversity and inclusion are integral to our work as a regulator,”62(p3) students may feel they need to amplify, sanitize, or suppress their ethnicity, “gender, sexuality, culture, religion, language or disability/ability.”15(p3)

또한, 감시는 감시를 받는 조건에 얽매인 일종의 유사 진실성pseudo-integrity을 만들어낼 수 있습니다. 이는 학생들이 해당 학문의 일원이 되어 그 분야에 기여할 수 있도록 준비하는 시험 평가의 문제를 더욱 악화시킵니다.10,63 강제적인 성실성은 독립적인 전문직업성 개발에 역효과를 낼 가능성이 높기 때문입니다.64-67 테크놀로지 감시는 교육자와 학생 간의 불신을 조장하고,68 카메라의 존재는 학생들이 면밀히 감시해야 하는 잠재적 부정행위자라는 것을 암시합니다. 감독 업체들은 응시자의 가정에서 강압적이고 침습적인 조치를 정상화하려고 노력하며, 감시를 교육기관의 '학문적 무결성'과 공정한 시험에 대한 신뢰할 수 있는 학생의 권리를 보호하기 위한 '필요악'으로 포지셔닝합니다.18
Further, surveillance may produce a kind of pseudo-integrity that is bound to conditions of being watched. This exacerbates a problem for exam assessment more generally, in how it prepares students to become part of and contribute to their disciplines,10,63 since enforced integrity is likely to be counterproductive to the development of independent professionalism.64–67 Technological surveillance promotes distrust between educators and students,68 and the presence of cameras implies that students are potential cheaters who must be closely watched. Proctoring companies seek to normalize coercive and invasive measures in the homes of candidates, positioning surveillance as a “necessary evil” to protect the “academic integrity” of institutions and the rights of trustworthy students to a fair examination.18

응시자를 잠재적 부정행위자로 규정하고, 부정행위를 중요하고 성장하며 역동적인 문제로 간주하는 것은 시험 감독 회사의 상업적 이익에 부합합니다.69 테크놀로지적 해결책으로.18,22 MRCP가 온라인 시험 감독을 "임시 비상 해결책"으로 사용하는 것은 테크놀로지 자동화의 광범위한 추세를 따르고 "학생과 대학 간의 필수 인프라 중개자로서 민간 및 상업 제공자"를 확립합니다.55(p2)
It is in the commercial interest of proctoring companies to frame candidates as potential cheaters and cheating as a significant, growing, and dynamic problem,69 with a technological solution.18,22 MRCP’s use of online proctoring as a “temporary emergency solution” follows a broader trend of technological automation and establishes “private and commercial providers as essential infrastructural intermediaries between students and their universities”.55(p2)

의학교육의 테크놀로지에 대한 복잡한 관점
Complex perspectives on technology in medical education

철학적 접근을 통해 분석은 일반적인 형태의 증거를 뛰어넘을 수 있으며, 이는 종종 복잡성을 다루는 방식에 제한이 있습니다.11 포스트 디지털이라는 광범위한 관점을 통해 시험장과 온라인 감독 사이에 직접적인 동등성이 없다는 것을 알 수 있습니다. 2020 MRCP 시험의 "디지털" 테크놀로지는 역사적, 경제적 맥락과 얽혀 있는 방식으로 평가 문화에 내재되어 있습니다. 포스트 현상학적 렌즈는 스크립트와 스크립트가 평가 현실을 형성하는 방식에 주목합니다. 이 두 가지 접근법을 결합하면 "실습과 그 효과에 대한 설득력 있고 방어 가능한 설명을 제공할 수 있습니다."33(219쪽) 이러한 접근법 또는 기타 복잡한 프레임워크는 의학교육의 다른 테크놀로지 적용에도 적용될 수 있으며, 적용되어야 합니다. 예를 들어, 학습 분석을 통해 촉진되는 학습의 종류,35,70 또는 온라인 학습의 사회적 및 물질적 맥락72이 매우 다르기 때문에 캠퍼스 내 교육이 "온라인으로 전환"71되는 것이 무엇을 의미하는지 의문을 제기할 수 있습니다. 각각의 경우에 도덕적, 윤리적 의미를 파악하려면 결과, 약관, 조건을 넘어40 테크놀로지가 특정 문화와 관행에 어떻게 내재되어 있는지 살펴볼 필요가 있습니다.
Philosophical approaches allow analyses to go beyond the usual forms of evidence, which are often limited in terms of how they address complexity.11 Our broader postdigital perspective helps us see that there is no straightforward equivalence between exam halls and online proctoring. The “digital” technology of the 2020 MRCP exam was embedded in an assessment culture in ways that are entangled in a historical and economic context. The postphenomenological lens draws attention to scripts and how they shape the assessment reality. Combined, these two approaches “provide a convincing and defensible account of both the practice and its effects.”33(p219) These or other complex frameworks can, and should, be applied to other applications of technology in medical education. For example, we might question the kinds of learning promoted via learning analytics,35,70 or what it means for on campus teaching to “move online”,71 since the social and material context of online learning72 is very different. In each case, the moral and ethical implications require looking beyond outcomes, terms, and conditions,40 to how technology is embedded in particular cultures and practices.

의료 교육 평가 테크놀로지에 대한 광범위한 수업
Broader lessons for assessment technology in medical education

니미넨과 라덴페라는 고등 교육 평가에서 학생 기관이 어떻게 미래의 발전을 촉진하거나 방해하는지에 대한 연구를 촉구합니다.10 전문직업적 의사는 유능할 뿐만 아니라 신뢰할 수 있어야 하며, 감시를 받지 않고 정직하게 행동해야 합니다. 또한 팀과 더 넓은 시스템의 전문적 구성원이어야 합니다. 반대로 온라인 감독 시험에서 수련생은 잠재적인 부정행위자일 뿐만 아니라, 스스로 생각하고 책임을 지거나 새로운 지식을 창출할 수 없는 통제의 대상으로 구성됩니다.11
Nieminen and Lahdenperä call for research into how student agency in higher education assessment promotes or hinders future development.10 Professional doctors must not only be competent but also trustworthy, and act with integrity without being monitored. Furthermore, they should be professional members of teams and wider systems. Conversely, in online proctored exams, trainees are constructed not only as potential cheaters, but also as objects of control who cannot think for themselves, take responsibility, or create new knowledge.11

코로나19 상황이 안정화되면 온라인 감독관에게 어떤 일이 일어날지는 불분명합니다. 앞으로의 과제는 단순히 온라인 감독 도구가 가치가 있는지,73 또는 스크립트 및 감시를 완화해야 하는지 여부를 결정하는 것이 아닙니다. 특정 조건에서 시험이 효과적일 수 있다는 것을 인정하고 응시자가 원하는 대로 하도록 허용하는 것을 옹호하지는 않지만, 우리는 의학교육자들이 고부담 평가를 수행하는 방법과 왜 그렇게 감독에 의존하는지에 대해 질문할 것을 요청합니다. 여기서 우리의 목표는 감독 시험에 대한 대안을 제안하거나 교육자가 평가에서 테크놀로지를 피해야 한다는 것이 아닙니다. 오히려 테크놀로지와 평가의 결합이 특정 종류의 지식, 정체성, 전문성, 신뢰 관계를 어떻게 촉진하는지에 대한 비판적 고려를 불러일으키고자 합니다.43 이는 결코 간단한 일이 아닙니다. 교육 전반에 걸쳐 평가의 목적, 평가가 교육 관계에 미치는 영향, 또는 평가가 "진실, 공정성, 신뢰, 인간성 또는 사회 정의"와 어떻게 관련되는지에 대한 근본적인 질문을 던지는 것을 오랫동안 꺼려온 것에 맞서야 합니다.74(2쪽) 좋은 출발점은 우리가 현재 평가를 수행하는 방식과 수련생과 의학 교육 기관 간의 관계를 강화하는 방식으로 우리의 관행을 어떻게 재구성할 수 있는지에 대해 솔직한 대화를 나누고, 더 이상 테크놀로지에 대한 신뢰를 학생에 대한 신뢰보다 우선시하지 않도록 하는 것입니다. 
It is unclear what will happen with online proctoring as the Covid-19 situation stabilizes. The challenge ahead is not simply to decide whether online proctoring tools are worthwhile,73 or whether we need to soften their scripts and surveillance. While we acknowledge that exams might be effective under certain conditions, and we would not advocate letting candidates do whatever they want, we call for medical educators to ask questions about how we conduct high stakes assessment and why it is so reliant on invigilation. Our aim here is not to propose alternatives to invigilated examinations, nor that educators should avoid technology in assessment. Rather, we aim to provoke critical consideration of how the combination of technology and assessment promotes particular kinds of knowledge, identity, professionalism, and trust relations.43 This is no simple task. It involves confronting a longstanding reluctance, across education more broadly, to ask fundamental questions about the purpose of assessment, how it affects educational relationships, or how it relates to “truth, fairness, trust, humanity or social justice”.74(p2) A good starting point is to engage in honest dialogue around how we currently do assessment, and how we might reimagine our practices in ways that reinforce relations between trainees and medical education institutions, such that we no longer place trust in technology above trust in our students.

결론
Conclusion

평가는 의학교육에서 가치 있는 것을 반영하고 형성합니다. 2020년 MRCP 회원 시험을 분석한 결과, 온라인 감독 테크놀로지가 시험장 감독에 이미 존재하는 신뢰에 대한 감시 규범을 어떻게 강화하는지를 알 수 있습니다. 이는 의학교육의 평가 문화에 이미 존재하는 긴장, 즉 표준화되고 탈맥락화된 정당한 지식에 대한 편협한 개념, 이상적인 고독한 시험 응시자에 대한 편협한 모델, 수련생에 대한 기본 불신 등을 악화시킵니다. MRCP 시험의 역사적, 경제적 맥락을 살펴봄으로써 이러한 긴장이 불신을 조장하는 시험 감독 회사의 상업적 이익과 데이터에 기반한 규범 모델에 의해 어떻게 강화되는지 보여주었습니다.
Assessment both reflects and shapes what is valued in medical education. Our analysis of the 2020 MRCP membership exam shows how online proctoring technology intensifies a norm of surveillance over trust that already exists in exam hall invigilation. This exacerbates some established tensions within the assessment culture of medical education, namely: a narrow conception of legitimate knowledge as standardized and decontextualized, a narrow model of the ideal, solitary exam candidate, and a default distrust of trainees. By examining the historical and economic contexts of the MRCP exam, we have showed how these tensions are reinforced by the commercial interests of proctoring companies that incentivise distrust and data-driven normative models of invigilation.

이 시리즈를 시작한 논문에서 Veen과 Cianciolo29(pp337-338)는 "학습자를 돌보고 학습자의 성과, 전문성 및 복지를 개선하기 위해 우리가 무엇을 하고 있는지 신중하게 검토하기 위해" 속도를 늦추고 맥락을 고려해야 한다고 썼습니다. 우리는 일반적으로 의학교육자들이 학생들을 신뢰하고 학생들이 신뢰할 수 있도록 지원하기 위해 열심히 노력한다고 확신하지만, 온라인 감독 테크놀로지가 촉진하는 평가 문화와 평가 테크놀로지를 더 광범위하게 사용하는 것은 검토가 필요하다고 주장했습니다. Bearman75이 제안한 것처럼 시험 세계가 실천 세계를 형성한다면, 우리는 평가 테크놀로지를 사용하여 어떤 종류의 세계를 만들어낼 것인가에 대해서도 질문해야 합니다.
Veen and Cianciolo29(pp337-338) wrote, in the paper that launched this series, to slow down and consider context “to examine carefully what we are doing to care for learners and improve their performance, professionalism, and well-being.” While we are confident that, in general, medical educators trust students, and work hard to support them to become trustworthy, we have argued that the assessment culture promoted by online proctoring technology, and our employment of assessment technology more widely, are in need of review. If, as Bearman75 suggests, the test world shapes the practice world, we must also ask: what kind of world do we generate through our use of assessment technology?

 

---

Teach Learn Med. 2022 Aug-Sep;34(4):444-453. doi: 10.1080/10401334.2022.2048832. Epub 2022 Apr 25.

A Matter of Trust: Online Proctored Exams and the Integration of Technologies of Assessment in Medical Education

Tim Fawns 1, Sven Schaepkens 2

Affiliations

1Edinburgh Medical School, University of Edinburgh, Edinburgh, United Kingdom.

2Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands.

PMID: 35466830

DOI: 10.1080/10401334.2022.2048832

Abstract

Issue: Technology is pervasive in medicine, but we too rarely examine how it shapes assessment, learning, knowledge, and performance. Cultures of assessment also shape identities, social relations, and the knowledge and behavior recognized as legitimate by a profession. Therefore, the combination of technology and assessment within medical education is worthy of review. Online proctoring services have become more prevalent during the Covid-19 pandemic, as a means of continuing high-stakes invigilated examinations online. With criticisms about increased surveillance, discrimination, and the outsourcing of control to commercial vendors, is this simply "moving exams online", or are there more serious implications? What can this extreme example tell us about how our technologies of assessment influence relationships between trainees and medical education institutions?

Evidence: We combine postdigital and postphenomenology approaches to analyze the written component of the 2020 online proctored United Kingdom Royal College of Physicians (MRCP) membership exam. We examine the scripts, norms, and trust relations produced through this example of online proctoring, and then locate them in historical and economic contexts. We find that the proctoring service projects a false objectivity that is undermined by the tight script with which examinees must comply in an intensified norm of surveillance, and by the interpretation of digital data by unseen human proctors. Nonetheless, such proctoring services are promoted by an image of data-driven innovation, a rhetoric of necessity in response to a growing problem of online cheating, and an aversion, within medical education institutions, to changing assessment formats (and thus the need to accept different forms of knowledge as legitimate).

Implications: The use of online proctoring technology by medical education institutions intensifies established norms, already present within examinations, of surveillance and distrust. Moreover, it exacerbates tensions between conflicting agendas of commercialization, accountability, and the education of trustworthy professionals. Our analysis provides an example of why it is important to stop and consider the holistic implications of introducing technological "solutions", and to interrogate the intersection of technology and assessment practices in relation to the wider goals of medical education.

Keywords: assessment technology; norms; online proctoring; postdigital; postphenomenology; trust.